Já jsem pracoval na klasifikaci problém s obrazem dataset, má 11 tříd. To obsahuje celkem 11 000 obrázků, s každou třídu s 1000 obrázky, uložené složky-moudrý (11 složek). Dataset je o velikosti 40 MB. Poté, co jsem nahrát data z disku google do collab( což vlastně trvá nějaký čas) a pre-procesu to před krmením to, aby model, paměť collab stává 95% plná okamžitě. Když jsem začít trénovat, collab pády, a runtime je obnovit. To se nestane, když jsem použít Keras toku dat-z-adresář funkce. Jsem schopen najít řešení. Screenshot
0
To se děje proto, že tím, že volá fit s vlakem a validace datových souborů nutíte colab načíst všechny obrázky na ram ve stejné, musíte napsat generátor, jednoduché řešení se většina kódu již napsal, je použít tfrecords, keras se postará o zbytek.
https://www.tensorflow.org/tutorials/load_data/tfrecord
potřebujete uložit obrázky na disk a vzít je během tréninku, ne všechny na začátku.
nemusíte používat tfrecords, můžete použít libovolný generátor vám líbí, ale tohle jde hned bat
BestDogeStackoverflow
No já používám Keras Tuner, takže nejsem si jistý, jestli generátor může být použit s tuner-vyhledávání, nebo ne
SDS