Proč jsou hmotnosti použitelné pouze v tréninku?

Question 1

Po zavolání na fit funkci vidím, že model je konvergující v tréninku, ale poté, co jsem jít zavolat vyhodnotit metoda působí, jako kdyby model neudělal montáž na všechny. Nejlepší příklad je níže, kde používám školení generátor pro vlak a ověření a získat různé výsledky.

import tensorflow as tf
from tensorflow.keras.callbacks import ModelCheckpoint

from ImageGenerator import ImageGenerator

if __name__== "__main__":

    batch_size=64

    train_gen = ImageGenerator('synthetic3/train/open/*.png', 'synthetic3/train/closed/*.png', batch_size=batch_size)

    model = tf.keras.applications.mobilenet_v2.MobileNetV2(weights=None, classes=2, input_shape=(256, 256, 3))

    model.compile(optimizer='adam', 
                loss=tf.keras.losses.CategoricalCrossentropy(),
                metrics=['accuracy'])

    history = model.fit(
        train_gen,
        validation_data=train_gen,
        epochs=5,
        verbose=1
    )
    
    model.evaluate(train_gen)

Výsledky

Epoch 1/5
19/19 [==============================] - 11s 600ms/step - loss: 0.7707 - accuracy: 0.5016 - val_loss: 0.6932 - val_accuracy: 0.5016
Epoch 2/5
19/19 [==============================] - 10s 533ms/step - loss: 0.6991 - accuracy: 0.5855 - val_loss: 0.6935 - val_accuracy: 0.4975
Epoch 3/5
19/19 [==============================] - 10s 509ms/step - loss: 0.6213 - accuracy: 0.6637 - val_loss: 0.6932 - val_accuracy: 0.4992
Epoch 4/5
19/19 [==============================] - 10s 514ms/step - loss: 0.4407 - accuracy: 0.8158 - val_loss: 0.6934 - val_accuracy: 0.5008
Epoch 5/5
19/19 [==============================] - 10s 504ms/step - loss: 0.3200 - accuracy: 0.8643 - val_loss: 0.6949 - val_accuracy: 0.5000
19/19 [==============================] - 3s 159ms/step - loss: 0.6953 - accuracy: 0.4967

To je problematické, protože i když úspora váhy šetří, jako kdyby model nebyl udělal tu zkoušku.

Question 2

vyhodnotit() funkce provede validace údajů jako podklad pro vyhodnocení již vyškolených modelu.

Vypadá to, že používáte školení dataset (train_gen) pro validation_data a kolem stejný dataset jako vstup do modelu.vyhodnotit()

Question 3

Ahoj všichni, po mnoha dnech bolest konečně objevil řešení tohoto problému. To je způsobeno šarže normalizace vrstev v modelu. Hybnost parametr musí být změněn v závislosti na své velikosti šarže, pokud máte v plánu na trénink jako vlastní dataset.

for layer in model.layers:
    if type(layer)==type(tf.keras.layers.BatchNormalization()):
        # renorm=True, Can have renomalization for smaller batch sizes
        layer.momentum=new_momentum

Zdroje: https://github.com/tensorflow/tensorflow/issues/36065

Uğur Kahveci · Answer 1 · 2021-11-24T11:43:27

vyhodnotit() funkce provede validace údajů jako podklad pro vyhodnocení již vyškolených modelu.

Vypadá to, že používáte školení dataset (train_gen) pro validation_data a kolem stejný dataset jako vstup do modelu.vyhodnotit()

Jo udělal jsem to schválně ukázat, že i když přesnost vlaků je zlepšení validace není. Dokonce i na stejném souboru dat

ac4824 · Answer 2 · 2021-12-10T04:30:31

Ahoj všichni, po mnoha dnech bolest konečně objevil řešení tohoto problému. To je způsobeno šarže normalizace vrstev v modelu. Hybnost parametr musí být změněn v závislosti na své velikosti šarže, pokud máte v plánu na trénink jako vlastní dataset.

for layer in model.layers:
    if type(layer)==type(tf.keras.layers.BatchNormalization()):
        # renorm=True, Can have renomalization for smaller batch sizes
        layer.momentum=new_momentum

Zdroje: https://github.com/tensorflow/tensorflow/issues/36065

Proč jsou hmotnosti použitelné pouze v tréninku?

Otázka

Nejlepší odpověď

V jiných jazycích

Tato stránka je v jiných jazycích

Populární v této kategorii

Oblíbené položky v této kategorii