Tiger103 ˚₊‧🐯.𖥔 ݁

Transfer Learning

May 29, 20256 min read

  • Transfer Learning reduziert den Aufwand für das Training von neuronalen Netzen:

    • Statt ein Modell von Grund auf zu trainieren, wird ein bereits trainiertes Modell verwendet.

  • Grundidee:

    • Ein auf großen, vielfältigen Datensätzen wie ImageNet trainiertes Modell hat allgemeine Merkmale gelernt, die für andere Aufgaben nützlich sind.
    • Diese Modelle werden in Model Zoos gesammelt und können für verschiedene Anwendungen heruntergeladen und angepasst werden.

Vorteile von Transfer Learning:

  • Reduzierter Datenbedarf:
    • Vortrainierte Modelle verringern den Bedarf an Trainingsdaten für die neue Aufgabe.
  • Schnellere Trainingszeiten:
    • Trainingszeiten verkürzen sich, da das Modell nicht von Grund auf lernen muss.
  • Verbesserte Leistung:
    • Besonders bei kleinen Datensätzen verbessert Transfer Learning die Leistung durch das bereits vorhandene Wissen des Modells.

Umsetzung von Transfer Learning:

  1. Auswahl eines vortrainierten Modells:
    • Wähle ein Modell aus einem Model Zoo, das für die neue Aufgabe relevant ist (z. B. VGG16 für Bilderkennung).
  2. Anpassung des Modells:
    • Entferne die letzten Schichten des vortrainierten Modells und ersetze sie durch neue Schichten für die spezifische Aufgabe.
  3. Feinabstimmung des Modells:
    • Das angepasste Modell wird mit den neuen Trainingsdaten feinabgestimmt.
    • Die Gewichte der vortrainierten Schichten werden eingefroren oder mit einer geringen Lernrate angepasst.

Variante 1

  • Daten durch VGG16 schicken
from tensorflow.keras.applications.vgg16 import VGG16
# Daten einmal durch VGG16 schicken und zwischenergebnis speichern
vgg16 = VGG16(include_top=False, input_shape=(224, 224, 3))
X_nach_vgg = vgg16.predict(image)
vgg16_model.summary()
  • Modell Ohne VGG16 bauen
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten
 
model = Sequential()
model.add(vgg16_model) # vgg16_model mit in der Struktur laden
model.add(Flatten())
model.add(Dense(4096, activation="relu"))
model.add(Dense(1024, activation="relu"))
model.add(Dense(1, activation="sigmoid"))
model.compile(optimizer="rmsprop", loss="binary_crossentropy", metrics=["accuracy"])
  • Denyer-Layer-Modell trainieren mit VGG16-Ausgabe als Eingabe
model.fit(X, y, epochs=50, batch_size=300, validation_split=0.2)

Variante 2

  • Daten durch VGG16 einmal schicken.
  • Ausgabe wird als Eingabe für das Dense-netz genommen.
  • → das Training beschleunigen
from tensorflow.keras.applications.vgg16 import VGG16
# Daten einmal durch VGG16 schicken und zwischenergebnis speichern
vgg16_model = VGG16(include_top=False, input_shape=(224, 224, 3))
vgg16_model.trainalbe = False
X_nach_vgg = vgg16.predict(image) # Nur einmal schicken und Zwischenergebnis speichern
  • Modell Ohne VGG16 bauen
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Dense, Flatten
 
model = Sequential()
# Nur die Dense-Layer
model.add(Flatten())
model.add(Dense(4096, activation="relu"))
model.add(Dense(1024, activation="relu"))
model.add(Dense(1, activation="sigmoid"))
model.compile(optimizer="rmsprop", loss="binary_crossentropy", metrics=["accuracy"])
  • Denyer-Layer-Modell trainieren mit VGG16-Ausgabe als Eingabe
model.fit(X_nach_vgg, y, epochs=50, batch_size=300, validation_split=0.2)

Umsetzung mit VGG16

  • Variante 1:
    • Daten in jedem Trainingsschritt das gesamte VGG16-Netz durchlaufen
    • d.h. alle Trainingsdaten in jedem Tainingsschritt durch alle Schichten des VGG16-Netzes laufen
  • Variante 2:
    • VGG16-Netzt getrennt vom eigenltichen Klassifikationsnetz
    • Trainingsdaten einmaligdurch das VGG16-netz verarbeiten, um die Merkmale zu extrahieren
    • diese Merkmale dann als Eingabe für das separate Klassifikationsnezt verwenden, das für eine spezifische Aufgabe trainiert wird.

Zusammenfassend:

  • Variante 1: → rechenintensiver, da die Trainingsdaten in jedem Schritt das gesamte VGG16-Netz durchlaufen.
  • Variante 2: → effizienter, da die Vorverarbeitung durch VGG16 nur einmal erfolgt und die extrahierten Merkmale dann für das Training des separaten Klassifikationsnetzes verwendet werden.

Quizfragen zum Thema Transfer Learning

Frage 1: Was ist die Grundidee von Transfer Learning?

a) Ein neuronales Netz mit zufälligen Gewichten initialisieren, um die Trainingszeit zu reduzieren.
b) Ein vortrainiertes Modell als Ausgangspunkt für ein neues, ähnliches Problem verwenden. c) Nur die Ausgabeschicht eines neuronalen Netzes trainieren, um Rechenleistung zu sparen.
d) Die Größe der Trainingsdaten reduzieren, indem irrelevante Merkmale entfernt werden.

Frage 2: Was ist ein Model Zoo im Kontext von Transfer Learning?

a) Ein Datensatz mit Bildern von Tieren, der zum Trainieren von neuronalen Netzen verwendet wird.
b) Eine Sammlung vortrainierter Machine-Learning-Modelle, die direkt verwendet oder weiter angepasst werden können. c) Ein Algorithmus zum automatischen Optimieren der Hyperparameter von neuronalen Netzen.
d) Eine Softwarebibliothek mit verschiedenen Funktionen zum Erstellen und Trainieren von neuronalen Netzen.

Frage 3: Welcher Datensatz wird häufig verwendet, um Modelle für die Bilderkennung zu trainieren, die in Transfer Learning-Anwendungen eingesetzt werden?

a) MNIST
b) Fashion-MNIST
c) ImageNet d) CIFAR-10

Frage 4: Welche Schichten eines vortrainierten Modells werden typischerweise bei der Anpassung für eine neue Aufgabe in Transfer Learning ersetzt?

a) Die Convolutional Layer
b) Die Max Pooling Layer
c) Die Dense Layer (Fully Connected) d) Alle Schichten werden ersetzt

Frage 5: Welche der folgenden Aussagen zum VGG16-Netz ist FALSCH?

a) VGG16 ist ein vortrainiertes neuronales Netz, das für die Bilderkennung verwendet werden kann.
b) VGG16 wurde mit dem ImageNet-Datensatz trainiert.
c) VGG16 kann nur für binäre Klassifikationsaufgaben verwendet werden. d) VGG16 ist im Model Zoo von Keras enthalten.

Frage 6: Welche zwei Hauptvarianten gibt es für die Umsetzung von Transfer Learning mit VGG16?

a) Variante 1: Das gesamte VGG16-Netz wird in jedem Trainingsschritt verwendet.
Variante 2: Die extrahierten Merkmale aus VGG16 werden für das Training eines separaten Klassifikationsnetzes verwendet.
b) Variante 1: Nur die Convolutional Layer von VGG16 werden verwendet.
Variante 2: Nur die Dense Layer von VGG16 werden verwendet.
c) Variante 1: Die Gewichte von VGG16 werden eingefroren.
Variante 2: Die Gewichte von VGG16 werden mit einer geringen Lernrate angepasst.
d) Variante 1: VGG16 wird mit einem anderen vortrainierten Modell kombiniert.
Variante 2: VGG16 wird mit einem neu erstellten neuronalen Netz kombiniert.

Frage 7: Nennen Sie drei Vorteile von Transfer Learning.

Frage 8: Wie kann ein fertig trainiertes Modell in Transfer Learning auf einem anderen Rechner deployed werden?

Graph View

Backlinks