Effizientes Deep Learning-Training - Am praktischen Beispiel des Trainings des ResNet50 Models auf den ImageNet-Datensatz

Um beim Training von Deep Learning Modellen gute Ergebnisse innerhalb möglichst kurzer Trainingszeiten zu erreichen, ist es essentiell, schnellstmöglich passende Werte für die Trainingsparameter 'Lernrate' und 'Batch-Size' zu finden. Die Geschwindigkeit beim Auffinden der geeigneten Werten ist dabei abhängig vom zu trainierenden Model, der Menge der verwendeten Daten, aber auch von der Leistungsfähigkeit der zur Verfügung stehenden Hardware. Die Parameter-Suche kann sich daher als zeitlichen recht aufwendig erweisen, da ein Trainingsdurchlauf - je nach Modell und Anzahl der verwendeten Trainingsdaten - einige Tage dauern kann. Durch den parallelen Einsatz mehrerer GPUs lässt sich der zeitiche Aufwand schon um einen großen Faktor verringern.

Deep Learning GPU Benchmarks 2020

Wie kommt man zu effektiven Turnaround-Zeiten in seinen Machine-Learning Projekten? In diesem Artikel wird ein Überblick über die Deep-Learning Leistung aktueller, in diesem Bereich eingesetzter High-End-GPUs gegeben. Enthalten sind die neuesten Angebote von NVIDIA - die Ampere GPU-Generation. Auch die Leistung von Multi-GPU-Setups, wie z.B. einer quad RTX 3090-Konfiguration, wird bewertet.