Deep Learning illustriert. Jon Krohn

href="#u9e86e8aa-131e-4465-9869-5e9bd40efde8">8.1.1Quadratische Kosten

       8.1.2Gesättigte Neuronen

       8.1.3Kreuzentropie-Kosten

       8.2Optimierung: Lernen, um die Kosten zu minimieren

       8.2.1Der Gradientenabstieg

       8.2.2Die Lernrate

       8.2.3Batch-Größe und stochastischer Gradientenabstieg

       8.2.4Dem lokalen Minimum entkommen

       8.3Backpropagation

       8.4Die Anzahl der verborgenen Schichten und der Neuronen anpassen

       8.5Ein mittleres Netz in Keras

       8.6Zusammenfassung

       Schlüsselkonzepte

       9Deep Networks verbessern

       9.1Die Initialisierung der Gewichte

       9.1.1Xavier-Glorot-Verteilungen

       9.2Instabile Gradienten

       9.2.1Verschwindende Gradienten

       9.2.2Explodierende Gradienten

       9.2.3Batch-Normalisierung

       9.3Modellgeneralisierung (Überanpassung vermeiden)

       9.3.1L1- und L2-Regularisierung

       9.3.2Dropout

       9.3.3Datenaugmentation

       9.4Intelligente Optimierer

       9.4.1Momentum

       9.4.2Nesterov-Momentum

       9.4.3AdaGrad

       9.4.4AdaDelta und RMSProp

       9.4.5Adam

       9.5Ein tiefes neuronales Netz in Keras

       9.6Regression

       9.7TensorBoard

       9.8Zusammenfassung

       Schlüsselkonzepte

       Teil IIIInteraktive Anwendungen des Deep Learning

       10Maschinelles Sehen

       10.1Convolutional Neural Networks

       10.1.1Die zweidimensionale Struktur der visuellen Bilddarstellung

       10.1.2Berechnungskomplexität

       10.1.3Konvolutionsschichten

       10.1.4Mehrere Filter

       10.1.5Ein Beispiel für Konvolutionsschichten

       10.2Hyperparameter von Konvolutionsfiltern

       10.2.1Kernel-Größe

       10.2.2Schrittlänge

       10.2.3Padding

       10.3Pooling-Schichten

       10.4LeNet-5 in Keras

       10.5AlexNet und VGGNet in Keras

       10.6Residualnetzwerke

       10.6.1Schwindende Gradienten: Das Grauen der tiefen CNN

       10.6.2Residualverbindungen

       10.6.3ResNet

       10.7Anwendungen des maschinellen Sehens

       10.7.1Objekterkennung

       10.7.2Bildsegmentierung

       10.7.3Transfer-Lernen

       10.7.4Capsule Networks