Es gibt eine Vielzahl an Levels, die sich grob in vier Kategorien einteilen lassen:
1 Obstsammler-Level, auf denen der Agent einfach versucht, Preise (Äpfel und Melonen) zu finden, während er gleichzeitig die Strafen (Zitronen) vermeidet.
2 Navigations-Level mit einer statischen Karte, bei denen der Agent beauftragt wird, ein Ziel zu finden und sich an das Layout der Karte zu erinnern. Der Agent kann am Anfang einer Episode zufällig auf die Karte gesetzt werden, während das Ziel stationär bleibt. Dieses Arrangement testet eine anfängliche Erkundungsphase, gefolgt von einem Rückgriff auf das Gedächtnis, um wiederholt das Ziel zu finden. Es ist aber auch möglich, den Agenten an derselben Stelle zu starten, während das Ziel für jede Episode bewegt wird, womit die Fähigkeit des Agenten zur Erkundung getestet wird.
3 Navigations-Level mit zufälligen Karten, bei denen der Agent in jeder Episode eine neue Karte erkunden, das Ziel finden und dann innerhalb eines Zeit-Limits so oft wie möglich zum Ziel zurückkehren soll.
4 Laser-Tag-Level, bei denen der Agent für das Jagen und Angreifen von Bots in einer Reihe unterschiedlicher Szenen belohnt wird.
Die Installation von DeepMind Lab ist nicht ganz so einfach wie die von OpenAI Gym37, aber es bietet eine reichhaltige, dynamische, in der Ich-Perspektive gehaltene Umgebung zum Trainieren der Agenten. Die Level liefern komplexe Szenarien, in denen Navigation, Erinnerungsvermögen, Strategie, Planung und feinmotorische Fähigkeiten getestet werden können. Diese anspruchsvollen Umgebungen erlauben es, an die Grenzen dessen zu gehen, was mit modernem Deep Reinforcement Learning möglich ist.
Abb. 4–13Eine Auswahl der OpenAI-Gym-Umgebungen: (a) Cart-Pole, also ein inverses Pendel, das ein klassisches Problem der Regelungstechnik darstellt, (b) LunarLander, eine Aufgabe in einer zweidimensionalen Simulation, die eine durchgehende Steuerung erfordert, (c) Skiing, ein Atari-2600-Spiel, (d) Humanoid, eine dreidimensionale Simulation einer zweifüßigen Person mithilfe der MuJuCo-Physik-Engine, (e) FetchPickandPlace, eine von mehreren verfügbaren Simulationen eines echten Roboterarms, in diesem Fall eines mit dem Namen »Fetch«, der das Ziel hat, einen Klotz zu fassen und an einem Zielort abzulegen, und (f) HandManipulateBlock, eine weitere praktische Simulation eines Roboterarms, der »Shadow Dexterous Hand«.
Abb. 4–14 Eine DeepMind-Lab-Umgebung, in der Pluspunkte für das Einfangen der leckeren grünen Äpfel vergeben werden
4.7.3UnityML-Agents
Unity ist eine raffinierte Engine für zwei- und dreidimensionale Videospiele und digitale Simulationen. Angesichts der spielerischen Fähigkeiten von Reinforcement-Learning-Algorithmen, die wir in diesem Kapitel bereits bewundern durften, überrascht es kaum, dass die Macher einer beliebten Spiele-Engine auch Umgebungen entwickeln, um Reinforcement Learning in Videospiele zu integrieren. Das Unity ML-Agents-Plugin38 erlaubt das Trainieren von Reinforcement-Learning-Modellen in Unity-basierten Videospielen oder Simulationen. Außerdem ermöglicht es den Reinforcement-Learning-Modellen – und das passt wohl eher zu den Zielen von Unity selbst –, die Aktionen von Agenten innerhalb des Spiels zu leiten.
Wie bei DeepMind Lab ist auch die Installation von Unity ML-Agents nicht in einer Codezeile zu schaffen.39
4.8Drei Arten von KI
Von allen Deep-Learning-Themen ist Deep Reinforcement Learning vermutlich am engsten mit der populären Vorstellung von künstlicher Intelligenz verknüpft: Sie betrachtet KI als ein System, das die kognitive Fähigkeit des Menschen zum Treffen von Entscheidungen nachahmen kann. Angesichts dessen wollen wir zum Abschluss dieses Abschnitts drei Arten der KI vorstellen.
4.8.1Artificial Narrow Intelligence
Artificial Narrow Intelligence (ANI) ist die Fähigkeit der Maschine, eine ganz bestimmte Aufgabe ausgesprochen gut auszuführen. Es gibt heute viele verschiedene Beispiele für ANI, und wir haben in diesem Buch auch schon viele genannt, wie etwa die visuelle Erkennung von Objekten, das in Echtzeit durchgeführte maschinelle Übersetzen zwischen zwei natürlichen Sprachen, automatische Finanzhandelssysteme, AlphaZero und selbstfahrende Autos.
4.8.2Artificial General Intelligence
Bei Artificial General Intelligence (AGI) hat man einen einzigen Algorithmus, der alle im vorhergehenden Absatz beschriebenen Aufgaben gut ausführen kann: Er wäre in der Lage, Ihr Gesicht zu erkennen, könnte dieses Buch in eine andere Sprache übersetzen, würde Ihr Investment-Portfolio optimieren, Sie im Go schlagen und Sie sicher an Ihren Urlaubsort fahren. Ein solcher Algorithmus wäre dann tatsächlich fast nicht mehr von den intellektuellen Fähigkeiten eines Menschen zu unterscheiden. Damit eine AGI umgesetzt werden kann, sind noch zahllose Hürden zu überwinden, und es lässt sich kaum vorhersagen, wann das der Fall sein wird – wenn überhaupt. KI-Experten sind allerdings gern dabei, über das Timing zu spekulieren. In einer Studie des Philosophen Vincent Müller und des einflussreichen Zukunftsforschers Nick Bostrom40 ergab die mittlere Schätzung Hunderter KI-Forscher, dass AGI im Jahre 2040 erreicht werden kann.
4.8.3Artificial Super Intelligence
Artificial Super Intelligence (ASI) ist schwer zu beschreiben, weil sie wirklich verwirrend ist. ASI wäre ein Algorithmus, der wirklich deutlich fortschrittlicher ist als die intellektuellen Fähigkeiten eines Menschen.41 Falls AGI möglich ist, dann könnte auch ASI möglich sein. Natürlich stehen auf dem Weg zur ASI noch mehr Hindernisse als auf dem Weg zu AGI. Und die meisten von diesen Hindernissen können wir heute noch gar nicht absehen. Wir schauen noch einmal in die Untersuchung von Müller und Bostrom. Die mittlere Schätzung der KI-Experten für das Eintreffen von ASI ist 2060, also ein ziemlich hypothetisches Datum, das aber noch zu Lebzeiten vieler heute lebender Erdlinge eintreffen wird. In Kapitel 14, wenn Sie schon ziemlich versiert in Theorie und Praxis des Deep Learning sind, werden wir diskutieren, inwiefern Deep-Learning-Modelle zu AGI beitragen könnten und welche momentanen Hindernisse in Bezug auf das Deep Learning überwunden werden müssten, um AGI oder *keuch* ASI zu erreichen.
4.8.4Zusammenfassung
Das Kapitel begann mit einem Überblick, der das Deep Learning in das größere Feld der künstlichen Intelligenz einordnete. Anschließend gingen wir auf das Deep Reinforcement Learning ein. Dies ist ein Vorgehen, das Deep Learning mit dem Paradigma des Reinforcement Learning verknüpft, bei dem das Lernen durch zurückgeliefertes Feedback verstärkt wird. Wie anhand wirklicher Beispiele – vom Brettspiel Go bis hin zum Fassen von Gegenständen – diskutiert wurde, erlaubt es ein solches tiefes bestärkendes Lernen den Maschinen, riesige Datenmengen zu verarbeiten und bei komplexen Aufgaben vernünftige Abfolgen von Aktionen zu unternehmen. Damit kommt das