Reinforcement Learning

Reinforcement Learning (RL) ist ein Teilgebiet des Machine Learning (ML) und beschäftigt sich mit der Automatisierung von Lernprozessen, die Entscheidungsfindungen betreffen. Im RL-Modell heißt die Software-Komponente, die Entscheidungen trifft, „Agent“. Die Entscheidungsfindung besteht darin, innerhalb einer Reihe von diskreten Zeitschritten je eine „Aktion“ auszuwählen. Dafür erhält der Agent die „Belohnung“, die ihn darin „bestärken“ sooll, die richtigen Entscheidungen zu treffen.

Bei RL kann ein Deep-Neural-Network (DNN) zum Einsatz kommen – es bestehen jedoch einige grundlegende Unterschiede zwischen RL und anderen DNN-basierten Techniken. Offensichtliche RL-spezifische Eigenschaften sind u.a. der mehrschrittige Ablauf sowie, dass kein Training anhand einer Datenbasis im Vorfeld stattfindet. RL ähnelt damit dem trial-and-error Ansatz von Lernprozessen in der Natur.

Anwendungen von RL im Zusammenhang mit der KI-gestützten Optimierung des urbanen Lebens, also in so genannten „Smart Cities„, finden sich viele – z.B. im Erlernen von Schaltvorgängen für Ampeln oder geeigneten Kombinationen von Verkehrsmitteln in der „multimodalen Routenplanung“.
Wegfindung ist generell ein geeignetes Anwendungsfeld:
Probleme wie die Flugbahnberechnung für Drohnen oder die Einsatzplanung für Busse unterscheiden sich prinzipiell nur in den Kriterien anhand derer Belohnungen vergeben werden. Wir sehen uns ebenfalls ein solches Routenfindungsproblem an:
die Suche nach der nächstgelegenen Ladesäule für ein Elektroauto. Wir klären, was die Begriffe Agent, Umgebung, Belohnung, Zustand, Strategie und Wert in diesem Zusammenhang bedeuten und liefern einen Ausblick auf fortgeschrittene Techniken wie die „Policy Gradient Methods“.
Der Vortrag beinhaltet eine fundierte Diskussion von RL-Grundlagen anhand einer Formalisierung des Entscheidungsproblems als Markov Prozess und einer Besprechung der Bellmannschen Gleichung.

Um die Zusammenhänge zu veranschaulichen, behandelt der Vortrag auch die Implementierung eines RL-Agenten in der Programmiersprache C++ und dessen Anwendung in einer Simulation unseres „e-Mobility“-Beispiels.

Der Experten Abend richtet sich an Software Entwickelnde und IT-Kräfte, die mitdiskutieren und von den künftigen Entwicklungen profitieren wollen.

Ihr Referent:
Prof. Dr. Jan Dünnweber
Prof. Dr. Jan Dünnweber unterrichtet an der Ostbayerischen Technischen Hochschule (OTH) in Regensburg Informatik und betreut bei der IDV AG Studierende, die in Projekten mitwirken.