Kursinformation

Lehrinhalte
• Markov Decision Process
• Value Functions, Bellman Operator, Policies
• Dynamic Programming
• Monte-Carlo Reinforcement Learning
• Temporal Difference Learning
• Tabular Reinforcement Learning
• Reinforcement Learning with Function Approximation
• Deep Q-Learning
• On-policy and off-policy deep actor-critic
• Model-based Reinforcement Learning
• Intrinsic Motivation

Literatur
Reinforcement Learning: An Introduction, Sutton and Barto, 2nd Edition: [url]http://incompleteideas.net/book/RLbook2018.pdf[/url]

Voraussetzungen
Gute Programmierkenntnisse in Python.
Vorherige Belegung der Vorlesung Statistical Machine Learning ist hilfreich aber nicht zwingend erforderlich

Offizielle Kursbeschreibung
[b]Motivation:[/b]

"Die grundlegende Herausforderung im Bereich der künstlichen Intelligenz und des maschinellen Lernens besteht darin, zu lernen, wie man unter Unsicherheit gute Entscheidungen trifft" - Emma Brunskill. 

Reinforcement Learning (RL) ist ein Bereich des maschinellen Lernens, der sich mit der Frage beschäftigt, wie intelligente Agenten in einer Umgebung agieren sollten, um die kumulativen Belohnungen zu maximieren. RL ist eines der drei grundlegenden Paradigmen des maschinellen Lernens, neben dem überwachten Lernen und dem unüberwachten Lernen. RL unterscheidet sich vom überwachten Lernen dadurch, dass keine beschrifteten Eingabe-/Ausgabepaare vorgelegt werden müssen und dass suboptimale Aktionen nicht explizit korrigiert werden müssen. Stattdessen liegt der Schwerpunkt auf der Suche nach einem Gleichgewicht zwischen Erkundung (Neuland) und Ausnutzung (des vorhandenen Wissens).

[b]Über diesen Kurs:[/b]

Dieser Kurs führt die Studierenden durch die Grundlagen der Methoden des Reinforcement Learning bis hin zu den jüngsten Fortschritten des Deep Reinforcement Learning. Am Ende dieses Kurses werden die Studierenden über ein solides Wissen auf diesem Gebiet verfügen und in der Lage sein, Probleme mit verschiedenen RL Algorithmen zu lösen. Dieser Kurs dient als hervorragender Hintergrund für Personen, die selbstständig RL-forschung betreiben wollen, z.B. im Rahmen einer Bachelor- oder Masterarbeit. 

Zusätzliche Informationen
Die Präsenzvorlesung wird von einer Online-Problemlösungssitzung (Kodierübungen) und einer Fragerunde begleitet.

Online-Angebote
moodle

Course Contents
• Markov Decision Process
• Value Functions, Bellman Operator, Policies
• Dynamic Programming
• Monte-Carlo Reinforcement Learning
• Temporal Difference Learning
• Tabular Reinforcement Learning
• Reinforcement Learning with Function Approximation
• Deep Q-Learning
• On-policy and off-policy deep actor-critic
• Model-based Reinforcement Learning
• Intrinsic Motivation
 

Literature
Reinforcement Learning: An Introduction, Sutton and Barto, 2nd Edition: [url]http://incompleteideas.net/book/RLbook2018.pdf[/url]

Preconditions
Good programming in Python.
Lecture Statistical Machine Learning is helpful but not mandatory.

Official Course Description
[b]Motivation:[/b]

"The fundamental challenge in artificial intelligence and machine learning is learning to make good decisions under uncertainty," -- Emma Brunskill. 

Reinforcement learning (RL) is an area of machine learning concerned with how intelligent agents should take actions in an environment to maximize the cumulative rewards. Reinforcement learning is one of three basic machine learning paradigms, alongside supervised learning and unsupervised learning. RL differs from supervised learning in not needing labeled input/output pairs to be presented and not needing sub-optimal actions to be explicitly corrected. Instead, the focus is on finding a balance between exploration (uncharted territory) and exploitation (of current knowledge).

[b]About this course:[/b]

This course will take you through the foundation of reinforcement learning methods till recent deep reinforcement learning advances. By the end of this course, you will have a solid knowledge of the field, and you will be able to solve problems with different reinforcement learning algorithms. This course serves as an excellent background for people wanting to carry out reinforcement learning research independently,  e.g., within the scope of a Bachelor's or Master's thesis. 

Additional Information
The in-person lecture will be accompanied by an online problem-solving solving session (coding exercises) and Q&A session. 

Online Offerings
moodle