FB20 Informatik

Lehrinhalte
Anforderungen und Maßnahmen zur Sicherung der Quality-of-Service (QoS)

- Kriterien aus Anwendungs- & Nutzer-Sicht (QoE: Quality-of-Experience)
- QoS Architektur in IP-Netzen: Differentiated & Integrated Services
- QoS Support & Auswirkung je Anwendung im IP Verkehrs-Mix
  (Video-Streaming, VoIP, Web Browsing, Downloads, Social Networking, Gaming etc.)

Qualitätssicherung in der Netzinfrastruktur von IP Service Providern

- Einfluss der Netz- und Transportebene:
  Routing (OSPF, BGP), Multiprotocol Label Switching (MPLS), TCP mit Absicherung gegen Fehler und Ausfälle
- Messung, Monitoring, Optimierung von IP Verkehr bzgl. QoS
- Standardisierung und Kontrolle von QoS (bei IETF, BNetzA, etc.)

Qualitätssicherung in Service Overlays und auf Anwendungsebene

- Content Delivery Netze (CDN), Clouds, Peer-to-Peer Netze (P2P)
- Optimierung verteilter Daten-Caches, von Transport-Pfaden, Skalierbarkeit
 

Literatur
Wird in der Vorlesung angesprochen

Voraussetzungen
Vorwissen: Grundlegende Kenntnisse der Informatik und Internet-Anwendungen werden vorausgesetzt. Die Vorlesungen Kommunikationsnetze I und II sind empfohlen.

Online-Angebote
Moodle

Course Contents
Demands and measures for Quality of Service (QoS)

- Criteria from the view of applications & users (QoE: Quality of Experience)
- IP QoS Architecture: Differentiated & Integrated Services
- QoS support & impact per application in the current IP traffic mix
  (Video streaming, VoIP, web browsing, downloads, social networking, gaming etc.)

Quality support on the network infrastructure of IP service providers

- Impact of network and transport layer:
  Routing (OSPF, BGP), Multiprotocol Label Switching (MPLS), TCP incl. failure handling and resilience
- Measurement, monitoring and optimization of IP traffic regarding QoS criteria
- Standardization and control of QoS (@ the IETF, BNetzA, etc.)

Quality support in service overlays and on application layer

- Content Delivery Networks (CDN), clouds and Peer-to-Peer networks (P2P)
- Optimization for distributed caches, transport paths, scalability
 

Literature
Will be addressed in lecture

Preconditions
Prerequisites: Basic knowledge in computer science and Internet applications is required. The courses on Kommunikationsnetze I and II are recommended.

Online Offerings
Moodle

Lehrinhalte
• Markov Decision Process
• Value Functions, Bellman Operator, Policies
• Dynamic Programming
• Monte-Carlo Reinforcement Learning
• Temporal Difference Learning
• Tabular Reinforcement Learning
• Reinforcement Learning with Function Approximation
• Deep Q-Learning
• On-policy and off-policy deep actor-critic
• Model-based Reinforcement Learning
• Intrinsic Motivation

Literatur
Reinforcement Learning: An Introduction, Sutton and Barto, 2nd Edition: [url]http://incompleteideas.net/book/RLbook2018.pdf[/url]

Voraussetzungen
Gute Programmierkenntnisse in Python.
Vorherige Belegung der Vorlesung Statistical Machine Learning ist hilfreich aber nicht zwingend erforderlich

Offizielle Kursbeschreibung
[b]Motivation:[/b]

"Die grundlegende Herausforderung im Bereich der künstlichen Intelligenz und des maschinellen Lernens besteht darin, zu lernen, wie man unter Unsicherheit gute Entscheidungen trifft" - Emma Brunskill. 

Reinforcement Learning (RL) ist ein Bereich des maschinellen Lernens, der sich mit der Frage beschäftigt, wie intelligente Agenten in einer Umgebung agieren sollten, um die kumulativen Belohnungen zu maximieren. RL ist eines der drei grundlegenden Paradigmen des maschinellen Lernens, neben dem überwachten Lernen und dem unüberwachten Lernen. RL unterscheidet sich vom überwachten Lernen dadurch, dass keine beschrifteten Eingabe-/Ausgabepaare vorgelegt werden müssen und dass suboptimale Aktionen nicht explizit korrigiert werden müssen. Stattdessen liegt der Schwerpunkt auf der Suche nach einem Gleichgewicht zwischen Erkundung (Neuland) und Ausnutzung (des vorhandenen Wissens).

[b]Über diesen Kurs:[/b]

Dieser Kurs führt die Studierenden durch die Grundlagen der Methoden des Reinforcement Learning bis hin zu den jüngsten Fortschritten des Deep Reinforcement Learning. Am Ende dieses Kurses werden die Studierenden über ein solides Wissen auf diesem Gebiet verfügen und in der Lage sein, Probleme mit verschiedenen RL Algorithmen zu lösen. Dieser Kurs dient als hervorragender Hintergrund für Personen, die selbstständig RL-forschung betreiben wollen, z.B. im Rahmen einer Bachelor- oder Masterarbeit. 

Zusätzliche Informationen
Die Präsenzvorlesung wird von einer Online-Problemlösungssitzung (Kodierübungen) und einer Fragerunde begleitet.

Online-Angebote
moodle