Please find here the english version.

Algoritmy učení v jednoduchých a složitých hrách

Slidy k prednasce v pptx a pdf.

Algoritmus DeepStack rozšiřuje možnosti umělé inteligence z her s úplnou informací - jako například dáma, šachy nebo Go - na hry s neúplnou informací jako je poker. Hraje s intuicí vytvořenou hlubokým učením a přehodnocuje svou strategii po každém tahu.

DeepStack byl představen v práci DeepStack: Expert-level artificial intelligence in heads-up no-limit poker publikované v časopise Science v březnu roku 2017. Stal se tak prvním algoritmem, který je schopen porazit i profesionální hráče v heads-up no-limit Texas hold'em pokeru.

Viliam Lisý (FEL, ČVUT) - jeden ze spoluautorů dané práce - přednese sérii čtyř přednášek o teorii her, strojovém učení a pokeru.

Anotace: Cílem této série přednášek je cesta od základů teorie her a strojového učení až k solidnímu pochopení algoritmů použitých v DeepStacku. Vysvětlíme, jak mohou hry být modelovány, jaké jsou rozumné definice optimálních strategií a zejména co je to Nashovo ekvilibrium. Poté se zaměříme na jednoduché učební postupy v problémech s opakovaným rozhodováním zvanými multi-armed bandit problems. Ukážeme základní vlastnosti učení v těchto modelech a poté se budeme zabývat tím, co se stane, pokud jsou tyto algoritmy spuštěny ve hře proti sobě. To bude základ algoritmu pro výpočet Nashova ekvilibria ve hrách s nulovým součtem, který pak bude rozšířen na Counterfactual Regret Minimization (CFR) pro hry s rozšířenou formou (extensive form games). Dále vysvětlíme, proč je obtížné rozložit hru s rozšířenou formou na nezávislé části a za jakých podmínek může CFR-D vyřešit tento problém. Závěrem stručně představíme hluboké neuronové sítě a zkombinujeme všechny probrané mechanismy do prvního algoritmu, který byl schopen porazit profesionální hráče pokru.

Studenti ČVUT si mohou zapsat stejnojmenný předmět (tedy Algoritmy učení v jednoduchých a složitých hrách) v letním semestru 2017/18, a získat jeden kredit za účast na přednáškách.

Kdy:

Pondělí 24. září 2018: 13:30-15:00 a 16:00-17:30

Úterý 25. září 2018: 10:00-11:30 a 13:00-14:30

Kde:

FJFI, ČVUT, Trojanova 13 - T212