Offline RL: От теории к промышленной практике
Прикладные учебные заметки по offline deep RL — не авторитетный textbook. Материал суммирует алгоритмы, паттерны реализации и практические caveats; код — учебный каркас.
Практическое руководство по офлайн обучению с подкреплением — для практиков, которые знают ML и хотят применять RL к реальным системам без живых экспериментов.
Каждая глава: идея → формализация → код → ограничения.
Содержание
- Гл 1Поведенческое клонированиеготово
- Гл 2Задача Offline RL: ошибка экстраполяцииготово
- Гл 3Оценка политик вне политики сбора данных (OPE)готово
- Гл 4Консервативное Q-обучение (CQL)готово
- Гл 5Неявное Q-обучение (IQL)готово
- Гл 6Ограничение политики и Actor-Critic (TD3+BC, AWAC)готово
- Гл 7Decision Transformersготово
- Гл 8Модельный Offline RL (MOPO, MOReL)готово
- Гл 9Physics-Informed Offline RLготово
- Гл 10Промышленные примененияготово
- Гл 11Объяснимость в Offline RLготово
- Гл 12Offline RL для tool-using LLM-агентовготово
- Гл 13Заключение и перспективыготово
- Прил.Выбор алгоритмаготово