Offline RL English

Глава 13: Заключение и перспективы

«Цель Offline RL — не заменить обучение с взаимодействием, а сделать знания, запертые в исторических данных, применимыми на практике без каких-либо рисков.»

Что мы построили

В главе 1 мы начали с вопроса: может ли агент последовательного принятия решений обучаться исключительно из фиксированного журнала прошлого поведения, никогда не взаимодействуя со средой напрямую? Ответ — да, но с оговорками, которые оказываются не менее интересными, чем сами алгоритмы.

Эти оговорки — не инженерные детали. Они являются структурными характеристиками задачи обучения по офлайн-данным: разрыв экстраполяции между тем, что покрывают данные, и тем, что политика должна уметь оценивать; сдвиг распределения между поведенческой политикой и любой более качественной политикой; фундаментальная невозможность проверить политику именно в тех регионах, где она наиболее вероятно провалится. Каждый алгоритм в этой книге — разный ответ на одну и ту же базовую проблему.

Поведенческое клонирование (глава 1) отвечает на неё игнорированием: клонирует поведенческую политику и остаётся строго там, где есть данные. Это работает, когда поведенческая политика хороша, и катастрофически отказывает, когда нет — проблема накопительной ошибки. BC — не плохой алгоритм; это честный алгоритм, который не даёт никаких обещаний сверх данных, которые он видел.

CQL и IQL (главы 4–5) отвечают на неё пессимизмом в пространстве значений: штрафуют Q-значения за действия, не подкреплённые данными, или конструируют резервное копирование значений так, чтобы никогда не запрашивать OOD-действия. Оба достигают одной цели — удерживают эффективную поддержку политики внутри распределения данных — разными алгебраическими путями.

MOPO и MOReL (глава 8) отвечают расширением данных: обучают модель мира, генерируют синтетический опыт, но штрафуют или жёстко прекращают переходы там, где модель неопределена. Модельно-основанные методы обменивают вычисления на разнообразие выборки — когда модель динамики точна, они значительно превосходят безмодельные методы.

Физически-информированные методы (глава 9) отвечают заимствованием структуры: заменяют неизвестные части модели известной физикой, ограничивают сигнал награды физическими законами и обеспечивают жёсткие ограничения через двойственность Лагранжа. Этот подход возможен только при наличии инженерных знаний — но когда они есть, он наиболее эффективен по данным.

Промышленный кейс (глава 10) показал, как эти инструменты компонуются в условиях, когда ставки реальны: пятипеременный процесс с интегрирующей динамикой, транспортной задержкой, неравномерным покрытием данных и жёсткими ограничениями оборудования. Ни один алгоритм не доминировал. Практическая рекомендация — CQL+Physics для минимальных нарушений ограничений, HybridMOReL когда нужна более высокая награда — отражает не победителя, а комплементарную структуру между безмодельным соблюдением ограничений и модельно-основанным разнообразием.

Tool-using LLM-агенты (глава 12) переносят тот же offline RL framing на multi-turn agent traces — с более «грязными» states, sparse rewards и приоритетом инфраструктуры логирования.

Когда не стоит использовать Offline RL

Offline RL — не инструмент по умолчанию для любой задачи последовательных решений. Улучшение политики при ограничениях support данных имеет смысл только когда задача действительно RL-формата и логи поддерживают амбицию.

Не используйте offline RL (или отложите), если:

В manufacturing / process control спросите: узкое место — данные, динамика, награда или риск вмешательства? Часто сначала нужен более простой baseline.

Альтернативы: сильный BC + правила; MPC; surrogate + optimizer; offline bandits при коротком горизонте; OPE до value-based методов.

См. Приложение: выбор алгоритма.

О коде в этой книге

Python-файлы в главах — учебные скелеты на игрушечной среде, не benchmark-grade реализации.

Нормализация, протокол eval и initial states в OPE легко ломаются незаметно. При расхождении snippet и code/*.py доверяйте raw-коду. Материал суммирует методы и caveats; не заменяет статьи и production-библиотеки (d3rlpy, CleanRL, релизы авторов).

Что Offline RL пока не может гарантировать

Честность требует назвать то, что в этой области не решено.

Сдвиг распределения при развёртывании. Каждый алгоритм Offline RL обучает политику $\pi$, предполагая, что развёртываемая среда соответствует обучающей. Когда процесс меняется — оборудование изнашивается, состав сырья смещается, внешние условия меняются — офлайн-обученная политика не имеет механизма обнаружения или адаптации. Теоретические гарантии глав 4–9 справедливы только пока тестовое распределение напоминает обучающее. На практике это вопрос времени: как скоро разрыв станет опасным?

Спецификация функции награды. Каждый алгоритм в книге предполагал, что функция награды задана. Во многих промышленных условиях это не так. Операторы интуитивно понимают, как выглядит хорошее управление, но перевод этих интуиций в скалярную функцию награды, корректно взвешивающую конкурирующие цели — качество продукта, энергоэффективность, производительность, безопасность — нетривиальная инженерная задача. Неправильно заданная награда приводит к политике, оптимизирующей не то, что нужно.

Квантификация неопределённости. Ансамблевая неопределённость (главы 8–9) измеряет эпистемическую неопределённость в отношении модели динамики. Она не измеряет неопределённость в отношении функции награды, спецификации ограничений или самой стоимости офлайн-политики. Калиброванная неопределённость для всего конвейера остаётся открытой задачей.

Интерпретируемость. Нейросетевые политики из глав 1–10 — чёрные ящики. Оператор, которому нужно понять почему политика назначила конкретное уставное значение в конкретный момент, не может получить ответ из весов. Это ограничивает применение в регулируемых отраслях, где решения должны быть объяснимы и поддаваться аудиту.

Разрыв sim-to-real для физических моделей. Гибридные динамические модели главы 9 предполагают, что физическая модель и реальный процесс имеют одинаковую структуру, различаясь лишь остатками. Когда физическая модель структурно неверна — неправильный порядок, неправильная топология связей, неправильные законы сохранения — остаточная сеть должна выучить поправку, которой физический член активно сопротивляется. Систематическое обнаружение и обработка структурного несоответствия модели пока не разработаны.

Новые направления

Область развивается быстро. Направления ниже не исчерпывающие, но представляют наиболее активные течения на момент написания.

Decision Transformer и последовательные модели

Decision Transformer (Chen et al., NeurIPS 2021) переформулирует Offline RL как задачу моделирования последовательностей. Вместо обучения Q-функции или градиента политики он обучает причинный Transformer предсказывать следующее действие по прошлой траектории и желаемому доходу-до-конца:

$$a_t = \pi_\theta\!\left(R_t,\, s_t,\, a_{t-1},\, \ldots,\, R_1,\, s_1,\, a_1\right)$$

При инференсе вы обуславливаете на высоком целевом доходе — «хочу накопленную награду $\geq R^*$» — и модель генерирует действия для его достижения.

Этот подход концептуально элегантен: весь конвейер Offline RL сводится к обучению с учителем на последовательностях. Нет Беллмановских резервных копий, нет Q-функций, нет явного пессимизма. Модель просто учится из данных, какие последовательности действий ведут к высоким доходам, и имитирует этот паттерн при обуславливании на высокой цели.

Практические следствия значительны. Трансформеры масштабируются с данными и размером модели способами, недоступными методам на основе Q-функций. Decision Transformer, обученный на большом разнообразном датасете, обобщается на задачи и среды способом, недоступным специализированному агенту CQL. Это связь с большими языковыми моделями: та же архитектура, которая учится предсказывать текст по интернет-данным, может учиться предсказывать действия по данным траекторий.

Trajectory Transformer (Janner et al., NeurIPS 2021) идёт дальше: моделирует всю траекторию $(s_1, a_1, r_1, s_2, a_2, r_2, \ldots)$ как последовательность, затем использует лучевой поиск по этой последовательности для нахождения высоковознаграждаемых траекторий при инференсе.

Ограничение последовательных моделей то же, что у BC: они не экстраполируют за пределы распределения доходов в обучающих данных. Если обучающий датасет имеет максимальный доход $R_{max}$, обуславливание на $R > R_{max}$ создаёт входы со сдвигом распределения, на которых модель никогда не обучалась.

Диффузионные модели для Offline RL

Диффузионные вероятностные модели стали одним из наиболее мощных семейств генеративных моделей, и их применение к последовательному принятию решений — активное и продуктивное направление.

Ключевое наблюдение: обучение политике $\pi(a|s)$ является задачей условной генерации. Диффузионные модели превосходны в условной генерации.

Imitation Learning и Offline RL: необходимое разграничение

Прежде чем рассматривать диффузионные модели, стоит прояснить концептуальную границу, которую практики часто размывают: разницу между обучением с имитации (IL) и Offline RL.

Оба подхода обучаются по фиксированному датасету прошлого поведения без онлайн-взаимодействия. Разница в том, что содержит датасет и что оптимизирует обучающийся:

Imitation Learning Offline RL
Требования к датасету Только экспертные демонстрации Любые записанные переходы $(s, a, r, s')$
Сигнал награды Не нужен — действия являются метками Необходим — управляет оптимизацией
Цель Воспроизвести поведенческую политику Улучшиться сверх поведенческой политики
Режим отказа Накопительная ошибка (ковариатный сдвиг) Сдвиг распределения + ошибка экстраполяции
Ключевые алгоритмы BC, DAgger, GAIL CQL, IQL, MOPO, MOReL

Поведенческое клонирование (глава 1) — простейший IL-алгоритм: дано $(s, a^*)$ от эксперта, обучить политику предсказывать $a^*$ по $s$ через обучение с учителем. Награда не нужна. Ценой является накопительная ошибка: во время работы политика посещает состояния, чуть отличающиеся от обучающего распределения, делает чуть худшие предсказания, и ошибки накапливаются.

Offline RL решает это не улучшением поведенческого клонирования, а оптимизацией функции награды — он может в принципе превзойти поведенческую политику, «сшивая» субоптимальные траектории способами, которыми исходные операторы никогда не действовали. Эта способность к сшиванию требует сигнала награды, которого у IL нет.

Когда что использовать: если есть экспертные демонстрации и важно воспроизвести поведение точно — IL проще и часто достаточен. Если есть неоднородные исторические логи с разными стратегиями операторов и субоптимальными эпизодами — Offline RL может извлечь политику, лучшую, чем любой отдельный демонстратор.

На практике подходы сходятся: Offline RL с регуляризацией поведенческого клонирования (как в IQL и CQL+BC) использует IL как ограничение для удержания вблизи распределения данных при оптимизации награды.

Проблема мультимодальных действий

Важнейший режим отказа поведенческого клонирования — и ключевая мотивация для Diffusion Policy — это проблема мультимодальных действий. В промышленных процессах операторы разных смен нередко вырабатывают разные, но допустимые стратегии при одном и том же нештатном состоянии. Например, на линии нанесения покрытия при уходе температуры и наполнителя от уставки один оператор реагирует снижением нагрева (консервативно, приоритет — восстановление температуры), другой — увеличением подачи наполнителя для коррекции состава. Оба подхода могут быть корректны в своей практике. Гауссова политика $\pi_\theta(a|s)$ подгоняет одномодальное распределение над действиями. Столкнувшись с двумя такими ответами, она предсказывает их среднее — например, небольшое изменение и тепла, и потока, которое ни один оператор бы не выбрал. Итог может быть катастрофическим: усреднённое действие способно нарушить материальный баланс, усилить отклонение или подвести процесс к ограничению. Политика терпит неудачу не из-за плохих данных, а потому что архитектура не может представить два допустимых ответа на один и тот же вопрос.

$$\text{Гаусс коллапсирует: } \hat{a} = \mathbb{E}[a | s] = \frac{a_{\text{смена A}} + a_{\text{смена B}}}{2} \notin \{a_{\text{смена A}}, a_{\text{смена B}}\}$$

Модель, усредняющая стратегии операторов, может выдать действие, которое никто никогда не применял — и не без причины. Диффузионные модели решают это, моделируя полное условное распределение $p(a|s)$, а не его среднее.

Diffusion Policy: архитектура и временны́е горизонты

Diffusion Policy (Chi et al., RSS 2023) применяет фреймворк денойзирующей диффузии к генерации действий. При инференсе политика начинает с чистого гауссова шума в пространстве действий и итеративно денойзирует его, обусловливаясь на текущем наблюдении:

$$A^{k-1}_t = \alpha \left( A^k_t - \gamma\, \epsilon_\theta(O_t, A^k_t, k) + \mathcal{N}(0, \sigma^2 I) \right)$$

Обучение — с учителем: берём чистую последовательность действий $A^0_t$ из датасета, зашумляем до $A^k_t$ при уровне шума $k$, и обучаем сеть $\epsilon_\theta$ предсказывать добавленный шум:

$$\mathcal{L} = \mathbb{E}_{k, A^0_t, \epsilon}\left[\|\epsilon - \epsilon_\theta(O_t, A^k_t, k)\|^2\right]$$

Три временны́х решения отличают Diffusion Policy от пошаговых политик:

Горизонт наблюдения $T_o$: сколько прошлых наблюдений получает политика. При $T_o = 2$ робот видит текущий и предыдущий кадр — давая информацию о скорости без явной оценки состояния.

Горизонт предсказания $T_p$: сколько будущих шагов действия выдаёт диффузионная модель за один проход денойзинга. Типично $T_p = 16$. Предсказание куска будущего вместо одного шага создаёт временно́ согласованные последовательности действий и избегает высокочастотного дрожания.

Горизонт действия $T_a$: сколько из $T_p$ предсказанных действий фактически выполняется перед следующим планированием. Типично $T_a = 8$. Политика выполняет первую половину плана, снова наблюдает и генерирует новый план. Эта структура убывающего горизонта обеспечивает устойчивость: ошибки в дальней части предсказания исправляются переплануированием, а не накапливаются.

Для денойзингового бэкбона предлагаются две архитектуры: 1D-темпоральная свёрточная сеть с FiLM-обусловливанием (масштабирует и сдвигает скрытые активации функциями наблюдения) как стандартная рабочая лошадка, и Transformer-декодер с cross-attention к наблюдениям для задач со сложной временнóй структурой.

Diffuser (Janner et al., ICML 2022) рассматривает траекторный уровень: моделирует всю $(s_1, a_1, r_1, s_2, \ldots)$ совместно как диффузионный процесс, затем направляет генерацию к высоковознаграждаемым траекториям через guidance классификатора:

$$\text{траектория} \sim p_\theta(\tau) \cdot \exp(\beta \cdot J(\tau))$$

Это планирование без явной модели динамики — диффузионная модель неявно кодирует динамику в выученном распределении траекторий.

Decision Diffuser (Ajay et al., ICLR 2023) разделяет обусловливание на доходе от генерации траекторий, позволяя компоновку при инференсе: несколько функций награды комбинируются умножением кондиционирующих сигналов в процессе денойзинга. Для промышленных применений, где награда торгует энергией, качеством и производительностью, это позволяет настраивать веса при развёртывании без переобучения.

Вычислительная стоимость итеративного денойзинга — типично 10–100 прямых проходов на действие — главное препятствие для быстрых промышленных контуров. Недавние работы по consistency-моделям и flow matching сводят это к одному-нескольким шагам, делая диффузионные политики практически развёртываемыми в реальном времени.

Диффузия для Offline RL: к масштабируемым классам политик

Комбинация диффузии и архитектуры Transformer — активное направление, движимое конкретным наблюдением: денойзинговая сеть внутри диффузионной модели не обязана быть U-Net. Diffusion Transformer (DiT) (Peebles & Xie, ICCV 2023) заменил U-Net на стандартный Transformer в генерации изображений и показал благоприятное масштабирование — более крупные модели на большем объёме данных улучшаются предсказуемо. Естественный вопрос для Offline RL: работает ли та же замена для сетей политик и планирования.

Несколько линий работ сходятся к этому:

Diffusion Q-Learning (DQL) (Wang et al., ICLR 2023) использует диффузионную модель как класс политик внутри actor-critic фреймворка для Offline RL. Диффузионная политика генерирует высококачественные действия из распределения данных, а Q-функция направляет к высоковознаграждаемым регионам. На бенчмарках D4RL диффузионные политики стабильно превосходят гауссовы базовые линии.

DTQL (Chen et al., NeurIPS 2024) решает проблему стоимости инференса: итеративный денойзинг слишком медленен для быстрых контуров управления. DTQL обучает двойную политику — диффузионную модель для поведенческого клонирования, определяющую доверительную область, и быструю одношаговую политику для фактического развёртывания. Это разделение декаплирует выразительность от скорости инференса — практически важный дизайн для промышленных применений.

Reasoning with Latent Diffusion (Venkatraman et al., ICLR 2024) применяет диффузию в латентном пространстве модели мира, а не в пространстве действий — объединяя модельно-основанное планирование с мультимодальной выразительностью диффузии.

Архитектурный тренд очевиден, даже если единая доминирующая работа «DiT для Offline RL» ещё не существует: Transformer-бэкбоны заменяют U-Net внутри диффузионных политик, а диффузионные политики заменяют гауссовы политики как выразительный класс политик для Offline RL. Масштабируется ли эта комбинация так же, как языковые модели — где одна большая модель, обученная на разнообразных данных, переносится на новые задачи с минимальной дообучкой — открытый эмпирический вопрос, на который ответят ближайшие несколько лет.

Offline-to-Online: преодоление разрыва

Чисто офлайн-политика статична по определению. Реальные развёртывания требуют адаптации: процесс меняется, вводятся новые режимы работы, ограничения пересматриваются. Offline-to-online RL инициализируется из офлайн-обученной политики и продолжает обучение с ограниченным онлайн-взаимодействием.

Сложность: наивная дообучение офлайн-политики онлайн вызывает катастрофическое забывание консервативного поведения, обеспечивавшего её безопасность. Методы IQL с онлайн-дообучением (Kostrikov et al., 2021) и Cal-QL (Nakamoto et al., 2023) сохраняют офлайн-пессимизм в начале онлайн-обучения и постепенно ослабляют его по мере накопления онлайн-данных. Это именно правильная структура для промышленного развёртывания: использовать офлайн-политику как безопасную отправную точку, затем улучшать её через контролируемое взаимодействие с явными ограничениями безопасности.

Безопасный Offline RL и формальная верификация

Лагранжев подход главы 9 обеспечивает соблюдение ограничений в ожидании — он минимизирует ожидаемые нарушения, но не гарантирует их отсутствия. Для критически важных по безопасности приложений этого недостаточно.

Conservative Safety Critics (Bharadhwaj et al., 2021) и CVPO обеспечивают более сильные гарантии, обучая отдельную функцию безопасности Q, ограничивающую вероятность нарушения ограничений, а не только её ожидаемую величину.

Формальная верификация нейросетевых политик — доказательство того, что политика удовлетворяет ограничению для всех состояний в данном множестве — остаётся вычислительно неосуществимой для больших сетей. Но для низкоразмерных пространств состояний, типичных для промышленного управления процессами (5–20 переменных), недавние работы по верификации на основе функций Ляпунова делают формальные сертификаты безопасности всё более реальными.

Большие языковые модели как дизайнеры функций награды

Проблема спецификации функции награды — пожалуй, наиболее сложная нерешённая задача в прикладном Offline RL — может быть решена с помощью больших языковых моделей. Вместо того чтобы просить инженера написать функцию награды с нуля, можно попросить LLM перевести описание хорошего управления на естественном языке в математическую функцию награды, верифицировать её на примерах траекторий и итеративно уточнять на основе производительности политики.

EUREKA (Ma et al., 2023) демонстрирует этот цикл: GPT-4 генерирует функции награды для задач роботизированной манипуляции, оценивает их на развёртках и самосовершенствует итеративно, достигая сверхчеловеческой производительности на задачах, где человеческие награды были неоптимальны.

Практическая дорожная карта для промышленного развёртывания

На основе материала этой книги прагматичная последовательность развёртывания для нового промышленного приложения:

Шаг 1 — Начните с CQL+Physics. Соберите существующий исторический журнал, определите операционные ограничения из инженерных знаний, откалибруйте веса физического штрафа по эвристике $\lambda$ из главы 9 и обучите. Это даёт безопасную базовую политику с минимальными нарушениями ограничений и без модели динамики. Ожидаемые сроки: 2–4 недели для команды с доступом к данным процесса.

Шаг 2 — Диагностируйте по DA и частоте нарушений. Используйте метрики IndustrialEvaluator из главы 10. Если DA > 0.80 и частота нарушений < 2%, базовая политика пригодна для промышленного развёртывания. Если нет, определите, какие переменные дают сбои и является ли причиной покрытие данных, точность физической модели или калибровка ограничений.

Шаг 3 — Добавьте гибридную динамику при необходимости. Если производительность по награде недостаточна, добавьте HybridEnsemble для модельно-основанного разнообразия. Сначала запустите diagnose_physics_coverage — если общее покрытие ниже 70%, физическую модель нужно доработать прежде чем гибридизация поможет.

Шаг 4 — Offline-to-online дообучение. После начального периода развёртывания (1–4 недели) соберите данные онлайн-взаимодействия и дообучите по процедуре IQL offline-to-online. Сохраняйте физические ограничения на протяжении всего процесса — они не артефакт офлайн-обучения, а представление физической реальности.

Шаг 5 — Мониторинг сдвига распределения. Отслеживайте распределение наблюдаемых состояний во времени. Если доля наблюдений за пределами обучающего распределения превышает 5–10%, переобучите на объединённых исторических и эксплуатационных данных. Это не режим отказа — это ожидаемый жизненный цикл промышленной модели машинного обучения. Конкретную реализацию детекции дрейфа, резервных политик (fallback) и проверок безопасного RL при внедрении см. в главе 10 (раздел «Безопасный RL, детекция дрейфа и резервная политика»).

Заключительные замечания

Offline RL — не решённая задача. Алгоритмы этой книги — мощные инструменты с хорошо изученными режимами отказа, а не чёрные ящики для слепого применения. Самое важное, что может сделать практик — достаточно хорошо понять эти режимы отказа, чтобы распознавать их возникновение.

Вопросы, над которыми стоит думать:

Что поведенческая политика никогда не делала? Области пространства состояний-действий, отсутствующие в датасете — это области, в которых каждый алгоритм Offline RL занимается домыслами. Знать их ценнее любого алгоритмического улучшения.

Что физическая модель неправильно предсказывает? Ответ в остатке. Запускайте diagnose_physics_coverage перед каждым обучающим запуском. Физическая модель с 60% покрытием ключевой переменной создаёт для неё больше шума, чем сигнала.

Что реально означало бы нарушение ограничения? Ответ определяет, уместен ли CQL+Physics (минимизация ожидаемых нарушений) или формальный подход к безопасности (гарантия нулевых нарушений с высокой вероятностью).

Область продолжит развиваться — диффузионные трансформеры будут масштабироваться, методы offline-to-online будут зреть, LLM-based дизайн функций награды снизит нагрузку спецификации. Но фундаментальная структура задачи — обучение по фиксированным данным, осторожное обобщение, уважение физики — останется. Инструменты этой книги — не снимок преходящего тренда. Это словарь, на котором будет написано следующее десятилетие работы.

Ссылки

Decision Transformer и последовательные модели

Диффузионные модели для Offline RL

Диффузионные модели и Transformer'ы для Offline RL

Flow Matching и Consistency Models

Offline-to-Online RL

Безопасный Offline RL

LLM-based дизайн функций награды

Обзоры и основы