Physical AI необходимо исследовать разные поведения, проверять их взаимодействием и переносить полезный опыт в дальнейшее обучение. EvoRL помещает этот цикл в параллельную симуляцию: отдельные политики учатся, а популяционный поиск исследует альтернативы и конфигурации обучения. Связь обучения и эволюции становится доступной эксперименту.
EvoRL — исследовательский фреймворк с открытым исходным кодом, созданный для решения этих задач. На основе JAX он объединяет обучение с подкреплением, эволюционные вычисления и моделирование сред в общий процесс разработки и оценки классических и гибридных методов. EvoRL — родственный проект EvoX, ориентированный на сочетание этих подходов, чтобы поиск на уровне популяции использовал возможности современных GPU. Описание проекта
Зачем объединять эволюцию и обучение с подкреплением?
Представим робота, который учится ходить. Одну задачу могут решать несколько политик с разной походкой, балансом скорости и устойчивости и энергопотреблением. Улучшение политики вдоль единственной траектории обучения может оставить многие варианты неисследованными.
Обучение с подкреплением использует данные взаимодействий для улучшения политик. Эволюционные вычисления поддерживают множество кандидатов, оценивают, отбирают и изменяют их, сохраняя несколько направлений поиска. Их сочетание позволяет изучать более богатый процесс: отдельные особи учатся на опыте, а популяция распространяет полезные результаты между ними.
Эволюционный поиск может напрямую изменять параметры политики или подбирать гиперпараметры обучения. Это разные вопросы: какие политики искать и как помочь им учиться эффективнее?
Такая взаимодополняемость не означает, что гибридные методы превосходят самостоятельное обучение с подкреплением во всех задачах. Она даёт больше проектных решений для проверки. EvoRL стремится снизить инженерные и вычислительные затраты на их исследование.
Ключевой принцип: весь процесс обучения рассчитан на GPU
Преимущество популяционных методов связано с разнообразием, но оно требует вычислений. Каждая дополнительная политика может потребовать новых взаимодействий, оценок и обновлений параметров. Если эти этапы распределены между CPU и GPU, частые передачи данных и планирование выполнения могут стать узкими местами.
При использовании совместимых GPU-сред EvoRL организует взаимодействия, вычисления политик, эволюционные операции и обновления в сквозной процесс на GPU. Векторизация и JIT-компиляция JAX объединяют повторяющиеся вычисления и оптимизируют вычислительный граф шага обучения. Технический обзор
Параллелизм реализован на трёх уровнях:
- Параллельные среды: одна политика взаимодействует с несколькими экземплярами среды и собирает опыт пакетами.
- Параллельные особи: несколько политик-кандидатов в популяции оцениваются одновременно.
- Параллельное обучение: несколько агентов обучаются одновременно, поддерживая гибридные методы и обучение популяций.
Это упрощает эксперименты с одновременным исследованием большего числа политик. Размер популяции по-прежнему должен учитывать память GPU, стоимость моделирования среды и размер сети. Статья об архитектуре
Сравнение четырёх семейств методов в одном фреймворке
EvoRL предоставляет общую экспериментальную основу: исследователи могут сначала получить базовые результаты, а затем добавлять новые механизмы поиска или обучения.
| Семейство методов | Примеры алгоритмов | Основной исследовательский вопрос |
|---|---|---|
| Обучение с подкреплением | PPO, TD3, SAC и другие | Как улучшать политику на основе взаимодействий? |
| Эволюционные алгоритмы | OpenES, ARS, CMA-ES и другие | Как оценки кандидатов направляют поиск в популяции? |
| Обучение с подкреплением под руководством эволюционного поиска | ERL, CEM-RL и варианты | Как совместить эволюционный поиск и градиентное обучение? |
| Популяционное AutoRL | PBT-PPO, PBT-SAC и другие | Как адаптировать настройки в процессе обучения? |
Особенно интересны два гибридных направления.
Обучение с подкреплением под руководством эволюционного поиска связывает поиск в популяции с индивидуальным обучением. Популяция может исследовать разные области пространства параметров, а обновления обучения с подкреплением — улучшать кандидатов. Алгоритмы различаются способами обмена опытом, обновления особей и отбора. EvoRL предоставляет реализации для изучения этих решений.
Популяционное AutoRL исследует настройки обучения. Например, в PBT несколько особей обучаются отдельно. По результатам периодических оценок они наследуют состояния обучения более успешных особей и изменяют гиперпараметры, продолжая поиск. Таким образом, гиперпараметры могут меняться по ходу обучения.
Набор доступных алгоритмов и вариантов определяется текущей реализацией в репозитории. Список алгоритмов
Модульность: от исследовательской идеи к эксперименту
Разработка гибридных алгоритмов часто требует значительной работы по адаптации сред, организации данных, оценке и согласованию интерфейсов. EvoRL распределяет эти обязанности между несколькими основными абстракциями:
- Env предоставляет единый интерфейс взаимодействия со средами.
- Agent определяет поведение агента и связанную логику обучения.
- SampleBatch организует траектории и выборки данных.
- Workflow определяет шаги обучения алгоритма.
- EC предоставляет эволюционные алгоритмы и соответствующие операторы.
Эти модули позволяют изменять отдельные части эксперимента. Например, можно заменить метод поиска, сохранив среду и сеть политики, либо сравнить обучение до и после добавления эволюционных операций. Документация фреймворка и API
Общая реализация также помогает контролировать переменные. Одинаковые задачи, процедуры оценки и вычислительные бюджеты позволяют отделить алгоритмические улучшения от различий в реализации. Фреймворк облегчает сравнения, но строгая постановка эксперимента остаётся ответственностью исследователя.
Что означают показатели ускорения?
В статье EvoRL вычислительная эффективность сравнивается в среде Swimmer из Brax на машине с двумя CPU Intel Xeon Gold 6132, 128 GiB оперативной памяти и одним GPU RTX 3090. В протестированных конфигурациях OpenES достигает максимального ускорения более 60× относительно распределённой CPU-реализации RLlib; CEM-RL — примерно 5–9× относительно своей официальной реализации.
Эти значения относятся к определённым задачам, размерам популяций и базовым реализациям. Они не означают такого же ускорения во всех задачах или пропорционального сокращения числа образцов, необходимых для достижения целевой награды. Условия экспериментов и результаты
При планировании экспериментов более высокая производительность позволяет рассмотреть больше начальных значений генератора случайных чисел, более полные абляционные исследования или более крупные популяции. Практический смысл ускорения — проверить больше идей в пределах доступного бюджета.
От управления роботами к новым задачам принятия решений
EvoRL поддерживает Brax и MuJoCo Playground для непрерывного управления, поиска политик и обучения популяций. Экспериментальные интеграции с gymnax, Jumanji и JaxMARL охватывают классическое управление, игры, комбинаторную оптимизацию и многоагентные сценарии; совместимость алгоритмов необходимо проверять для каждой конфигурации. Поддерживаются и некоторые CPU-среды, поэтому возможность выполнения всего процесса на GPU зависит от сочетания среды и алгоритма. Поддерживаемые среды
Исследователи эволюционного обучения с подкреплением могут начать с существующих алгоритмов, а затем менять взаимодействие популяционного поиска и обучения политик. Для AutoRL можно начать с PBT и изучать влияние настроек на обучение. Разработчики новых методов оптимизации могут постепенно подключать свои компоненты через общие интерфейсы.
Первый эксперимент
Для текущей установки требуются Python 3.12 или новее и JAX/jaxlib 0.10.0 или новее. EvoRL
Сначала настройте JAX под своё оборудование по инструкции по установке. Затем установите EvoRL из исходного кода, чтобы получить сценарии обучения и конфигурации из примера:
git clone https://github.com/EMI-Group/evorl.git
cd evorl
pip install -e .
Начните с базового PPO в среде Ant из Brax:
python scripts/train.py agent=ppo env=brax/ant
EvoRL использует Hydra для управления конфигурациями. Когда базовый запуск заработает, изменяйте начальные значения генератора случайных чисел, настройки алгоритмов и сред, а затем переходите к гибридным методам или обучению популяций. Подробности приведены в руководстве по быстрому старту.
Сохраните первый запуск PPO как базовый: зафиксируйте среду, seed, конфигурацию и кривую обучения до изменения компонента. Более простой старт поиска по популяции предлагает учебник EvoX.