Physical AI необходимо исследовать разные поведения, проверять их взаимодействием и переносить полезный опыт в дальнейшее обучение. EvoRL помещает этот цикл в параллельную симуляцию: отдельные политики учатся, а популяционный поиск исследует альтернативы и конфигурации обучения. Связь обучения и эволюции становится доступной эксперименту.

Моделируемые четвероногие исследуют разные движения

EvoRL — исследовательский фреймворк с открытым исходным кодом, созданный для решения этих задач. На основе JAX он объединяет обучение с подкреплением, эволюционные вычисления и моделирование сред в общий процесс разработки и оценки классических и гибридных методов. EvoRL — родственный проект EvoX, ориентированный на сочетание этих подходов, чтобы поиск на уровне популяции использовал возможности современных GPU. Описание проекта

Зачем объединять эволюцию и обучение с подкреплением?

Представим робота, который учится ходить. Одну задачу могут решать несколько политик с разной походкой, балансом скорости и устойчивости и энергопотреблением. Улучшение политики вдоль единственной траектории обучения может оставить многие варианты неисследованными.

Обучение с подкреплением использует данные взаимодействий для улучшения политик. Эволюционные вычисления поддерживают множество кандидатов, оценивают, отбирают и изменяют их, сохраняя несколько направлений поиска. Их сочетание позволяет изучать более богатый процесс: отдельные особи учатся на опыте, а популяция распространяет полезные результаты между ними.

Эволюционный поиск может напрямую изменять параметры политики или подбирать гиперпараметры обучения. Это разные вопросы: какие политики искать и как помочь им учиться эффективнее?

Такая взаимодополняемость не означает, что гибридные методы превосходят самостоятельное обучение с подкреплением во всех задачах. Она даёт больше проектных решений для проверки. EvoRL стремится снизить инженерные и вычислительные затраты на их исследование.

Ключевой принцип: весь процесс обучения рассчитан на GPU

Преимущество популяционных методов связано с разнообразием, но оно требует вычислений. Каждая дополнительная политика может потребовать новых взаимодействий, оценок и обновлений параметров. Если эти этапы распределены между CPU и GPU, частые передачи данных и планирование выполнения могут стать узкими местами.

При использовании совместимых GPU-сред EvoRL организует взаимодействия, вычисления политик, эволюционные операции и обновления в сквозной процесс на GPU. Векторизация и JIT-компиляция JAX объединяют повторяющиеся вычисления и оптимизируют вычислительный граф шага обучения. Технический обзор

Параллелизм реализован на трёх уровнях:

  • Параллельные среды: одна политика взаимодействует с несколькими экземплярами среды и собирает опыт пакетами.
  • Параллельные особи: несколько политик-кандидатов в популяции оцениваются одновременно.
  • Параллельное обучение: несколько агентов обучаются одновременно, поддерживая гибридные методы и обучение популяций.

Это упрощает эксперименты с одновременным исследованием большего числа политик. Размер популяции по-прежнему должен учитывать память GPU, стоимость моделирования среды и размер сети. Статья об архитектуре

Сравнение четырёх семейств методов в одном фреймворке

EvoRL предоставляет общую экспериментальную основу: исследователи могут сначала получить базовые результаты, а затем добавлять новые механизмы поиска или обучения.

Семейство методов Примеры алгоритмов Основной исследовательский вопрос
Обучение с подкреплением PPO, TD3, SAC и другие Как улучшать политику на основе взаимодействий?
Эволюционные алгоритмы OpenES, ARS, CMA-ES и другие Как оценки кандидатов направляют поиск в популяции?
Обучение с подкреплением под руководством эволюционного поиска ERL, CEM-RL и варианты Как совместить эволюционный поиск и градиентное обучение?
Популяционное AutoRL PBT-PPO, PBT-SAC и другие Как адаптировать настройки в процессе обучения?

Особенно интересны два гибридных направления.

Обучение с подкреплением под руководством эволюционного поиска связывает поиск в популяции с индивидуальным обучением. Популяция может исследовать разные области пространства параметров, а обновления обучения с подкреплением — улучшать кандидатов. Алгоритмы различаются способами обмена опытом, обновления особей и отбора. EvoRL предоставляет реализации для изучения этих решений.

Популяционное AutoRL исследует настройки обучения. Например, в PBT несколько особей обучаются отдельно. По результатам периодических оценок они наследуют состояния обучения более успешных особей и изменяют гиперпараметры, продолжая поиск. Таким образом, гиперпараметры могут меняться по ходу обучения.

Набор доступных алгоритмов и вариантов определяется текущей реализацией в репозитории. Список алгоритмов

Модульность: от исследовательской идеи к эксперименту

Разработка гибридных алгоритмов часто требует значительной работы по адаптации сред, организации данных, оценке и согласованию интерфейсов. EvoRL распределяет эти обязанности между несколькими основными абстракциями:

  • Env предоставляет единый интерфейс взаимодействия со средами.
  • Agent определяет поведение агента и связанную логику обучения.
  • SampleBatch организует траектории и выборки данных.
  • Workflow определяет шаги обучения алгоритма.
  • EC предоставляет эволюционные алгоритмы и соответствующие операторы.

Эти модули позволяют изменять отдельные части эксперимента. Например, можно заменить метод поиска, сохранив среду и сеть политики, либо сравнить обучение до и после добавления эволюционных операций. Документация фреймворка и API

Общая реализация также помогает контролировать переменные. Одинаковые задачи, процедуры оценки и вычислительные бюджеты позволяют отделить алгоритмические улучшения от различий в реализации. Фреймворк облегчает сравнения, но строгая постановка эксперимента остаётся ответственностью исследователя.

Что означают показатели ускорения?

В статье EvoRL вычислительная эффективность сравнивается в среде Swimmer из Brax на машине с двумя CPU Intel Xeon Gold 6132, 128 GiB оперативной памяти и одним GPU RTX 3090. В протестированных конфигурациях OpenES достигает максимального ускорения более 60× относительно распределённой CPU-реализации RLlib; CEM-RL — примерно 5–9× относительно своей официальной реализации.

Эти значения относятся к определённым задачам, размерам популяций и базовым реализациям. Они не означают такого же ускорения во всех задачах или пропорционального сокращения числа образцов, необходимых для достижения целевой награды. Условия экспериментов и результаты

При планировании экспериментов более высокая производительность позволяет рассмотреть больше начальных значений генератора случайных чисел, более полные абляционные исследования или более крупные популяции. Практический смысл ускорения — проверить больше идей в пределах доступного бюджета.

От управления роботами к новым задачам принятия решений

EvoRL поддерживает Brax и MuJoCo Playground для непрерывного управления, поиска политик и обучения популяций. Экспериментальные интеграции с gymnax, Jumanji и JaxMARL охватывают классическое управление, игры, комбинаторную оптимизацию и многоагентные сценарии; совместимость алгоритмов необходимо проверять для каждой конфигурации. Поддерживаются и некоторые CPU-среды, поэтому возможность выполнения всего процесса на GPU зависит от сочетания среды и алгоритма. Поддерживаемые среды

Исследователи эволюционного обучения с подкреплением могут начать с существующих алгоритмов, а затем менять взаимодействие популяционного поиска и обучения политик. Для AutoRL можно начать с PBT и изучать влияние настроек на обучение. Разработчики новых методов оптимизации могут постепенно подключать свои компоненты через общие интерфейсы.

Первый эксперимент

Для текущей установки требуются Python 3.12 или новее и JAX/jaxlib 0.10.0 или новее. EvoRL

Сначала настройте JAX под своё оборудование по инструкции по установке. Затем установите EvoRL из исходного кода, чтобы получить сценарии обучения и конфигурации из примера:

git clone https://github.com/EMI-Group/evorl.git
cd evorl
pip install -e .

Начните с базового PPO в среде Ant из Brax:

python scripts/train.py agent=ppo env=brax/ant

EvoRL использует Hydra для управления конфигурациями. Когда базовый запуск заработает, изменяйте начальные значения генератора случайных чисел, настройки алгоритмов и сред, а затем переходите к гибридным методам или обучению популяций. Подробности приведены в руководстве по быстрому старту.

Сохраните первый запуск PPO как базовый: зафиксируйте среду, seed, конфигурацию и кривую обучения до изменения компонента. Более простой старт поиска по популяции предлагает учебник EvoX.

← Вернуться к новостямНаверх ↑