Physical AI deve esplorare comportamenti diversi, verificarli attraverso l’interazione e riutilizzare l’esperienza acquisita. EvoRL porta questo ciclo nella simulazione parallela: le politiche individuali apprendono, mentre la ricerca per popolazioni esplora alternative e configurazioni di apprendimento. La relazione tra apprendimento ed evoluzione diventa così sperimentabile.

Quadrupedi simulati esplorano diversi movimenti

EvoRL è un framework di ricerca open source costruito attorno a queste domande. Basato su JAX, riunisce apprendimento per rinforzo, calcolo evolutivo e simulazione in un workflow comune per sviluppare e valutare metodi classici e ibridi. Progetto gemello di EvoX, si concentra sulla loro combinazione affinché la ricerca su popolazioni possa sfruttare le GPU moderne. Presentazione del progetto

Perché combinare evoluzione e apprendimento per rinforzo?

Consideriamo un robot che impara a camminare. Più politiche possono risolvere lo stesso compito, con andature, compromessi tra velocità e stabilità e consumi energetici diversi. Migliorare una politica lungo un solo percorso di apprendimento può lasciare inesplorate molte possibilità.

L’apprendimento per rinforzo usa i dati d’interazione per affinare le politiche. Il calcolo evolutivo mantiene un insieme di candidati, li valuta, seleziona e modifica per preservare più direzioni di ricerca. La combinazione permette di studiare un processo più ricco: gli individui migliorano attraverso l’esperienza, mentre la popolazione diffonde risultati utili.

La ricerca evolutiva può agire direttamente sui parametri delle politiche oppure regolare gli iperparametri dell’apprendimento. Sono domande diverse: quali politiche cercare e come aiutarle ad apprendere meglio?

Questa complementarità non significa che i metodi ibridi superino sempre il solo apprendimento per rinforzo. Offre più scelte progettuali da verificare; EvoRL mira a ridurne il costo di sviluppo e di calcolo.

Il progetto centrale: una pipeline pensata per le GPU

La diversità rende interessanti i metodi a popolazione, ma aumenta anche il lavoro necessario. Ogni politica aggiuntiva può richiedere più interazioni, valutazioni e aggiornamenti dei parametri. Se queste fasi vengono ripartite tra CPU e GPU, trasferimenti ripetuti e scheduling possono diventare colli di bottiglia.

Con ambienti di simulazione GPU compatibili, EvoRL organizza interazioni, calcolo delle politiche, operazioni evolutive e aggiornamenti in una pipeline GPU end-to-end. La vettorizzazione e la compilazione just-in-time di JAX raggruppano i calcoli ripetuti e ottimizzano il grafo computazionale del passo di addestramento. Panoramica tecnica

Il parallelismo opera su tre livelli:

  • Ambienti paralleli: una politica interagisce con più istanze dell’ambiente per raccogliere esperienza in batch.
  • Individui paralleli: più politiche candidate della popolazione vengono valutate contemporaneamente.
  • Addestramento parallelo: più agenti apprendono contemporaneamente, sostenendo metodi ibridi e addestramento di popolazioni.

Diventa così più semplice sperimentare con più politiche alla volta. La dimensione della popolazione deve comunque tenere conto della memoria GPU, del costo dell’ambiente e delle dimensioni della rete. Articolo sull’architettura

Confrontare quattro famiglie di metodi nello stesso framework

EvoRL offre una base sperimentale comune per definire baseline e aggiungere successivamente nuovi meccanismi di ricerca o apprendimento.

Famiglia Algoritmi rappresentativi Domanda principale
Apprendimento per rinforzo PPO, TD3, SAC e altri Come migliorare una politica dai dati d’interazione?
Algoritmi evolutivi OpenES, ARS, CMA-ES e altri Come guidare la ricerca usando le valutazioni dei candidati?
Apprendimento per rinforzo guidato dall’evoluzione ERL, CEM-RL e varianti Come far cooperare ricerca evolutiva e apprendimento tramite gradiente?
AutoRL basato su popolazioni PBT-PPO, PBT-SAC e altri Come adattare le configurazioni durante l’addestramento?

Due direzioni ibride meritano particolare attenzione.

L’apprendimento per rinforzo guidato dall’evoluzione collega ricerca nella popolazione e apprendimento individuale. Una popolazione può esplorare regioni diverse dello spazio dei parametri, mentre gli aggiornamenti per rinforzo migliorano i candidati. Gli algoritmi differiscono nella condivisione dell’esperienza, negli aggiornamenti individuali e nella selezione. EvoRL fornisce implementazioni per studiare queste scelte.

L’AutoRL basato su popolazioni esplora le configurazioni di addestramento. In PBT, per esempio, diversi individui si addestrano separatamente. In base a valutazioni periodiche, ereditano lo stato di addestramento di individui migliori e perturbano gli iperparametri per continuare l’esplorazione. Gli iperparametri possono quindi cambiare durante il processo.

Gli algoritmi e le varianti disponibili dipendono dall’implementazione corrente del repository. Elenco degli algoritmi

Modularità: dalle idee agli esperimenti

Lo sviluppo di metodi ibridi richiede spesso molto lavoro su adattamento degli ambienti, organizzazione dei dati, valutazione e interfacce. EvoRL struttura queste responsabilità con poche astrazioni fondamentali:

  • Env offre un’interfaccia comune per interagire con gli ambienti.
  • Agent definisce comportamento e logica di apprendimento dell’agente.
  • SampleBatch organizza traiettorie e campioni.
  • Workflow definisce i passi di addestramento dell’algoritmo.
  • EC fornisce algoritmi evolutivi e relativi operatori.

Questi moduli consentono di modificare una parte specifica dell’esperimento. È possibile sostituire il metodo di ricerca mantenendo ambiente e rete della politica, oppure confrontare l’apprendimento prima e dopo l’aggiunta di operazioni evolutive. Documentazione del framework e delle API

Un’implementazione comune facilita anche il controllo delle variabili. Allineare compiti, valutazioni e budget di calcolo aiuta a distinguere i miglioramenti algoritmici dalle differenze implementative. Il framework agevola il confronto, ma il rigore del protocollo rimane responsabilità del ricercatore.

Che cosa significano i miglioramenti delle prestazioni?

L’articolo EvoRL confronta l’efficienza computazionale nell’ambiente Swimmer di Brax, su una macchina con due CPU Intel Xeon Gold 6132, 128 GiB di RAM e una GPU RTX 3090. Nelle configurazioni provate, OpenES raggiunge un’accelerazione massima superiore a 60× rispetto all’implementazione distribuita su CPU di RLlib; CEM-RL ottiene circa 5–9× rispetto alla propria implementazione ufficiale.

Questi risultati riguardano compiti, dimensioni delle popolazioni e baseline specifici. Non implicano gli stessi guadagni in ogni compito né una riduzione equivalente dei campioni necessari per raggiungere una ricompensa obiettivo. Configurazione sperimentale e risultati

Nella pianificazione degli esperimenti, un throughput maggiore permette di considerare più semi casuali, studi di ablazione più completi o popolazioni più grandi. Il vantaggio concreto è poter verificare più idee con il budget disponibile.

Dal controllo robotico a nuovi compiti decisionali

EvoRL supporta Brax e MuJoCo Playground per controllo continuo, ricerca di politiche e addestramento di popolazioni. Le integrazioni sperimentali con gymnax, Jumanji e JaxMARL comprendono controllo classico, giochi, ottimizzazione combinatoria e scenari multiagente; la compatibilità va verificata per ogni configurazione. Sono supportati anche alcuni ambienti CPU: una pipeline interamente su GPU dipende quindi dalla combinazione scelta. Ambienti supportati

Per studiare l’apprendimento per rinforzo evolutivo, può partire dagli algoritmi esistenti e modificare poi la cooperazione tra ricerca nella popolazione e apprendimento delle politiche. Per l’AutoRL, PBT offre un punto di partenza per esaminare l’effetto delle configurazioni. Se sviluppa nuovi metodi di ottimizzazione, può integrare gradualmente i propri componenti tramite le interfacce comuni.

Avviare il primo esperimento

L’installazione attuale richiede Python 3.12 o successivo e JAX/jaxlib 0.10.0 o successivo. EvoRL

Segua prima la guida all’installazione per configurare JAX in base all’hardware. Installi poi EvoRL dai sorgenti per ottenere script e configurazioni dell’esempio:

git clone https://github.com/EMI-Group/evorl.git
cd evorl
pip install -e .

Può iniziare con una baseline PPO nell’ambiente Ant di Brax:

python scripts/train.py agent=ppo env=brax/ant

EvoRL usa Hydra per gestire le configurazioni. Una volta verificata la baseline, può variare semi casuali, configurazioni degli algoritmi e impostazioni degli ambienti, prima di passare ai metodi ibridi o alle popolazioni. Le istruzioni complete sono nella guida rapida.

Conservi la prima esecuzione PPO come riferimento: salvi ambiente, seed, configurazione e curva prima di cambiare un componente. Per iniziare da una ricerca di popolazione più semplice, consulti il tutorial EvoX.

← Torna alle novitàTorna in alto ↑