이 튜토리얼에서는 온라인 프로세스 보상 학습 (OPRL)을 탐구하고, 궤적 선호도로부터 밀도가 높은 단계별 보상 신호를 학습하여 희소 보상 강화 학습 과제를 해결하는 방법을 시연합니다. 미로 환경부터 보상 모델 네트워크, 선호도 생성, 훈련 루프 및 평가까지 각 구성요소를 살펴보면서 에이전트가 서서히 개선되는 과정을 관찰합니다.
이 튜토리얼에서는 환경 내에서의 행동 뿐만 아니라 자체 교육 전략을 선택하는 방법을 학습하는 고급 에이전트형 딥 강화 학습 시스템을 구축한다. Dueling Double DQN 학습자를 설계하고 어려움이 증가하는 커리큘럼을 도입하며 학습 중에 적응하는 여러 탐험 모드를 통합한다.
강화 학습 RL 후 훈련은 이제 추론 중심 LLMs에 대한 주요 수단이지만, 사전 훈련과 달리 예측 가능한 스케일링 규칙이 없었습니다. Meta, UT Austin, UCL, Berkeley, Harvard 등의 연구진이 시그모이드 스케일링 곡선을 도입하여 이 문제를 해결했습니다.
NVIDIA AI가 강화 학습 사전 학습(RLP)을 소개했습니다. 이는 후속 학습이 아닌 사전 학습 단계에서 강화 학습을 적용하는 교육 목표입니다. 강화 학습을 다음 토큰 예측 전에 샘플링된 작업으로 취급하고 정보 획득에 대한 보상으로 보상합니다.
AI는 언어 처리, 수학, 코드 생성 분야에서 발전했지만 물리적 환경으로 확장하는 것은 여전히 어렵다. 물리 AI는 동적인 실제 환경에서 지각, 이해, 행동하는 시스템을 개발하여 이 간극을 줄이려고 한다. 텍스트나 기호를 처리하는 기존 AI와 달리 물리 AI는 주로 비디오와 같은 감각적 입력과 상호작용한다.
대형 언어 모델(Large language models, LLM)이 상호작용 환경에서 자율 에이전트로 훈련받을 때 중요한 도전에 직면하고 있다. 순차적 의사 결정, 교차 턴 메모리 유지, 환경적 피드백에 대한 적응 등이 필요한데, 이는 효과적인 계획 보조자, 로봇 응용 프로그램, 경험을 통해 자가 개선할 수 있는 지도 에이전트 개발에 중요하다. 이에 연구진은 StarPO-S와 RAGEN을 도입하여 이러한 도전을 대응하고 있다.
