Andrej Karpathy氏もTwitterで呟いていたように(日本語解説)、事前学習の時代は大量のテキストデータ、ファインチューニングの時代は会話データ、そしてこれからは「環境」と強化学習が生成AI開発で重要になってくるという見方があります。テキストはすでに出尽くし、模倣の限界が見えてきた中、試行錯誤を通して自ら学ぶ「環境」がより重要になってきます。環境は単なる訓練場ではなく、評価ベンチマークとしても機能し、かつてのOpenAI Gymのように、LLMの認知戦略を引き出す多様な舞台となり得ます。 実際、2024年以降、W&Bと強化学習ライブラリとのインテグレーション活用が急増しています。そうした背景を受け、W&BはOpenPipeを買収し、10月にはServerlessRLという新しい強化学習のためのツールをリリースしました。 次の時代をキャッチアップするために、今回のミートアップでは「強化学習」をテーマに据え、環境設計・学習フロー・ツールエコシステムを中心に議論を深めます。