RL Environments at Scale – Will Brown, Prime Intellect

A: 這集影片主要討論如何scale RL environments，但更側重於工程面的各種要素，像是用數百張GPU在沙盒中平行運行上千次rollout。重點在於如何提高AI研究的普及性，而不是單純的擴大數據和算力。

A: 影片提到了scaling laws，也就是增加數據、算力和模型參數來提升模型性能。同時也提到一些更難以捉摸的scaling方式，例如演算法技巧、人才，以及社群的貢獻。

A: 因為大家都想聘請最優秀的AI研究人員，導致薪資不斷上漲。解決方案除了支付高薪外，更重要的是擴大AI研究人才的數量。

A: Prime Intellect 是一家研究實驗室、算力供應商、平台公司和開放原始碼生態系。他們致力於提升AI研究的普及性，讓更多人可以參與AI研究。

A: Prime Intellect 認為AI的開源重點不在於模型本身，而是研究本身。他們更看重建立一個研究生態系，促進想法交流和最佳實踐的累積。

A: Open Super Intelligence Stack (OSI Stack) 是Prime Intellect 用來描述他們正在構建的一系列工具和技術的詞語，目的是構建一個可以進行研究的引擎，裡面包含算力、協作、訓練和評估函式庫，以及支援程式碼執行、評估和微調的平台。

A: 現在的趨勢是產品本身就是模型。也就是說，模型是專門為了產品而訓練的，使用模型的體驗就是使用產品的體驗，例如Cursor的新composer模型和OpenAI的Codex。

A: RL 環境是一種包含了任務和獎勵的框架 (harness)，可以讓模型在其中進行訓練和評估。 它也可以被視為是評估模型 (evals) 和生成合成資料的引擎。

A: 環境不僅適用於 RL，還可以用於模型評估（evals），生成合成數據以進行 SFT 或知識蒸餾 (distillation)，也可以用於部署和監控實際運行的agent。

A: 影片中將 environments 比喻成 web apps。因為它們簡單、獨立，而且可以從簡單到複雜，體現大型產品的完整複雜性，並且具備教育意義，可以引導使用者逐步學習和探索AI研究。

A: agent environment 強調任務和獎勵的預先定義，以便進行實驗。這迫使開發者更科學地思考，進行實驗，而不是僅憑感覺判斷模型的好壞。

A: Environments Hub 是一個開放原始碼社群平台，用於建立、發現和共享 RL 環境和模型評估工具。它讓更多人可以更容易地進入 AI 研究的領域。

A: Environments Hub 上有許多人創建了自己的環境，或者重新實現了論文中的環境。有人用它來調查基準測試，並修改使其適用於 RL 環境，例如添加新的數據或範例，也有人創建遊戲環境或其他任務。

A: 透過環境，你可以思考模型可能處於什麼樣的設定，而不需要事先知道答案。你可以透過實驗來衡量結果，並在過程中創建資料。

A: Verifiers 是一個用於構建 RL 環境的工具包，包含了一系列可以混合、匹配和組合的元件，可以用於構建從簡單的評估、問答、遊戲到工具使用、沙盒、CLI 程式碼代理或數學問題等各種環境。

A: Verifiers 的設計理念是著重可擴展性。它以分層的方式思考環境，從最基礎的元件開始，逐步構建到應用程式層，以涵蓋各種不同的模式和特殊情況。

A: Wiki Search 環境是一個簡單的搜尋環境，讓agent 可以使用工具在 Wikipedia 頁面上搜尋並找到答案。

A: Prime RL Trainer 是 Prime Intellect 的大型訓練堆疊，匯集了來自研究文獻的最佳實踐，用於大規模異步 RL 訓練。它旨在以高層次、自包含且預設值合理的方式，暴露使用者需要思考的要素。

A: 透過 Wiki Search 這個例子，一個 Qwen 3 4B 模型在訓練後，準確度從 55% 提高到 89%，達到了與 GPT 4.1 等大型模型和 GPT 5 Mini 等推理模型相當的水準。

A: Lab 是一個平台，提供使用者瀏覽環境、運行評估、進行推理和微調的介面。它旨在讓研究更易於存取，並讓使用者專注於環境的構建。