語言模型進展趨緩，OpenAI 改變策略填補訓練資料不足

語言模型開發似乎達了某種程度的天花板，根據外媒報導，OpenAI 即將推出的「Orion」模型性能只比 GPT-4 略勝一籌，這種進展趨緩的情況恐怕影響整個 AI 產業。

外媒 The Information 報導，OpenAI 下一代大型語言模型代號 Orion，性能提升比預期小，GPT-4 到 Orion 的品質改善明顯不如 GPT-3 到 GPT-4 的改善差異。

重要的是，The Information 引述知情人士消息指出，Orion 在程式設計等領域並未突破以往，只在語言能力方面有所改善，而且模型運行成本可能比過往更高。

OpenAI 研究人員指出，高品質訓練資料不足是語言模型進展趨緩的原因之一，大多數公開資料已被用於模型訓練。為此，OpenAI 內部成立一組「基礎團隊」（Foundations Team），由研究副總裁 Nick Ryder 帶領，期望解決這方面問題。

Orion 是以 GPT-4 和 o1 的合成資料進行部分訓練，但據 OpenAI 員工說法，這種方法有新模型在某些方面與舊模型相似的風險。

近日與 Y Combinator 執行長陳嘉興（Garry Tan）訪談中，OpenAI 執行長奧特曼（Sam Altman）對模型開發抱持樂觀態度。他表示通往通用人工智慧（Artificial General Intelligence，AGI）的道路很明確，需要創造性地利用現有模型，可能意指語言模型與 o1、AI 代理的推理方法結合以達到目的。

不只 OpenAI 有語言模型進展趨緩的問題，外媒 The Verge 近期報導，Google 即將推出的 Gemini 2.0 未能達到內部目標。據傳新創 Anthropic 暫停旗艦版本 Calude 3.5 Opus 開發，先釋出 Calude 3.5 Sonnet，避免讓用戶和投資人失望。