最新 AI 研究揭示記憶與推理的神經網路分離機制，可能徹底改變 AI 模型運作的理解度。AI 新創公司 Goodfire.ai 研究員發現，AI 語言模型（如 OpenAI o3 模型）處理數據時，記憶（如背誦名言或書籍片段）與推理（以一般原則解決新問題）其實是以完全不同的神經通路運算。
研究核心為研究員移除記憶通路時，模型失去97%逐字背誦，但邏輯推理幾乎不變。以Allen Institute OLMo-7B語言模型為例，底部50%權重組件記憶數據觸發率比一般非記憶文本高23%，頂端10%組件非記憶文本高26%。兩機制分開使研究員精確去除記憶功能，同時保留其他功能。
更令人驚訝的是，算術似乎與記憶通路共享相同神經通路，而非邏輯推理。移除記憶電路後，數學表現驟降至66%，邏輯任務幾乎未受影響。這解釋了為何AI語言模型數學運算表現不佳，因是從有限記憶庫抓取算式，而不是真的計算，類似只會背九九乘法表但不知道乘法原理的學生。
研究員指出，AI「推理」包括一系列功能，不一定等於人類的推理力。最新研究存活至今的邏輯推理包括評估真偽陳述和遵循「如果─那麼」規則，基本上是將學習模式用於新輸入，與AI模型證明或新問題解決的更深層「數學推理」不同。
展望未來，若資訊移除更進步，AI公司可能有一天能不損害模型執行轉換任務，就移除版權內容、私人資訊或有害記憶文本。但神經網路分散儲存訊息，過程我們仍未完全理解，故研究員的方法「無法保證完全消除敏感訊息」。
Goodfire分析AI模型的「損失景觀」以區分記憶與推理。這概念幫助可視化AI模型預測的正確性，並訓練時能邊調整設定。研究員使用K-FAC發現，個別記憶事實在損失景觀創造了尖銳峰值，而推理力則保持一致的中等曲率，代表神經網路的記憶和推理的確是兩條路徑。
（首圖來源：shutterstock）
科技新報粉絲團
加入好友
訂閱免費電子報
