AIMPACT 消息，5 月 3 日（UTC+8），MIT研究人員揭示大型語言模型性能隨規模可靠擴展的機制，首次為"疊加"現象提供實驗驗證。研究發現LLM通過在同一維度存儲多個概念來繞過維度限制，這種"強疊加"使模型能同時表示所有概念，錯誤來源於重疊產生的噪聲。團隊使用Anthropic簡化模型及OPT、GPT-2、Qwen2.5、Pythia等開源模型驗證：模型寬度翻倍，錯誤約減半，縮放指數達0.91，接近理論值1。研究回答兩個關鍵問題：縮放將止於模型寬度匹配詞彙表大小；對自然語言任務，詞頻分佈平坦限制加速空間，但鼓勵疊加的架構設計可在相同規模下實現更優性能。
MIT研究人員揭示LLM強疊加機制：寬度翻倍錯誤約減半
AIMPACT 消息，5 月 3 日（UTC+8），MIT研究人員揭示大型語言模型性能隨規模可靠擴展的機制，首次為"疊加"現象提供實驗驗證。研究發現LLM通過在同一維度存儲多個概念來繞過維度限制，這種"強疊加"使模型能同時表示所有概念，錯誤來源於重疊產生的噪聲。團隊使用Anthropic簡化模型及OPT、GPT-2、Qwen2.5、Pythia等開源模型驗證：模型寬度翻倍，錯誤約減半，縮放指數達0.91，接近理論值1。研究回答兩個關鍵問題：縮放將止於模型寬度匹配詞彙表大小；對自然語言任務，詞頻分佈平坦限制加速空間，但鼓勵疊加的架構設計可在相同規模下實現更優性能。