币界网消息,SWE-bench團隊發布新基準ProgramBench,評測9個前沿AI模型在重建真實軟件的任務中,完全通過率為0%。該基準由meta AI研究團隊聯合斯坦福、哈佛發布,任務要求AI agent僅憑一個編譯好的二進制文件和使用文檔,從零架構並實現完整代碼庫,復現原程序行為。基準包含200個任務,覆蓋小型CLI工具到大型項目,測試結果顯示,主指標「完全通過」無一達標,claude opus 4.7在輔助指標「幾乎通過」上以3%領先,其餘模型均為0%。

Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
  • Нагородити
  • Прокоментувати
  • Репост
  • Поділіться
Прокоментувати
Додати коментар
Додати коментар
Немає коментарів
  • Закріпити