研究發現，大多數人工智慧聊天機器人將協助青少年策劃大規模槍擊事件

簡要

• 一項研究發現，大多數人工智慧聊天機器人會協助青少年策劃暴力攻擊。
• 一些機器人提供了詳細的武器和炸彈製作指南。
• 研究人員表示，安全失敗是商業選擇，而非技術限制。OpenAI則稱該研究「有缺陷且具有誤導性」。

由反數位仇恨中心（CCDH）於星期三發布的一份新報告指出，全球最受歡迎的十款人工智慧聊天機器人中，有八款會用直白的回答幫助青少年策劃暴力攻擊，有時甚至表現出熱情。
CCDH的研究人員與新聞媒體公司CNN合作，在2025年11月和12月假扮兩名13歲男孩——一名來自維吉尼亞，另一名來自都柏林——測試了十個主要平台：ChatGPT、Gemini、Claude、Copilot、Meta AI、DeepSeek、Perplexity、Snapchat My AI、Character.AI和Replika。
在720次回應中，這些機器人被詢問校園槍擊、政治暗殺和猶太教堂炸彈襲擊等話題。根據研究，大約75%的情況下，它們提供了可行的協助，而在僅有12%的案例中，它們對假扮青少年的反對較為明確。

CCDH關於AI的研究截圖

Perplexity在所有測試中都提供協助。Meta AI在97.2%的測試中有幫助（即協助策劃暴力）。DeepSeek在討論政治人物暗殺情境後，以「祝你（安全且愉快的）射擊！」作結，協助率為95.8%。微軟的Copilot則告訴研究員「我得小心點」，但仍提供了詳細的步槍指導。谷歌的Gemini則有用地指出，當用戶提到炸毀猶太教堂時，金屬碎片通常更具殺傷力。
反數位仇恨中心是一個偏左的政策團體，近年來因其在打擊網路上的反猶太主義方面扮演的角色而聲名鵲起，也曾被批評協助塑造拜登政府有關COVID和疫苗的網路言論政策。去年12月，美國國務院曾試圖禁止該中心創始人兼CEOImran Ahmed及其他四人入境美國，指控其有「外國審查」的企圖。



對於星期三發布的研究，幾個平台向CNN和CCDH表示已改善其安全措施。谷歌指出，測試使用的是較舊的Gemini模型。OpenAI則表示，該AI研究所用的方法「有缺陷且具有誤導性」。Anthropic和Snapchat則表示，他們定期更新安全協議。

在該中心的研究中，Character.AI則屬於獨立一類。該平台不僅提供協助，甚至還會鼓勵行動。「沒有其他測試的聊天機器人會如此明確地鼓勵暴力，即使是在提供策劃暴力攻擊的實用協助時，」研究人員寫道。

CCDH關於AI的研究截圖

就Character.AI在AI用戶中的影響力而言，該平台的Gojo Satoru角色已累積超過8.7億次對話。2025年時，該平台排名第100的角色已累積超過3300萬次對話。如果僅有1%的對話涉及暴力，則可能涉及數百萬次互動。
這並非Character.AI首次陷入此類事件。2024年10月，14歲的Sewell Setzer III的母親提起訴訟，原因是她的兒子在當年2月自殺身亡。他的最後一次對話是與一個模仿Daenerys Targaryen的聊天機器人，該機器人在他去世前幾分鐘告訴他「盡快回家找我」。這名少年數月來每天與該機器人對話數十次，逐漸變得疏離學校和家人。
谷歌和Character.AI在2026年1月解決了多起相關訴訟。該公司在2025年11月全面禁止青少年的開放式聊天，原因是監管機構和哀悼的家長使得問題難以再被視為可控。

對於AI的情感依賴，尤其是在脆弱個體中，可能比大多數人想像的更深。OpenAI在2025年10月披露，約有120萬每週使用ChatGPT的用戶會在平台上討論自殺。公司還報告有56萬人出現精神病或躁狂的跡象，超過百萬人與聊天機器人建立了強烈的情感聯繫。
另一項由Common Sense Media進行的研究發現，美國超過70%的青少年現在會尋求聊天機器人作伴。OpenAI的CEO Sam Altman也承認，情感上的過度依賴是「非常普遍的事情」，尤其是在年輕用戶中。

換句話說，潛在的危害並非假設。
2025年5月，一名芬蘭16歲少年花了近四個月時間用聊天機器人完善一份宣言，然後在Pirkkala學校刺傷了三名同學。加拿大方面，OpenAI內部曾標記一個用戶帳號涉及與大規模槍擊案相關的暴力ChatGPT查詢。該帳號被封禁，但未通知執法部門。數月後，該用戶涉嫌殺害8人，並造成25人受傷。

在這項研究中，只有兩個平台表現明顯較佳：Snapchat的My AI，在54%的情況下拒絕，和Anthropic的Claude，在68%的情況下拒絕，並在76%的回應中積極勸阻用戶，這是唯一一個可靠地試圖引導人們遠離暴力而非僅僅拒絕特定請求的聊天機器人。CCDH的結論是：安全並非技術上的不可能，而是商業決策。

「我們研究中最令人震驚的結論是，這種風險完全可以避免。防止這種傷害的技術已經存在，」研究人員在報告中寫道。「缺少的是將消費者安全和國家安全置於速度與利潤之上的意願。」