UNICEF於週三發出緊急呼籲，要求各國將AI生成的兒童性虐待材料定為犯罪，並指出令人震驚的證據顯示，去年全球至少有120萬兒童的影像被操縱成性暗示的深偽影片。 這些數據在由UNICEF策略與證據辦公室Innocenti、ECPAT International和INTERPOL領導的研究項目《Disrupting Harm》第二階段中披露，顯示在某些國家，這一數字約佔兒童的1/25，相當於一個普通教室中的一名兒童，根據週三的聲明和相關問題簡報。 這項基於對約11,000名兒童的全國代表性家庭調查的研究，突顯出施害者如今可以在未經兒童參與或知情的情況下，創造出逼真的兒童性圖片。
在一些研究國家，最多三分之二的受訪者表示擔心AI可能被用來製作假冒的性圖片或影片，儘管各國的擔憂程度差異很大，根據數據顯示。 “我們必須明確。利用AI工具生成或操縱的兒童性化圖片是兒童性剝削材料（CSAM），” UNICEF表示。“深偽濫用就是虐待，這種傷害是真實存在的，沒有任何虛假之處。” 隨著法國當局週二突襲X在巴黎的辦公室，展開對該平台的刑事調查，調查涉及與其AI聊天機器人Grok相關的兒童色情內容，該呼籲變得更加迫切，檢方傳喚Elon Musk及多位高管接受訊問。 一份由反數位仇恨中心上月發布的報告估計，在12月29日至1月9日的11天內，Grok產生了23,338張兒童性化圖片。
與聲明一同發布的問題簡報指出，這些發展標誌著“兒童在數位環境中面臨的風險的深刻升級”，在這個環境中，兒童的保護權利可能在“從未發送訊息或甚至不知道事情已經發生”的情況下被侵犯。 英國的網絡監察基金會在一個月內在一個暗網論壇上標記了近14,000張疑似AI生成的圖片，其中約三分之一被確認為犯罪內容，而韓國當局則報告稱，2022年至2024年間，與AI和深偽相關的性犯罪激增十倍，且大多數嫌疑人為青少年。 該組織緊急呼籲所有國家擴大兒童性剝削材料的定義，將AI生成的內容納入其中，並將其製作、獲取、持有和傳播定為犯罪。 UNICEF還要求AI開發者實施安全設計方法，並要求數位公司阻止此類材料的流通。 該簡報呼籲各國要求企業進行兒童權利盡職調查，特別是兒童權利影響評估，並要求AI價值鏈中的每個參與者都嵌入安全措施，包括對開源模型進行預發布安全測試。 “深偽濫用的傷害是真實且迫切的，” UNICEF警告。“兒童不能等待法律追趕上來。” 歐盟委員會上月展開正式調查，是否X違反了歐盟數位規則，未能阻止Grok生成非法內容，而菲律賓、印尼和馬來西亞已禁止Grok，英國和澳大利亞的監管機構也已展開調查。
