我是廣告 請繼續往下閱讀 這波爭論怎麼開始的?
這波討論的引爆點之一,是Anthropic研究員考克森(Jacob Coxon)宣布離職並公開批評AI產業,認為包括Anthropic、OpenAI在內的業者,為了搶在競爭對手之前,開發出更強大的AI系統,正在加速前進,安全措施卻未必跟得上,形同拿人類未來「豪賭」。
值得注意的是,Anthropic內部的擔憂,並非只有考克森1人,目前領導Anthropic「對齊科學」(Alignment Science)部門的科學家胡賓格(Evan Hubinger)也公開表示,他個人估計,未來10年內,AI導致人類滅絕的機率可能超過10%。不過,這是研究人員對未來超級AI風險的個人評估,並不代表Anthropic的官方預測。
AI真的會失控?研究員擔心的是「超級智慧」
研究人員真正擔心的,並不是今天的聊天機器人,突然變成科幻電影中的「殺人機器」,而是未來AI系統可能具備更高程度的自主能力,包括自行執行複雜任務、尋找漏洞、進一步協助開發下一代AI等等。
部分研究人員懷疑,未來若AI具備「遞迴式自我改進」能力,恐增加人類難以控制的風險,這也是近來AI安全研究圈所謂「 probability of doom」(AI最終導致災難性結果機率)之討論,再次受到關注的原因。
不過,美國總統川普對於這類「末日式警告」,並沒有表現出太多擔憂,而是明顯把「維持美國AI領先地位」放在重要位置,認為若美國不能在AI領域勝出,特別是在與中國的競爭,將會陷入非常不利的境地。
現實中的AI濫用已經發生
就在研究人員警告AI長期風險之際,Anthropic也公布最新報告,揭露Claude模型在現實中,已遭不同勢力濫用,涵蓋網路攻擊、監控、影響力操作、詐騙、生物研究、傳統武器開發及模型能力竊取等7大類,這些案例主要發生在2025年12月至2026年8月期間。
報告指出,攻擊者不再只是把AI當成「問問題的工具」,而是開始讓AI代理自行拆解任務、進行漏洞研究、撰寫及測試惡意程式,甚至長時間持續執行網路攻擊。
在生物安全方面,Anthropic也發現,有人嘗試利用Claude協助具潛在危險性的研究,雖然相關帳號及活動已被阻止,但隨著AI模型不斷更新,科學研究能力提高,區分「正常研究」與「真正危險」恐更加困難。
報告同時揭露AI被用於傳統武器相關活動,包括飛彈、武裝無人機、其他武器系統的軟體開發與情報蒐集等等,涉及中國、俄羅斯及葉門的行動者,公司已封鎖相關帳戶並強化偵測機制。
蔡姍伶編輯記者
從事國際新聞工作近10載,先後於電視台、網路媒體任職,曾兼任外媒特約記者數年。
- AI
- Anthropic
- 人類
- 滅絕
- 川普
標題:Anthropic研究員警告AI恐滅絕人類!川普一句回應引爆攻防戰
地址:https://www.twetclubs.com/post/150554.html