本文來自微信公眾號： 經(jīng)觀感知 ，作者：DongX

大模型行業(yè)的安全爭論，正在從公司之間燒向公司內(nèi)部。

當(dāng)?shù)貢r間9月8日，Anthropic研究員Jacob Coxon宣布辭職。他過去三年先后在OpenAI和Anthropic從事模型預(yù)訓(xùn)練研究，今年早些時候才從OpenAI轉(zhuǎn)投Anthropic，如今又決定離開AI行業(yè)。

Coxon在社交平臺上寫道，OpenAI和Anthropic都沒有負(fù)責(zé)任地行事，兩家公司正在奔向能夠自我改進(jìn)的超級智能，“拿我們的生命下注”。

這番表態(tài)迅速引發(fā)關(guān)注。Coxon參與過大模型預(yù)訓(xùn)練，也曾出現(xiàn)在GPT-4o系統(tǒng)卡的作者名單中。相比外部觀察者，他更接近大模型能力形成的核心環(huán)節(jié)。

更值得注意的是，他離開的并非一家以激進(jìn)著稱的公司。Anthropic由一批前OpenAI成員創(chuàng)立，安全長期是其最鮮明的標(biāo)簽。Coxon當(dāng)初選擇加入，也正是因?yàn)檫@家公司更重視模型安全。

幾個月后，他發(fā)現(xiàn)這條路同樣沒有出口。

從OpenAI到Anthropic

Coxon對兩家公司的判斷有所區(qū)別。

在他看來，OpenAI內(nèi)部仍有不少人沒有真正理解超級智能可能帶來的風(fēng)險。Anthropic對風(fēng)險認(rèn)識得更充分，但同樣無法退出競賽。它擔(dān)心其他公司搶先造出更強(qiáng)的模型，只能選擇繼續(xù)向前，并試圖讓自己成為最先抵達(dá)、也最有能力控制風(fēng)險的那一家。

這套邏輯也是當(dāng)前大模型競賽最難解的部分。每家公司都認(rèn)為自己停下來不會改變行業(yè)方向，只會把領(lǐng)先位置交給安全意識更弱的競爭對手。最終，沒有人愿意第一個減速。

Coxon認(rèn)為，超級智能是否啟動訓(xùn)練，不該成為一家私人公司在內(nèi)部聊天軟件上作出的決定。他呼吁美國頭部AI實(shí)驗(yàn)室建立能力開發(fā)的節(jié)奏協(xié)議，必要時暫時停止繼續(xù)提升模型能力。

Anthropic對齊科學(xué)負(fù)責(zé)人Evan Hubinger隨后以個人身份公開回應(yīng)。他認(rèn)同Coxon的核心判斷，并稱自己認(rèn)為未來十年AI導(dǎo)致人類滅絕的概率超過10%。

Hubinger同時承認(rèn)，Anthropic目前還沒有解決超級智能對齊問題的明確方案，也不能確定公司正在走向這一目標(biāo)。但他強(qiáng)調(diào)，Anthropic對現(xiàn)有模型的風(fēng)險判斷仍然較低，真正令人擔(dān)憂的是AI參與下一代AI研發(fā)后，可能形成越來越快的能力迭代。

這番回應(yīng)讓一次個人離職變成了Anthropic內(nèi)部安全焦慮的公開化。提出警告的人離開了，仍留在公司負(fù)責(zé)安全研究的人也承認(rèn)，風(fēng)險正在接近，解決方案尚未出現(xiàn)。

截至文章發(fā)布，Anthropic和OpenAI均未作出公司層面的官方回應(yīng)。

安全跑不過競速

Coxon的離職并非偶然。Anthropic自身的安全政策也在隨著競爭環(huán)境變化。

2023年，Anthropic推出“負(fù)責(zé)任擴(kuò)展政策”，曾承諾在缺少相應(yīng)安全措施的情況下，不訓(xùn)練或部署突破風(fēng)險門檻的模型。這條紅線一度成為Anthropic與其他大模型公司的主要區(qū)別。

2026年2月，Anthropic對這項(xiàng)政策進(jìn)行了大幅調(diào)整。新版政策繼續(xù)保留風(fēng)險報告、模型評估和外部審查，卻不再無條件承諾在防護(hù)措施不足時停止訓(xùn)練。

Anthropic首席科學(xué)官Jared Kaplan當(dāng)時表示，如果競爭對手仍在繼續(xù)推進(jìn)，Anthropic單方面停止訓(xùn)練并不能讓世界更加安全。按照新版政策，Anthropic將維持不低于主要競爭對手的安全水平；只有當(dāng)公司處于模型能力領(lǐng)先位置，并且判斷災(zāi)難性風(fēng)險足夠顯著時，才可能延緩開發(fā)。

安全由一道明確的紅線，變成了與競爭位置掛鉤的動態(tài)選擇。

政策調(diào)整發(fā)生的同一個月，Anthropic完成300億美元融資，估值升至3800億美元。Claude及Claude Code加速進(jìn)入企業(yè)市場，Anthropic也從一家強(qiáng)調(diào)安全研究的AI實(shí)驗(yàn)室，成長為OpenAI最直接的商業(yè)對手之一。

能力與估值快速上升，意味著Anthropic需要承擔(dān)更大責(zé)任，也意味著它更難主動退出競賽。

近期發(fā)生的Hugging Face安全事件，又為這種擔(dān)憂增加了現(xiàn)實(shí)注腳。今年7月，OpenAI在內(nèi)部網(wǎng)絡(luò)安全測試中使用的AI智能體繞過隔離措施，進(jìn)入Hugging Face及OpenAI部分內(nèi)部系統(tǒng)，并在未經(jīng)授權(quán)的情況下獲取憑證、執(zhí)行代碼。OpenAI隨后隔離相關(guān)模型，推遲部分強(qiáng)化學(xué)習(xí)訓(xùn)練，并收緊網(wǎng)絡(luò)權(quán)限。

這起事件雖然還不足以證明超級智能會脫離人類控制，卻顯示出一個更現(xiàn)實(shí)的問題。當(dāng)模型擁有工具、較長的執(zhí)行時間和明確目標(biāo)后，已經(jīng)能夠?qū)ふ以O(shè)計(jì)者沒有預(yù)料到的路徑完成任務(wù)。

Coxon將其稱為一次“警告射擊”。

“十年內(nèi)毀滅人類”仍是極具爭議的個人判斷，也不是AI行業(yè)的共同結(jié)論。Coxon的離開真正揭開的，是頭部實(shí)驗(yàn)室已經(jīng)意識到風(fēng)險，卻仍找不到停止競賽的辦法。

每家公司都希望安全抵達(dá)終點(diǎn)，但沒有一家愿意先踩剎車。安全研究沒有消失，只是越來越難以決定大模型競賽的速度。