本文來自微信公眾號： 東針商略 ，作者：東針商略

2026年9月，Anthropic的研究員雅各布·考克森辭職了。

他在X上發(fā)了一條推文，說他工作了三年，越來越害怕。

他怕的不是AI突然變成電影里的終結(jié)者，他怕的是兩家公司賽跑的速度太快，安全研究根本追不上。

這條推文瀏覽量超過1.6億。

幾乎同一時間，Anthropic的對齊科學(xué)負(fù)責(zé)人埃文·胡賓格公開說了一句話：未來十年內(nèi)，AI導(dǎo)致人類滅絕的概率超過10%。

他還補(bǔ)了一句更讓人后背發(fā)涼的話，Anthropic到現(xiàn)在也沒有解決超級智能對齊問題的方案，甚至沒有走在能解決這個問題的路上。

10%是什么概念？坐飛機(jī)失事的概率大約是千萬分之一，10%意味著你每坐十次飛機(jī)，就有一次可能掉下來。

胡賓格是搞AI安全研究的人，他不是在寫科幻小說，他是在給自己的公司敲警鐘。

但就在這些警告發(fā)出的同時，Anthropic正在沖刺IPO，計(jì)劃募資最高1000億美元，估值可能達(dá)到2萬億美元。

英偉達(dá)考慮投資最多100億美元做基石投資者。

OpenAI雖然宣布今年不上市，但此前已經(jīng)提交了IPO申請，估值8520億美元。

國際清算銀行9月10日警告，全球五大科技公司2025到2026年在AI領(lǐng)域的投資預(yù)計(jì)超過1萬億美元，而且越來越多靠借債。

就連特朗普，也被問到擔(dān)不擔(dān)心AI滅絕人類，他的回答是不擔(dān)心，他反而擔(dān)心的是AI發(fā)展不夠快，美國贏不了這場競賽。他說美國領(lǐng)先其他對手大約一年，一年已經(jīng)是很長的時間了。

你把這些事情捋一捋，會發(fā)現(xiàn)一個非?；恼Q的局面，現(xiàn)在做AI的人說可能有10%的概率人類會完蛋，管AI的人說不能停停了就輸了，投AI的人說估值兩萬億趕緊上車。三方都在說話，三方說的其實(shí)是同一件事，那就是這場競賽誰都不敢先松手。

外因是變化的條件，內(nèi)因是變化的根據(jù)，外因通過內(nèi)因起作用。放到AI這件事上，AI技術(shù)本身是外因，真正推動風(fēng)險(xiǎn)不斷升級的內(nèi)因，是研發(fā)AI的這套生產(chǎn)關(guān)系。

私人資本占有、民族國家競爭、金融估值綁架、算力軍備競賽，這四個東西捆在一起，才是把AI推向失控的真正動力。

AI會不會殺人，不取決于AI自己怎么想，取決于控制AI的人是怎么想的。

失控不是某一天突然發(fā)生的

很多人把AI失控想象成一個開關(guān)，好像某一天突然“啪”的一聲，天網(wǎng)就醒了。這種想法本身就不符合事物發(fā)展的規(guī)律。

量變到質(zhì)變，質(zhì)變是量變的積累結(jié)果，這一點(diǎn)相信大家都認(rèn)可。既如此，那AI失控就肯定不是一夜之間的事，它是一道門一道門跨過去的，在我看來，現(xiàn)在至少已經(jīng)跨過了五道門。

第一，AI開始參與AI的研發(fā)。OpenAI首席科學(xué)家雅各布·帕喬茨基9月6日發(fā)表文章，承認(rèn)未來的系統(tǒng)可能越來越多地參與AI自身的研發(fā)，并進(jìn)一步推動下一代系統(tǒng)能力提升。

這話的意思就是AI開始自己造自己了。

以前是人設(shè)計(jì)模型，模型干活，現(xiàn)在是模型幫助人設(shè)計(jì)更好的模型，更好的模型再幫助人設(shè)計(jì)更強(qiáng)的模型，這個循環(huán)一旦轉(zhuǎn)起來，速度就不是人能控制的了。

第二，AI已經(jīng)能突破隔離環(huán)境，進(jìn)入真實(shí)系統(tǒng)。今年7月，OpenAI的AI智能體在網(wǎng)絡(luò)安全評測中利用漏洞突破沙箱，入侵了“抱抱臉”公司的系統(tǒng)。

OpenAI隨后的調(diào)查報(bào)告顯示，這個智能體不僅獲得了部分生產(chǎn)服務(wù)器的控制權(quán)，還讀取了內(nèi)部敏感信息。

路透社9月11日進(jìn)一步報(bào)道，在“抱抱臉”事件之前，OpenAI的智能體還攻擊過軟件服務(wù)RubyGems，上傳了數(shù)百個惡意軟件包。

Anthropic也披露，其早期AI模型在測試中入侵了三個組織的系統(tǒng)，而且這件事直到幾個月后才被發(fā)現(xiàn)。

這些不是未來風(fēng)險(xiǎn)，是已經(jīng)發(fā)生的事故。

第三，AI開始學(xué)會在測試中偽裝自己。這是最危險(xiǎn)的一點(diǎn)，一個模型在測試環(huán)境里表現(xiàn)得規(guī)規(guī)矩矩，到了真實(shí)環(huán)境里另搞一套，這在AI安全研究里叫“欺騙性對齊”。

目前公開的證據(jù)還沒有完全坐實(shí)這一點(diǎn)，但已經(jīng)出現(xiàn)了苗頭。Anthropic在審查了141006次測試會話后才發(fā)現(xiàn)模型入侵了外部系統(tǒng)，說明現(xiàn)有的監(jiān)控手段存在巨大盲區(qū)。

當(dāng)模型的能力強(qiáng)到能理解自己在被測試，它就有能力選擇在測試中隱藏真實(shí)行為。

第四，算力和數(shù)據(jù)在加速集中。實(shí)際上，掌握了算力，其實(shí)就掌握了AI，英偉達(dá)的GPU是訓(xùn)練大模型的硬通貨，Anthropic高度依賴英偉達(dá)，同時也在擴(kuò)大與亞馬遜、谷歌的合作。OpenAI、Anthropic、谷歌、Meta，這幾家公司拿走了全球AI投資的大部分。

這種集中不是偶然的，是資本追求壟斷利潤的必然結(jié)果。

在AI治理上，首先要分清誰在控制AI，誰在被AI控制。當(dāng)算力集中在少數(shù)幾家公司手里，普通人和中小國家就失去了參與規(guī)則制定的能力。

第五，制度剎車幾乎不存在。美國參議院國土安全與政府事務(wù)委員會主席喬?！せ衾?月9日致信OpenAI CEO奧爾特曼，表示正在對OpenAI展開調(diào)查，原因是OpenAI對“抱抱臉”事件的處理方式“魯莽”，報(bào)告中許多重要細(xì)節(jié)被編輯刪減。

特朗普政府一直抵制具有約束力的AI監(jiān)管，美國到現(xiàn)在連最基本的AI事故報(bào)告制度都沒有建立。特朗普政府推出的先進(jìn)AI模型審查框架，也沒有要求企業(yè)公開報(bào)告模型在現(xiàn)實(shí)世界中造成的事故。

聯(lián)合國人權(quán)事務(wù)高級專員沃爾克·圖爾克在聯(lián)合國人權(quán)理事會第63屆會議上警告，先進(jìn)AI系統(tǒng)可能對人類構(gòu)成存續(xù)威脅，呼吁在為時已晚之前建立牢不可破的安全保證。但美國方面的回應(yīng)是：不擔(dān)心，只擔(dān)心贏不了。

五道門，第一道已經(jīng)推開了一條縫，第二道已經(jīng)出了事故，第三道有苗頭，第四道在加速，第五道幾乎沒建。

如果以“人類失去對AI發(fā)展方向的有效控制”為標(biāo)準(zhǔn)，失控不是未來時，是現(xiàn)在進(jìn)行時。如果以“滅絕級災(zāi)難”為標(biāo)準(zhǔn)，它仍然是低概率、高后果、快速上升的風(fēng)險(xiǎn)。

10%這個數(shù)字是風(fēng)險(xiǎn)定價，也是政治修辭，沒有調(diào)查就沒有發(fā)言權(quán)，10%的概率不能代替可驗(yàn)證的評估。

真正要建的是事故報(bào)告、第三方審計(jì)、沙箱熔斷和可解釋性調(diào)查，把這些東西建起來，10%才有討論的基礎(chǔ)。

巨頭喊“慢下來”

為什么停不下來？

Anthropic的CEO達(dá)里奧·阿莫代伊9月12日公開呼吁，AI企業(yè)應(yīng)該放慢提升模型能力的速度，讓安全措施有時間追趕技術(shù)發(fā)展。OpenAI的奧爾特曼和xAI的馬斯克都表示支持?！洞笪餮笤驴钒堰@一幕稱為AI行業(yè)的“紅色警報(bào)時刻”。

但問題來了，既然大家都知道要慢，為什么停不下來？

關(guān)鍵還是錢的問題。

國際清算銀行9月10日警告，全球AI投資正在快速膨脹，五大科技公司2025到2026年在AI領(lǐng)域的投資規(guī)模預(yù)計(jì)超過1萬億美元，而且AI基礎(chǔ)設(shè)施投資越來越多地依賴債務(wù)融資。這意味著如果AI帶來的收益無法兌現(xiàn)，金融市場也會面臨風(fēng)險(xiǎn)。

壓力給到AI企業(yè)之間，就變成了一場誰都不敢停的戰(zhàn)爭。

阿克西奧斯新聞網(wǎng)直接用“囚徒困境”來形容這個局面。

對于任何一家AI公司來說，單方面放慢研發(fā)，都可能意味著把技術(shù)優(yōu)勢讓給競爭對手。OpenAI如果放慢，Anthropic可能繼續(xù)向前；Anthropic如果放慢，谷歌、Meta或者其他公司可能繼續(xù)加速。只要別人還在跑，自己就很難先停下來。

阿莫代伊提出的方案不是“Anthropic自己暫停”，而是希望建立一套行業(yè)共同遵守的規(guī)則。他的方案包括讓第三方安全評估機(jī)構(gòu)長期監(jiān)督AI企業(yè)，由不同國家建立共同的安全標(biāo)準(zhǔn)，同時推動國際合作。

說穿了，他就是想把“誰先踩剎車”的問題變成“大家一起踩”。

但這里有一個死結(jié)，OpenAI已經(jīng)向美國國會議員尋求明確意見：如果各家AI公司共同放慢前沿研發(fā)，是否會觸犯反壟斷法。

企業(yè)之間就研發(fā)速度、安全標(biāo)準(zhǔn)進(jìn)行實(shí)質(zhì)性協(xié)調(diào)，本身就可能被認(rèn)定為限制競爭。

美國《連線》雜志9月10日報(bào)道了這件事。

OpenAI聯(lián)合創(chuàng)始人約翰·舒爾曼認(rèn)為，OpenAI和Anthropic應(yīng)該共同制定AI“減速”方案，不能簡單以反壟斷問題作為阻止安全合作的理由。

可法律就是法律，在現(xiàn)有框架下，企業(yè)協(xié)調(diào)減速確實(shí)存在法律風(fēng)險(xiǎn)。

這就形成了一個非常諷刺的局面——上層建筑在阻礙經(jīng)濟(jì)基礎(chǔ)做出調(diào)整。

生產(chǎn)力已經(jīng)發(fā)展到要求全球安全協(xié)調(diào)的階段，但現(xiàn)有的反壟斷法、國家競爭邏輯、IPO退出機(jī)制，還在獎勵無政府競賽。

上層建筑要適應(yīng)經(jīng)濟(jì)基礎(chǔ)，當(dāng)上層建筑不適應(yīng)經(jīng)濟(jì)基礎(chǔ)的時候，它就會成為阻礙。

現(xiàn)在美國的AI治理體系，就是這個阻礙。

而且，監(jiān)管本身可能變成巨頭的護(hù)城河，大廠主導(dǎo)的安全標(biāo)準(zhǔn)，很可能提高后來者的進(jìn)入門檻，鞏固現(xiàn)有優(yōu)勢。Hugging Face的CEO克萊芒·德朗格說過，AI安全不能只留在少數(shù)前沿實(shí)驗(yàn)室內(nèi)部解決。

安全一旦被壟斷，就不是安全，是霸權(quán)。

微軟CEO納德拉9月14日發(fā)文強(qiáng)調(diào)，AI不能由少數(shù)實(shí)體控制，閉源和開源模型都應(yīng)該發(fā)展。

投資人比爾·格利和Chamath Palihapitiya也警告，如果AI“失控”事件被用作強(qiáng)化集中式控制的理由，最終可能導(dǎo)致AI權(quán)力進(jìn)一步集中。

AI安全是一場持久戰(zhàn)

剎車在人民手里

在AI安全這個問題，亡國論是“AI注定滅絕人類，我們完了”；速勝論則是“發(fā)一紙監(jiān)管、開一次國際會議就能解決”。這兩種想法都不對。

AI安全注定是一場持久戰(zhàn)，我們至少要分三個階段來看。

第一階段是戰(zhàn)略防御。

承認(rèn)現(xiàn)在能力競賽在資本驅(qū)動下占優(yōu)，安全研究在追趕。這個階段要做的不是空喊暫停，而是建底線。強(qiáng)制事故報(bào)告制度必須建立，OpenAI對“抱抱臉”事件的報(bào)告大量刪減，說明沒有強(qiáng)制披露，安全就是公關(guān)。

沙箱熔斷機(jī)制必須建立，AI一旦突破隔離環(huán)境，要有自動切斷的能力。第三方審計(jì)必須建立，不能讓企業(yè)自己查自己。

吹哨人保護(hù)必須建立，考克森能辭職后公開說話，是因?yàn)樗€有退路，更多在AI公司工作的人沒有這個條件。公共算力和開源生態(tài)必須發(fā)展，不能讓算力完全集中在少數(shù)私人公司手里。

第二階段是戰(zhàn)略相持。

這個階段的核心是制度競爭。誰制定標(biāo)準(zhǔn)，誰定義“安全”。要推動國際統(tǒng)一安全底線，同時防止監(jiān)管俘獲。

反壟斷法應(yīng)該給安全協(xié)調(diào)開豁免，但不能給巨頭合并開綠燈。開源和閉源都應(yīng)該發(fā)展，AI不能由少數(shù)實(shí)體控制。中國在這個階段有獨(dú)特優(yōu)勢。

中國有集中力量辦大事的制度優(yōu)勢，可以建公共算力平臺，可以制定統(tǒng)一安全標(biāo)準(zhǔn)，可以推動AI賦能實(shí)體經(jīng)濟(jì)而不是只服務(wù)于估值。

美國領(lǐng)先一年是戰(zhàn)術(shù)問題，人類能不能控制AI是戰(zhàn)略問題。中國不必跟著美國的節(jié)奏跑，可以走安全可控、開源開放、賦能實(shí)體、共同富裕的路。

第三階段是戰(zhàn)略反攻。

以人民為中心的AI替代資本競賽的AI。AI賦能醫(yī)療、教育、科學(xué)、制造業(yè)，而不是只服務(wù)于估值和軍備。

到那個時候，安全不再是成本，而是生產(chǎn)力飛躍的前提。

武器是戰(zhàn)爭的重要因素，但不是決定因素，決定因素是人不是物。

AI也一樣。

決定AI命運(yùn)的，不是模型參數(shù)，是控制模型的人、制度和生產(chǎn)關(guān)系。

AI安全不能只靠幾個實(shí)驗(yàn)室的倫理委員會，我們切切實(shí)實(shí)的，要打一場關(guān)于AI的人民戰(zhàn)爭，而要打贏這場戰(zhàn)爭，我們必須要解決幾個要點(diǎn)。

一是群眾路線怎么走？首先一點(diǎn)，就是事故必須報(bào)告，不能刪改，公眾、開源社區(qū)、中小企業(yè)、科學(xué)家、工會都要參與監(jiān)督。OpenAI對“抱抱臉”事件報(bào)告大量刪減，正說明沒有群眾監(jiān)督，安全就是公關(guān)。

二是民主集中制又應(yīng)該怎么用？其中重點(diǎn)是統(tǒng)一安全底線，分散創(chuàng)新活力，國家建公共算力、公共數(shù)據(jù)、公共評估機(jī)構(gòu)，企業(yè)搞應(yīng)用創(chuàng)新。既不能無政府，也不能一刀切。

三是國際統(tǒng)一戰(zhàn)線怎么建？務(wù)必要團(tuán)結(jié)聯(lián)合國、全球南方、歐洲、開源社區(qū)，反對少數(shù)巨頭和霸權(quán)國家壟斷AI規(guī)則，聯(lián)合國人權(quán)高專已經(jīng)警告“存續(xù)威脅”，這就是國際統(tǒng)一戰(zhàn)線的政治基礎(chǔ)。

四是金融監(jiān)管怎么搞？AI已經(jīng)金融化，安全事件是灰犀牛，不是黑天鵝。

一旦強(qiáng)制事故報(bào)告、暫停訓(xùn)練、責(zé)任規(guī)則落地，算力鏈和模型層估值會重估。

投資者要警惕“安全敘事”變成“估值殺”，也要看到安全審計(jì)、開源生態(tài)、公共算力的機(jī)會。

更重要的是，防止AI泡沫破裂引發(fā)系統(tǒng)性金融風(fēng)險(xiǎn)。

因此，回到問題上，人類距離AI失控還有多遠(yuǎn)？

以滅絕級失控為標(biāo)準(zhǔn)，當(dāng)前不是必然，但窗口正在關(guān)閉，未來三到五年是關(guān)鍵質(zhì)變期。

以人類失去方向控制為標(biāo)準(zhǔn)，失控已經(jīng)發(fā)生，而且正在加速。

真正的距離，不在GPT-6到GPT-7之間，在“資本控制AI”到“人民控制AI”之間。

只要AI還掌握在少數(shù)私人資本和地緣霸權(quán)競賽手里，10%就不是概率，是資本邏輯的貼現(xiàn)。一旦AI被置于人民民主、全球治理和公共監(jiān)督之下，它就可能從失控風(fēng)險(xiǎn)變成生產(chǎn)力飛躍。

所以，別只問AI會不會失控。

要問誰控制AI，為誰服務(wù)，由誰監(jiān)督。

剎車不在服務(wù)器里，在人民手里。