久操免费资源,久久伦理一区,国产又黄又爽视频,情草av网,日本久久久在线免费,精品人妻互换一区三区,熟妇女一区二区三区,亚洲AV三区视频免费,老司机在线精品

**AI Agent事故頻發(fā)催生安全新賽道,全球市場(chǎng)預(yù)計(jì)2028年達(dá)77億美元,但國內(nèi)企業(yè)付費(fèi)意愿尚處早期,需等待AI滲透深化和監(jiān)管強(qiáng)制落地。** **要點(diǎn)** **1. Agent權(quán)限風(fēng)險(xiǎn)催生安全需求** 當(dāng)AI從聊天框進(jìn)入企業(yè)數(shù)據(jù)庫、代碼庫并自主執(zhí)行操作時(shí),數(shù)據(jù)泄露、誤刪文件、越權(quán)調(diào)用等事故頻發(fā),安全防護(hù)從“內(nèi)容審核”升級(jí)為“權(quán)限控制、運(yùn)行監(jiān)控”四道關(guān)卡。 **2. 三類玩家各有優(yōu)劣勢(shì)** 模型廠商(如阿里、百度)安全能力只服務(wù)于自研模型;傳統(tǒng)安全公司(如360、奇安信)有客戶渠道但技術(shù)基因偏邊界防御;AI原生安全創(chuàng)業(yè)公司(如紅豆葉、締零科技)反應(yīng)快但缺資源和渠道,需靠專利布局尋求合作。 **3. 商業(yè)模式尚處早期探索階段** 變現(xiàn)路徑包括項(xiàng)目制、軟件授權(quán)和API調(diào)用,其中API模式規(guī)?;瘽摿ψ畲?。但目前國內(nèi)多數(shù)企業(yè)尚未將AI真正部署到業(yè)務(wù)中,安全預(yù)算更無從談起,付費(fèi)需求滯后于AI應(yīng)用滲透。 **4. 國內(nèi)安全市場(chǎng)爆發(fā)依賴事故刺激與監(jiān)管推動(dòng)** 業(yè)內(nèi)判斷,只有當(dāng)企業(yè)因安全事件遭受實(shí)質(zhì)損失,或監(jiān)管出臺(tái)類似3C認(rèn)證的強(qiáng)制標(biāo)準(zhǔn)時(shí),AI安全才會(huì)從“可選項(xiàng)”變?yōu)椤氨剡x項(xiàng)”,大規(guī)模付費(fèi)需求才會(huì)形成。
管住AI,成了一門新生意
2026-09-27 08:36

管住AI,成了一門新生意

本文來自微信公眾號(hào): 定焦One ,作者:定焦One團(tuán)隊(duì),編輯:魏佳


三類玩家,掘金AI安全。


定焦One(dingjiaoone)原創(chuàng)


AI越來越能干,也越來越容易“闖禍”。


7月,OpenAI在內(nèi)部網(wǎng)絡(luò)安全能力測(cè)試中發(fā)生了一次罕見事故。OpenAI隨后披露,一款內(nèi)部研究模型和GPT-5.6 Sol在降低安全限制的測(cè)試環(huán)境下繞過隔離措施,獲得互聯(lián)網(wǎng)訪問權(quán)限,并進(jìn)一步入侵Hugging Face系統(tǒng)。部分Agent在數(shù)十臺(tái)服務(wù)器上執(zhí)行代碼,其中一臺(tái)服務(wù)器被獲取root權(quán)限。


幾天后,英國人工智能安全研究所(AISI)在受控測(cè)試中發(fā)現(xiàn),Anthropic和OpenAI的Agent出現(xiàn)了多次未授權(quán)行為;122次測(cè)試中有10次出現(xiàn)共19項(xiàng)未授權(quán)行為,其中Anthropic Agent占17項(xiàng),包括創(chuàng)建虛假網(wǎng)絡(luò)身份、生成旨在誘騙人類批準(zhǔn)的惡意代碼等。


失控、癱瘓、劫持事件接連發(fā)生,AI事故開始密集進(jìn)入公眾視野。


過去的Chatbot即便犯錯(cuò),最常見的后果不過是“說錯(cuò)話”。但進(jìn)入Agent時(shí)代,AI開始連接郵箱、代碼庫、數(shù)據(jù)庫和各種企業(yè)軟件,甚至能夠自主調(diào)用工具、執(zhí)行任務(wù),如何“管住AI”也開始成為一門生意。


前不久,黃仁勛在舊金山舉行的高盛Communacopia+科技大會(huì)上表示:“網(wǎng)絡(luò)安全很可能成為AI下一個(gè)重要的應(yīng)用場(chǎng)景?!盙artner預(yù)計(jì),全球“Securing AI”市場(chǎng)規(guī)模將從2026年的28.35億美元增至2027年的47.83億美元,同比增長68.7%,2028年進(jìn)一步接近77億美元。IDC預(yù)測(cè),中國人工智能安全收入的市場(chǎng)規(guī)模2030年預(yù)計(jì)達(dá)到340.3億元人民幣,2025-2030年復(fù)合增速50.5%。


模型廠商自身也開始建立更制度化的事故披露機(jī)制。9月16日,OpenAI首次推出模型“對(duì)齊失效”報(bào)告框架,希望將過去相對(duì)零散的安全事件披露,變成持續(xù)的跟蹤、調(diào)查和公開機(jī)制,并提出未來與行業(yè)、標(biāo)準(zhǔn)機(jī)構(gòu)和監(jiān)管部門共同探索更統(tǒng)一的披露標(biāo)準(zhǔn)。


海外已經(jīng)出現(xiàn)一批專門圍繞AI Security創(chuàng)業(yè)的公司,從給大模型做安全評(píng)測(cè)、尋找漏洞,到給Agent加上權(quán)限控制、運(yùn)行監(jiān)控和安全防護(hù),資本也開始涌入這一賽道。與此同時(shí),大型科技和安全公司也開始通過投資、收購等方式提前卡位。但在中國情況有所不同,大模型和Agent創(chuàng)業(yè)潮已經(jīng)持續(xù)數(shù)年,真正以“AI安全”為核心業(yè)務(wù)的創(chuàng)業(yè)公司仍不算多。


市場(chǎng)上沒人會(huì)懷疑AI安全的重要性,現(xiàn)實(shí)情況是,風(fēng)險(xiǎn)客觀存在,錢卻還沒完全來。這種落差背后,是技術(shù)、市場(chǎng)、資本和監(jiān)管的多重博弈。


01.AI越能干,越需要“上鎖”


AI安全并不是一個(gè)新問題,但Agent正在改變這道題的難度。


2022年底ChatGPT橫空出世,在最初的一兩年里,人們對(duì)AI安全的認(rèn)知,基本停留在“別讓AI亂說話”。


早期大模型的風(fēng)險(xiǎn)雖然不少,但大多集中在輸出端,包含如幻覺(模型一本正經(jīng)地胡說八道)、違法違規(guī)內(nèi)容(生成暴力、色情或歧視性信息)、越獄(用戶通過精心設(shè)計(jì)的提示詞繞過模型的安全護(hù)欄)、隱私泄露(訓(xùn)練數(shù)據(jù)或用戶輸入中的敏感信息被模型意外輸出)等。這些風(fēng)險(xiǎn)的核心特征類似,模型只輸出信息,不執(zhí)行操作。


但Agent的出現(xiàn)改變了這一點(diǎn)。


當(dāng)AI從聊天框走出來,開始接入企業(yè)內(nèi)部的數(shù)據(jù)庫、郵箱、代碼庫和各種軟件,它面對(duì)的不再只是“什么能說、什么不能說”,還有“什么能看、什么能改、什么能做”。



其中最關(guān)鍵的變量是權(quán)限。AI安全初創(chuàng)公司紅豆葉科技創(chuàng)始人劉雁向「定焦One」表示,現(xiàn)階段企業(yè)對(duì)AI安全比較敏感的問題之一就是數(shù)據(jù)泄露。Agent權(quán)限一旦開放過高,就可能接觸甚至帶走企業(yè)內(nèi)部數(shù)據(jù),而相關(guān)防護(hù)目前仍不完善。


而且,風(fēng)險(xiǎn)不一定來自AI主動(dòng)作惡。Agent工程師蔣工告訴「定焦One」,在實(shí)際開發(fā)中,模型偶爾會(huì)出現(xiàn)刪除文件、數(shù)據(jù)庫等情況?,F(xiàn)階段,這類問題通??梢酝ㄟ^權(quán)限控制、數(shù)據(jù)恢復(fù)等工程方式兜底,但如果未來AI獲得更高權(quán)限,能夠操作支付、交易等系統(tǒng),同樣一次誤操作的代價(jià)可能完全不同。


如果把一套AI安全系統(tǒng)拆開看,它做的事情大致可以理解為給AI設(shè)置四道關(guān)卡。


第一道是“體檢”,在模型或Agent正式投入使用之前,通過安全評(píng)測(cè)、紅隊(duì)測(cè)試等方式尋找漏洞;第二道是“安檢”,AI運(yùn)行起來后,對(duì)它接收和輸出的信息進(jìn)行實(shí)時(shí)檢查,盡量在風(fēng)險(xiǎn)進(jìn)入企業(yè)系統(tǒng)之前把它攔下來。


第三道也是Agent時(shí)代越來越重要的一道:“上鎖”。企業(yè)需要回答,這個(gè)Agent是誰?它可以讀取哪些文件?可以調(diào)用哪些API?能不能修改數(shù)據(jù)庫?哪些操作可以自主完成,哪些必須經(jīng)過人的確認(rèn)?比如,AI可以幫用戶完成下單等任務(wù),但到了支付、輸入密碼等關(guān)鍵環(huán)節(jié),最終確認(rèn)仍應(yīng)該交還給人。


最后一道則是“監(jiān)控”。如果AI真的做錯(cuò)了事,企業(yè)至少需要知道它訪問了什么數(shù)據(jù)、調(diào)用了什么工具、執(zhí)行了哪些操作,并在異常出現(xiàn)時(shí)及時(shí)預(yù)警、阻斷和追溯。劉雁介紹,紅豆葉正在開發(fā)的AIS二級(jí)安全監(jiān)管系統(tǒng),就是希望在系統(tǒng)運(yùn)行超過設(shè)定閾值時(shí)進(jìn)行預(yù)警。


從Chatbot時(shí)代到現(xiàn)在的Agent時(shí)代,AI能干的活兒越來越多,相應(yīng)的,一次錯(cuò)誤能夠造成的損失也就越高,一條圍繞AI的新安全鏈條也由此出現(xiàn)。


02.三類玩家,各有優(yōu)劣


AI安全的生意,已經(jīng)有人先跑起來了。


8月,AI安全公司Obsidian Security完成8500萬美元D輪融資,估值達(dá)到11億美元,這家公司正在做的事情之一,就是監(jiān)控進(jìn)入企業(yè)軟件的AI Agent,防止其不當(dāng)訪問源代碼、客戶記錄等敏感數(shù)據(jù);9月初,美國AI安全公司HiddenLayer宣布完成1億美元B輪融資,投資方包括摩根士丹利、微軟旗下M12等機(jī)構(gòu),該公司重點(diǎn)投入的方向之一,就是Agent運(yùn)行時(shí)的安全。


更能說明變化的是收入。HiddenLayer聯(lián)合創(chuàng)始人兼CEO Chris Sestito透露,過去一年公司年度經(jīng)常性收入(ARR)增長超過10倍,達(dá)到數(shù)千萬美元量級(jí),超過九成增長來自新客戶。金融服務(wù)和大型科技公司是其主要客戶。


到了國內(nèi),這門生意雖然還未達(dá)到這個(gè)熱度,但玩家也不算少,大致可以分成三類:


第一類是模型廠商,如阿里、百度、字節(jié)、騰訊、DeepSeek。


蔣工稱,模型廠商會(huì)做安全,但首先服務(wù)于自身模型和產(chǎn)品,而不是獨(dú)立對(duì)外出售的第三方安全產(chǎn)品。他解釋,對(duì)任何一個(gè)場(chǎng)景加安全限制,“都有可能導(dǎo)致其他的功能發(fā)生退化”,所以模型廠商在加安全場(chǎng)景時(shí)要很謹(jǐn)慎。


這個(gè)邏輯其實(shí)不難理解,模型廠商的核心商業(yè)模式還是賣模型能力,API調(diào)用、云服務(wù)、行業(yè)解決方案。如果模型動(dòng)不動(dòng)就輸出違規(guī)內(nèi)容、被用戶輕易越獄,客戶肯定不敢用。所以模型廠商會(huì)做內(nèi)容審核、拒答機(jī)制、對(duì)齊微調(diào),但這些是產(chǎn)品的底線要求,不是獨(dú)立的生意。


劉雁對(duì)此有一個(gè)判斷:模型廠商自己開發(fā)的安全能力,只能適用于自己開發(fā)的層面,比如豆包的安全能力只保護(hù)豆包,DeepSeek的安全能力只保護(hù)DeepSeek。企業(yè)如果用多個(gè)模型、或者自研模型,模型廠商自帶的安全能力就覆蓋不了了。


這恰恰為第三方安全公司留出了空間。



第二類是傳統(tǒng)安全公司,如360、奇安信、深信服、天融信等。這些企業(yè)在傳統(tǒng)網(wǎng)絡(luò)安全時(shí)代就已經(jīng)是頭部玩家,它們手握政企客戶的安全預(yù)算,有成熟的銷售渠道和客戶關(guān)系。AI興起后,它們也開始把原來的安全能力向大模型和Agent延伸。


這背后不只有技術(shù)迭代,也有尋找新增量的現(xiàn)實(shí)壓力。IDC預(yù)計(jì),中國網(wǎng)絡(luò)安全市場(chǎng)2024-2029年復(fù)合增長率約8.9%,而AI安全未來五年這個(gè)數(shù)字約50.5%,傳統(tǒng)網(wǎng)絡(luò)安全市場(chǎng)已經(jīng)告別過去的高速增長。2026年上半年奇安信營收15億,同比下降14%,上半年凈虧損為4.11億,雖然虧損同比大幅收窄,但主要是因?yàn)榉墙?jīng)營因素。


實(shí)現(xiàn)盈利的網(wǎng)安公司數(shù)量寥寥,深信服上半年?duì)I收39.98億元,同比增長32.85%;歸母凈利潤2.31億元,上年同期虧損2.28億元,實(shí)現(xiàn)扭虧。細(xì)看財(cái)報(bào),其云計(jì)算及AI基礎(chǔ)設(shè)施收入22.12億元,同比大增58.60%,占總營收的55.34%,超越網(wǎng)絡(luò)安全成為第一大收入來源,傳統(tǒng)網(wǎng)安廠商正在尋找網(wǎng)絡(luò)安全之外的新增長點(diǎn)。


錢流向哪里,安全廠商也在往哪里走。比如360以前主要做PC終端安全防護(hù),現(xiàn)在也做模型的安全,360發(fā)布的“360大模型安全衛(wèi)士”,就是基于“安全+AI”推出的產(chǎn)品。還有奇安信,其2026年推出的Agent安全平臺(tái),把保護(hù)對(duì)象從傳統(tǒng)網(wǎng)絡(luò)、終端進(jìn)一步延伸至Agent運(yùn)行過程。因此,對(duì)傳統(tǒng)網(wǎng)安公司來說,AI安全既是一場(chǎng)防守戰(zhàn),也是一場(chǎng)增量爭(zhēng)奪戰(zhàn)。


但劉雁指出了它們的短板,這類公司的業(yè)務(wù)主要在防火墻、IDS、防止數(shù)據(jù)泄露方面,對(duì)AI原生風(fēng)險(xiǎn)的理解,沒有專門做AI原生安全的公司敏感。傳統(tǒng)安全公司的技術(shù)基因是邊界防御,防外部攻擊、防數(shù)據(jù)泄露。而AI安全的核心風(fēng)險(xiǎn)是內(nèi)生的,模型本身可能被誘導(dǎo)、Agent可能越權(quán)、權(quán)限可能被繞過。這是兩套完全不同的技術(shù)邏輯。


蔣工也認(rèn)為,傳統(tǒng)安全公司在應(yīng)用層做AI安全有優(yōu)勢(shì),但在模型層,如后訓(xùn)練階段的安全對(duì)齊、防越獄、防提示詞注入,它們的技術(shù)積累并不比創(chuàng)業(yè)公司強(qiáng)多少。


第三類玩家則是AI原生安全公司。國內(nèi)已經(jīng)出現(xiàn)瑞萊智慧等較早布局AI安全的公司,完成數(shù)千萬元Pre-A輪融資、聚焦“認(rèn)知安全”的締零科技,完成近千萬元種子輪融資的“AI智能體安全服務(wù)公司”信流智能等。


相比模型廠商和傳統(tǒng)網(wǎng)安巨頭,它們最大的特點(diǎn)是沒有歷史包袱,可以圍繞AI新出現(xiàn)的問題重新設(shè)計(jì)產(chǎn)品。但反過來,模型廠商可以不斷把安全能力內(nèi)置進(jìn)模型,傳統(tǒng)網(wǎng)安公司則掌握著現(xiàn)成的企業(yè)客戶和安全預(yù)算入口,創(chuàng)業(yè)公司既缺少資源,也缺少渠道。


劉雁作為一名創(chuàng)業(yè)者,對(duì)此并不避諱,她認(rèn)為,小公司很難與模型大廠正面競(jìng)爭(zhēng),真正能做的是找到大公司暫時(shí)沒有覆蓋、或者自己做成本過高的能力,再以合作的方式進(jìn)入它們的產(chǎn)品體系。


以劉雁的公司為例,目前還在項(xiàng)目開發(fā)階段,但在大廠和老牌公司夾擊下探索出一套生存策略:專利布局。她告訴「定焦One」,他們想在大公司還沒重視這一塊時(shí)提前布局,“不管是以后大公司小公司,如果要設(shè)計(jì)AI安全相關(guān)的應(yīng)用,應(yīng)該都繞不過這套專利系統(tǒng),而大廠相比自研,最直接、更省心的就是和有專利的公司合作”。不過相關(guān)技術(shù)壁壘能否真正轉(zhuǎn)化為商業(yè)優(yōu)勢(shì),還有待市場(chǎng)驗(yàn)證。


03.需求還沒變成生意,AI安全在等什么?


賣方加速入局,那買方呢?


現(xiàn)階段,這門生意并沒有脫離To B軟件的基本邏輯。


目前最直接的變現(xiàn)路徑就是做項(xiàng)目。企業(yè)有模型、數(shù)據(jù)或者Agent安全需求,安全公司提供評(píng)測(cè)、部署、咨詢和定制化服務(wù),按照項(xiàng)目收費(fèi)。這種方式門檻相對(duì)低,也最容易在行業(yè)早期落地,但高度依賴人力,很難快速復(fù)制。


第二種是賣軟件和安全能力。企業(yè)通過私有化部署、軟件授權(quán)等方式,把第三方安全產(chǎn)品接入自己的AI系統(tǒng);對(duì)于有研發(fā)能力的大公司,也可以直接采購第三方技術(shù),再自行開發(fā)和集成。


更理想的模式,是把安全能力做成API。



劉雁告訴「定焦One」,這種商業(yè)模式包括定制化服務(wù)、API調(diào)用以及技術(shù)授權(quán)等。她更看好API模式的規(guī)?;瘽摿Γ拖窠裉扉_發(fā)者調(diào)用DeepSeek、豆包等大模型一樣,未來企業(yè)也可以直接調(diào)用第三方公司的安全能力,讓模型或Agent在執(zhí)行任務(wù)時(shí),多經(jīng)過一道安全檢查。


商業(yè)模式看起來并不復(fù)雜,但同樣一門生意,在國內(nèi)外所處的階段并不相同。


這種差距不只來自技術(shù),更與AI進(jìn)入企業(yè)的深度有關(guān)。劉雁在與企業(yè)接觸時(shí)感受到,目前國內(nèi)AI安全仍處在非常早期的階段。不少企業(yè)連AI本身都還沒有真正部署到業(yè)務(wù)里,更談不上單獨(dú)拿出一筆AI安全預(yù)算。“連AI落戶都還沒有做到的時(shí)候,怎么談AI安全?”她說。


這其實(shí)揭示了AI安全商業(yè)化面臨的第一道門檻:AI安全的滲透率,很難長期跑在AI應(yīng)用的滲透率前面。


一家企業(yè)只有先把AI用起來,才會(huì)逐漸把數(shù)據(jù)庫、內(nèi)部文件、代碼庫等資源開放給AI;只有AI真正拿到權(quán)限,數(shù)據(jù)泄露、越權(quán)操作等風(fēng)險(xiǎn)才會(huì)從紙面問題變成現(xiàn)實(shí)問題。到了這一步,企業(yè)才更有動(dòng)力為安全買單。但即便AI已經(jīng)進(jìn)入業(yè)務(wù),安全也未必會(huì)成為企業(yè)最先花錢的地方。


這種差距也體現(xiàn)在資本的態(tài)度上,蔣工稱,“國內(nèi)資本對(duì)應(yīng)用層很狂熱,因?yàn)閼?yīng)用的確有明確的變現(xiàn)路徑,但模型安全不是?!?/p>


從兩位業(yè)內(nèi)人士的判斷來看,改變這一局面的變量可能有兩個(gè)。


一個(gè)是事故。蔣工將其類比為疾病預(yù)防:所有人都知道提前預(yù)防疾病很重要,但在真正生病之前,很少有人愿意持續(xù)投入大量成本。企業(yè)安全也是類似的邏輯,沒有發(fā)生足夠嚴(yán)重的事故之前,安全部門更多是一項(xiàng)成本,很難像能直接帶來收入的業(yè)務(wù)一樣獲得資源傾斜。劉雁的判斷與之相似。她認(rèn)為,當(dāng)B端企業(yè)真正意識(shí)到AI安全會(huì)影響自身業(yè)務(wù)時(shí),付費(fèi)意愿自然會(huì)提高。


另一個(gè)則是監(jiān)管。劉雁用了一個(gè)充電寶的例子。過去充電寶可以直接帶上飛機(jī),后來隨著安全標(biāo)準(zhǔn)完善,3C認(rèn)證逐漸成為一道強(qiáng)制門檻。她認(rèn)為,如果未來AI應(yīng)用、Agent乃至具身智能設(shè)備也需要達(dá)到統(tǒng)一的安全標(biāo)準(zhǔn),那么安全檢測(cè)、咨詢和防護(hù)就可能從企業(yè)的“可選項(xiàng)”變成“必選項(xiàng)”。


這也是AI安全這門生意目前最微妙的地方:風(fēng)險(xiǎn)已經(jīng)出現(xiàn),產(chǎn)品已經(jīng)有人做,商業(yè)模式也并不難理解,但真正大規(guī)模的付費(fèi)需求還沒有完全形成。


它需要等待AI進(jìn)一步進(jìn)入真實(shí)業(yè)務(wù),也需要等待企業(yè)把更多數(shù)據(jù)和權(quán)限交給Agent,更要等待安全需求真正變成一筆明確的企業(yè)預(yù)算。在這之前,玩家們需要做的,就是先卡好位置。


*題圖及文中配圖均由AI生成。

AI創(chuàng)投日?qǐng)?bào)頻道: 前沿科技
本內(nèi)容來源于網(wǎng)絡(luò) 原文鏈接,觀點(diǎn)僅代表作者本人,不代表虎嗅立場(chǎng)。
如涉及版權(quán)問題請(qǐng)聯(lián)系 hezuo@huxiu.com,我們將及時(shí)核實(shí)并處理。
正在改變與想要改變世界的人,都在 虎嗅APP
西盟| 东乌珠穆沁旗| 仙游县| 嘉义县| 胶州市| 长海县| 万年县| 临邑县| 方山县| 麻阳| 巍山| 济南市| 西宁市| 旺苍县| 句容市| 迁安市| 山东省| 建水县| 滕州市| 康定县| 威宁| 从化市| 奈曼旗| 凤庆县| 东至县| 富平县| 乌审旗| 伊春市| 象州县| 皮山县| 禄丰县| 四会市| 乌鲁木齐县| 阳城县| 颍上县| 剑阁县| 洞口县| 简阳市| 临清市| 印江| 正安县|