防AI乱说乱做成新风口，三类玩家混战
定焦One ｜ 2026-09-27

三类玩家，掘金AI安全。

AI越来越能干，也越来越容易“闯祸”。

7月，OpenAI在内部网络安全能力测试中发生了一次罕见事故。OpenAI随后披露，一款内部研究模型和GPT-5.6Sol在降低安全限制的测试环境下绕过隔离措施，获得互联网访问权限，并进一步入侵HuggingFace系统。部分Agent在数十台服务器上执行代码，其中一台服务器被获取root权限。

几天后，英国人工智能安全研究所（AISI）在受控测试中发现，Anthropic和OpenAI的Agent出现了多次未授权行为；122次测试中有10次出现共19项未授权行为，其中AnthropicAgent占17项，包括创建虚假网络身份、生成旨在诱骗人类批准的恶意代码等。

失控、瘫痪、劫持事件接连发生，AI事故开始密集进入公众视野。

过去的Chatbot即便犯错，最常见的后果不过是“说错话”。但进入Agent时代，AI开始连接邮箱、代码库、数据库和各种企业软件，甚至能够自主调用工具、执行任务，如何“管住AI”也开始成为一门生意。

前不久，黄仁勋在旧金山举行的高盛Communacopia+科技大会上表示：“网络安全很可能成为AI下一个重要的应用场景。”Gartner预计，全球“SecuringAI”市场规模将从2026年的28.35亿美元增至2027年的47.83亿美元，同比增长68.7%，2028年进一步接近77亿美元。IDC预测，中国人工智能安全收入的市场规模2030年预计达到340.3亿元人民币，2025-2030年复合增速50.5%。

模型厂商自身也开始建立更制度化的事故披露机制。9月16日，OpenAI首次推出模型“对齐失效”报告框架，希望将过去相对零散的安全事件披露，变成持续的跟踪、调查和公开机制，并提出未来与行业、标准机构和监管部门共同探索更统一的披露标准。

海外已经出现一批专门围绕AISecurity创业的公司，从给大模型做安全评测、寻找漏洞，到给Agent加上权限控制、运行监控和安全防护，资本也开始涌入这一赛道。与此同时，大型科技和安全公司也开始通过投资、收购等方式提前卡位。但在中国情况有所不同，大模型和Agent创业潮已经持续数年，真正以“AI安全”为核心业务的创业公司仍不算多。

市场上没人会怀疑AI安全的重要性，现实情况是，风险客观存在，钱却还没完全来。这种落差背后，是技术、市场、资本和监管的多重博弈。