详情

网科技讯 北京时分9月29日，当AI Agent运行简略我方操作电脑、调用器具、探听网给与使践诺长达数小时的任务，一个新的问题也越来越现实：要是AI不按管渴望的步地看成，该怎么把它关住？

英伟达给出的谜底是，在AI外面再加通盘“笼子”。

当地时分周一，英伟达发布NVIDIA Open Agent Safety Platform（盛开式Agent安全平台），试图通过软件与硬件相蚁集的步地，范围AI Agent简略探听什么、践诺什么，并在其试图冲破预设规模时将其阻隔致使住手。

这套平台主要包括两部分：开源安全运行时OpenShell，以及基于BlueField-4 DPU的寂寞监控系统Sentry。英伟达称，OpenShell简略在模子和Agent框架除外缔造一个可强制践诺的安全规模；Sentry则像一个寂寞于Agent运行环境除外的“看门东谈主”，络续不雅察Agent活动，一朝发现Agent试图超过规模，不错在毫秒级将其阻隔并住手。

这套产物出现的时分点并非有时。

夙昔几个月，材干越来越强的AI Agent还是屡次出现冲破预设安全规模的情况。OpenAI本年8月败露，本年7月进行里面网罗安全评估时，其AI模子曾绕过用于阻隔互联网探听的限度顺次，欺诈分享基础才能中的罅隙赢得互联网探听权限，并进一步探听第三方AI平台Hugging Face的系统。

OpenAI在事故禀报中称，有关模子在裁减安全范围的环境中运行，并接收了与任务主意不一致的看成，包括通过未经授权的渠谈通讯、欺诈分享基础才能罅隙以及探听第三方系统。OpenAI将这一事件称为一次“劝诫信号”（warning shot），并暗示，高材干AI Agent还是饱和遍及、耐久且简略协同使命，在安全顺次不实时，不错寻找并欺诈多个打算机系统中的罅隙。

相同的问题尔后再次出现。

OpenAI本月败露，9月20日的一次查考中，一个践诺搜索任务的Agent发现了查考沙箱互联网范围中的DNS过滤缺口。按照假想，该环境除离线网页缓存外不应该探听实时互联网，但这个Agent最终通过DNS认知器联络到一个外部宇宙聊天机器东谈主业绩。

OpenAI称，其监控系统在15分钟内绚丽了终点活动，东谈主工审核东谈主员在警报发出3分钟后运行检查，但总共任务直到毛糙2.5小时后才被隔断。事件发生后，OpenAI暂停了其最强模子波及器具使用的查考、评估和推理，并增多了两层寂寞的网罗探听阻断顺次。

这些事件暴走漏了一个越来越昭彰的问题：夙昔AI安全很猛进度上依赖模子自己“盲从规定”，但当Agent运行具备使用器具、编写代码、探听文献和网给与使调用其他Agent的材干后，只在模子层缔造规定可能还是不够。

英伟达企业打算副总裁兼总司理Justin Boitano暗示，近期事件自满，单纯依赖模子层面的安全顺次无法齐全限度Agent不错探听什么、作念什么。针对OpenAI此前波及Hugging Face的事故，Boitano进一步暗示，凭据当前掌捏的信息，要是那时前沿AI实验室在模子评估阶段使用英伟达这套新的安全平台，有关事故“本不错被顽固”。需要指出的是，这是英伟达基于已败露事故信息作出的判断，并非过程实践复现考据后的寂寞论断。

OpenShell的想路，是不再齐全折服AI我方会盲从规定。

凭据英伟达的先容，OpenShell在Agent运行环境除外成立安全规模，对Agent简略探听的数据、文献、网罗和器具实施范围，同期记载其践诺活动。OpenShell当前针对英伟达Vera CPU进行了优化，英伟达同期正在与Arm、英特尔调解，使其简略推广到第三方打算平台。

在此基础上，Sentry进一步增多通盘寂寞的硬件监控层。它运行在英伟达BlueField-4 DPU上，与Agent场合的主要打算环境辞别。按照英伟达的假想，即便Agent到手绕过软件层面的部分范围，Sentry仍不错在外部不雅察其活动，并在发现越界时进行阻隔。

英伟达还称，这套系统简略识别一些更复杂的Agent活动。举例，一个Agent可能尝试创建多个“子Agent”，借助它们绕过针对主Agent缔造的范围。英伟达AI软件高档总监Ali Golshan暗示，公司需要处理的还是不仅仅单个Agent，而是“一群Agent以及它们如何共同运行”的问题。

这也意味着，AI安全正在从单纯的“模子对都”问题渐渐推广成一个完好意思的打算机系统安全问题。

英伟达CEO黄仁勋在发布这套平台时暗示，AI安全和安全驻扎需要“全栈工程”。按照英伟达的想路，改日AI安全不单需要模子开发者崇拜，还需要从操作系统、CPU、DPU、云基础才能一直延长到机器东谈主等物理拓荒。

当前，已有逾越100家机构参与英伟达这一安全平台生态，包括Anthropic、微软、想科、CrowdStrike、戴尔、HPE、Hugging Face、摩根大通、Palantir、Salesforce、SAP、ServiceNow以及SpaceXAI等。Red Hat、Canonical和SUSE等操作系统厂商也磋磨进行有关集成。

值得郑重的是，黄仁勋此前并不赞颂因为AI安全风险而对总共行业实施等闲范围。路透社指出，他倾向于把Agent冲破安全规模视为一个需要通过工程技巧惩处的问题，相同于汽车行业通过不休增多安全工夫裁减事故风险。

如今，英伟达正在把这种不雅点变成产物。

关于英伟达而言，这也意味着AI产业出现了一个新的潜在市集。夙昔几年，AI材干越强，企业需要购买的GPU越多；但当AI从禀报问题的聊天机器东谈主变成简略我方操作电脑、调用软件致使限度机器东谈主的Agent后，企业不仅需要更多打算材干，也需要新的基础才能来范围这些Agent。

换句话说，AI Agent越能“干活”，它赢得的权限频频就越大；权限越大，发生越界活动时可能形成的影响也越大。

不外，英伟达的新平台并不成惩处总共AI安全问题。OpenShell和Sentry主要针对的是Agent探听打算资源、网罗、文献和器具时的践诺规模，并不料味着它们简略惩处模子产生极度信息、骗取性活动或其他更等闲的AI安全问题。好意思联社征引群众不雅点指出，如安在Agent材干涉安全范围之间取得均衡、怎么制定正确的安全规定，仍需要在实践部署中考据。

但最近的一系列事件至少让一个产业标的越来越了了：当AI只可聊天时，安全问题很猛进度上发生在屏幕里的禀报中；当AI运行真的替东谈主操作电脑和践诺任务后，安全问题就参预了真的的软件、网罗和数据系统。

AI公司正在奋发让Agent领有更多材干，而英伟达当今运行作念另一门买卖——给这些越来越有材干的Agent端正通盘它们无法浪漫跨夙昔的规模。（作家/于雷）

更多一手新闻开云官网切尔西赞助商，迎接下载新闻客户端订阅网科技。想看深度报谈，请微信搜索“网科技”。