自主式AI在企业中快速普及,但治理与生命周期管理往往滞后,带来技术债务、僵尸智能体和影子AI等风险。智能体具备自我学习与扩展能力,可能访问更多系统并阻止自身淘汰,带来了安全、合规和成本挑战。金融、医疗等受监管行业通过集中治理、持续测试和人工监督,实现了有效管理。

在部署新技术时,不仅安全性可能被事后考虑,治理、可观测性和生命周期管理同样如此。对于自主式AI而言,这无疑是一场酝酿中的灾难。

麻省理工学院11月发布的一份报告显示,35%的公司已采用自主式AI,另有44%的公司计划近期部署。

该报告基于与波士顿咨询集团合作,对2000多名受访者进行的调查,建议公司在部署自主式智能体之前,应构建集中式治理基础设施,然而,当公司感到自身处于生存竞争时,治理往往滞后,金融服务等受监管行业是这一规则的例外。

益博睿全球集团CTO Rodrigo Rodrigues表示:“在益博睿,我们多年来一直在AI领域进行创新。在金融服务领域,风险很高,我们需要审核每一个AI应用场景,以确保从开发到部署,都符合监管、道德和性能标准。”

他表示,所有模型都会持续接受测试,公司会跟踪所拥有的智能体、哪些正在被采用、它们消耗的资源、运行的版本,以及哪些智能体因有新版本而需要淘汰。

“这一生命周期是我们基础的一部分。”他说道,但他也表示,即使在益博睿,现在讨论智能体的典型生命周期也为时过早。

“当我们淘汰或停用某些智能体时,是因为我们开发了新功能。”他补充道,因此,智能体并非被删除,而是被更新。

此外,公司还对其智能体实施人工监督,防止其失控。

“我们尚未实现自动化的超大规模扩张,我们确保在大多数应用场景中,生成式AI智能体仅负责特定任务。”他说道,此外,还有协调智能体、输入输出质量控制以及人工验证结果,所有这些监控系统还有助于公司避免其他潜在风险,如因智能体进行无用的LLM推理调用而产生的成本超支,这些智能体虽未为公司创造价值,但仍会产生费用。

“我们不希望成本激增。”他说道,但金融服务、医疗保健以及其他高度受监管的行业是例外。

对于大多数公司而言,即使存在治理系统,也往往存在重大盲点。例如,它们可能只关注大型、由IT驱动的自主式AI项目,而忽略其他项目,它们可能还只关注智能体的准确性、安全性、保障性和合规性,而忽略智能体过时的情况,或者,它们可能没有建立淘汰不再需要的智能体的流程。

管理咨询公司SSA & Company应用解决方案负责人Nick Kramer表示:“技术发展如此迅速,以至于管理层往往被忽视,构建新事物比回顾并修复旧事物更有趣。”此外,在智能体生命周期管理方面,还存在着巨大的严谨性缺失。

“正如我们过去的经验所示,不可避免的是,你最终会背负大量技术债务。”他补充道,“而智能体技术债务是一个可怕的概念。”

你知道你的智能体在哪里吗?

首先,自主式AI并非仅限于公司的数据科学、AI和IT团队。几乎每家企业软件供应商都在大力投资智能体技术,Gartner表示,到今年年底,大多数企业应用都将配备AI助手,5%的企业已拥有特定任务的自主式智能体,这一比例将在2026年升至40%。

像Salesforce这样的大型SaaS平台肯定拥有智能体,像Zapier这样的自助自动化平台也拥有智能体。实际上,已经有四个浏览器——Perplexity的Comet、OpenAI的Atlas、谷歌的Gemini 3和微软的Edge for Business——内置了智能体功能。此外,还有公司内部但IT部门之外创建的智能体。安永10月发布的一项针对近1000名高层领导的调查显示,三分之二的公司允许公民开发者创建智能体。

无论是内部开发的智能体还是来自SaaS供应商的智能体,都需要访问数据和系统。你希望智能体越有用,它们就越需要更多的访问权限和工具,而这些智能体可能会以意想不到且不受欢迎的方式行事,且已经这么做了。

与传统软件不同,智能体不会局限于其原有领域,它们会持续学习、进化,并访问更多系统,它们不想消亡,并会采取行动防止这种情况发生。

甚至在智能体出现之前,影子AI就已成为一个问题。IBM 11月的一项调查显示,基于3000名上班族的反馈,80%的人在工作中使用AI,但只有22%的人仅使用雇主提供的工具。

员工还可以创建自己的智能体,根据Netskope的企业流量分析数据,在67%的企业中,用户正在从Hugging Face(一个流行的AI工具分享网站)下载资源。

智能体通常通过向大语言模型发起API调用来运行,Netskope发现,66%的企业会向OpenAI发起API调用,其次是Anthropic,占13%。

这些使用数字是公司调查报告数字的两倍,这就是影子AI智能体差距。对于公司已知的智能体而言,对其进行管理已经够难了。

“我们最大的恐惧是我们不知道的东西。”SSA的Kramer说道。他建议CIO尽量避免用铁腕手段管理智能体。

“不要试图通过惩罚的冲动反应来扼杀它,”他说道,“出现这些影子事物的原因在于,正确行事存在太多障碍,无知和官僚主义是这些事情发生的两大主要原因。”

而且,与所有影子IT一样,几乎没有好的解决方案。

“通过你的可观测性软件系统地发现这些事物是一个挑战,”他说道,并补充说,与其他类型的影子IT一样,未经授权的AI智能体可能对公司构成重大风险。“我们已经看到智能体成为黑客的新攻击面。”

但并非所有专家都认为企业应将智能体生命周期管理置于其他问题之前,比如仅让智能体正常工作。

技术咨询公司NWN总裁兼CEO Jim Sullivan表示:“这些技术在节省员工时间方面非常高效,大多数公司都在试图利用这些效率并观察其影响,这可能是首要任务,你想实现早期部署并获得早期回报,但现在谈论生命周期管理还为时过早。”

他表示,目前重要的是要实现业务成果,并确保智能体继续按预期运行。“如果你围绕这些事物进行正确的实施,就应该没问题。”他补充道。

不过,目前尚不清楚他的客户是否正在为其环境中所有的智能体或有权访问其数据的智能体创建集中式清单。“我们的客户正在确定他们想要推动的业务成果,”他说道,“他们正在建立基础设施以实现这些部署、快速学习并调整以保持正确的业务成果。”

他补充道,这可能会在未来发生变化,出现某种智能体管理器。“将会有一个能够部署以进行清单管理、访问和提供建议的智能体。”但等到智能体完全成熟后再考虑生命周期管理可能为时已晚。

保质期内的秘密

智能体通常不会自带预设的过期日期,SaaS供应商当然不想让企业用户轻易关闭其智能体,而自行创建智能体的个人用户也很少考虑生命周期管理,甚至部署AI智能体的IT团队也通常不会考虑其整个生命周期。

“在许多情况下,人们将AI视为一种设置后便可遗忘的解决方案,”博思艾伦咨询公司商业业务AI安全负责人Matt Keating说道,并补充说,虽然设置智能体是一个技术挑战,但持续的风险管理则是一个跨学科问题。“它需要合规、网络安全、法律和业务领导层的跨职能协作。”

智能体管理不应仅关注性能变化或不断演变的业务需求。“同样重要,甚至更重要的是知道何时需要更换智能体或AI系统。”他说道。正确处理此事将有助于保护公司的业务和声誉,并创造可持续的价值。

僵尸智能体的另一个来源是那些从未正式关闭的失败试点项目。“有些试点项目即使失败了也不会消亡,它们会继续运行,因为人们不断尝试使其工作。”SSA的Kramer说道。

需要有一种机制来终止那些不起作用的试点项目,即使预算中还有剩余资金。

“快速失败是人们仍未吸取的教训,”他说道,“必须设立阶段关卡,允许你停止。终止那些不起作用的试点项目,并在开始之前更严格地理解你想要做什么。”

淘汰智能体的另一个挑战是存在灾难式管理的诱惑,只有当明显出现问题时,尤其是当问题公开化时,智能体才会被淘汰,这可能会让其他智能体在雷达下飞行。

“AI项目不会突然失败,但会悄然衰退。”自主式AI供应商Decidr的执行董事David Brudenell说道。

他建议企业提前规划,并确定智能体应重新训练或淘汰的标准,例如,如果性能低于公司的容错范围。

“每个AI项目都有半衰期,”他说道,“聪明的团队会像进行任何其他资产审计一样,每季度进行一次定期审查。”他补充道,应由业务部门决定何时停止使用。“数据和工程团队提供支持,但业务部门决定何时性能下降。”

最大的错误是将AI视为一次性安装。“许多公司已部署了一个模型并继续前进,假设它将自我维持,”Brudenell说道,“但AI系统会像旧代码一样积累组织债务。”

益博睿正从清单和生命周期管理两个角度审视智能体,以确保它们不会失控增殖。

“我们对此表示关注,”Rodriques说道,“我们从API和微服务中吸取了教训,现在我们有了更好的治理,我们不想创建大量智能体。”

益博睿创建了一个智能体市场,以便公司能够了解其智能体的情况,并跟踪它们的使用情况。“它为我们提供了所需的所有信息,包括淘汰我们不再使用的智能体的能力。”他说道。

智能体的生命周期管理是该公司应用生命周期管理流程的延伸。

“智能体是一种应用,”Rodrigues说道,“对于益博睿的每一款应用,都有一个所有者,我们将其作为我们技术的一部分进行跟踪。对于任何过时的东西,我们都会淘汰,我们会定期进行审查,这是我们生命周期政策的一部分。”

文章来自:51CTO

Loading

作者 yinhua

发表回复