首页 » 博客 » 更智能的人工智能意味着更大的风险——为什么护栏比以往任何时候都更重要

更智能的人工智能意味着更大的风险——为什么护栏比以往任何时候都更重要

Boomi.AI 产品副总裁 Mani Gill 表示:“缺乏高质量响应和良好治理的影响比以往高出数倍。客服人员请求数据的规模远远超过人工请求, 更智能的人工智能意味着更大的风险 数量成千倍地增长。”任何实施人工智能的组织都必须首先创建一个治理委员会。该委员会由来自不同业务职能部门的人员组成,负责制定人工智能的各项政策,涵盖从品牌规则到人工智能可以访问哪些数据,以及何时需要人工干预等等。

建立护栏:引导自主行动

Boomi AI Studio 在其设计环境中融入了“内置道德护栏”。这些旨在引导智能体的开发和部署,使其采取负责任的行动。除了平台特定的功能外,Chennupati 还概述了建立道德护栏的几个关键机制,包括:

  • 将决策参考可信来源:要求代理人通过引用他们所依赖的数据或逻辑来证明他们的行为是合理的。
  • 基于相似性的检查:采用多个 AI 模型执行相同的任务并比较它们的输出以识别差异或潜在错误。
  • 对抗性测试:在测试期间故意用不正确或误导性的信息挑战代理, 日本电话号码数据 以评估他们的适应力和对界限的遵守。

这些有助于确保代理在可接受的参数范围内有效行动、合理推理。

深入挖掘:合成受众是营销测试的未来吗? 

保护密钥:数据访问和控制

人工智能治理的主要关注点在于数据安全和访问控制。最好采用与人类相同的基于角色的访问安全机制。

“这是一个典型的代理用例:如果我们允许员工自助获取关于他们自己和团队的信息,那不是很棒吗?”吉尔说道。“现在,您可以非常轻松地将人力资本管理系统中的信息连接到人力资源系统。现在,如果这个安全策略不合适,首席执行官的工资就会突然出现在该代理中。”

这也适用于组织直接控制之外的人工智能模型。 

“Agentforce 代理的运行模式不受你控制, 利用你的职位为社区谋福利 ”Chennupati 说。你不能像我们大多数人对待科技产品那样,假装阅读条款和条件。“你需要了解数据隐私方面的相关知识。”

时刻保持警惕

不同的隐私法意味着您必须了解数据的存储位置以及可能被传输到何处。否则,您将面临巨额罚款和处罚的风险。您还必须建立机制,以便及时了解法律法规的变化。

人工智能如此宝贵的原因之一在于其学习和应用这些知识的能力。然而,这意味着你必须持续监控人工智能, 布韦岛商业指南 看看它是否仍然遵循规则。幸运的是,你可以用人工智能来监控它。独立的系统会检查异常情况,以识别代理的行为何时偏离了预期规范。

然而,你不能把一切都交给人工智能。Gill 和 Chennupati 都强调,人类干预仍然必不可少。

“这不仅仅是监控,还要定义指标的阈值,以便何时让人类参与进来,”Chennupati 说。“这始于设计阶段。设计必须包含 LLM 如何得出解决方案的细节,以便人类能够看到正在发生的事情。”

人工智能正以惊人的速度发展,并日益融入商业运营的各个环节。我们如今只需几秒钟就能完成过去需要几天、几周甚至更长时间才能完成的工作。强大的能力伴随着——跟我一起说——巨大的责任。俗话说,人非圣贤,孰能无过;要想真正把事情搞砸,你需要一台电脑。

滚动至顶部