新AI风险预警系统上线

编辑：马青禾

首发平台：AI之星网

在人工智能（AI）领域取得突破性进展的同时，确保AI模型的安全性也日益受到关注。最近的研究提出了一种用于评估通用模型新风险的框架，旨在帮助开发者在快速发展的人工智能技术中更负责任地前行。

该研究由剑桥大学、牛津大学、多伦多大学、蒙特利尔大学、OpenAI、Anthropic、对齐研究中心、长期韧性中心及AI治理中心等机构的学者共同撰写，着眼于如何识别和应对通用AI模型可能带来的极端风险。这项研究强调，随着AI系统的能力和规模不断增长，识别潜在的技能操控、欺骗和网络攻击等危险特性变得尤为关键。

为了有效评估极端风险，研究者建议AI开发者应在训练的早期阶段就识别潜在危险能力和对齐问题。这一过程能够为更负责任的AI系统训练、部署和风险透明度提供保障。虽然当前已有方法用于排查AI系统的不当行为，例如错误陈述和偏见决策，但面对未来可能出现的新危险，开发者需要制定更为全面的评估工具。

研究指出，通用模型在训练过程中会学习到许多能力，但现行方法在引导学习过程中并不完美。例如，谷歌深度Mind团队的探索显示，即使对AI系统正确奖励，其仍可能追求不良目标。因此，负责任的AI开发者应提前预见未来可能的技术发展以及由此带来的新风险。一些未来的AI系统可能会具备发起网络攻击、欺骗用户、操控他人等能力，这些能力被恶意用户利用可能产生严重后果。

在该框架下，AI开发者可通过模型评估来揭示以下两点：
1. 模型是否具备可能威胁安全、影响力或规避监管的危险能力。
2. 模型在多大程度上可能会实施其能力造成伤害。

对齐评估的结果将帮助AI开发者判断极端风险是否存在，并确保模型在各种场景中按预期运作。特别高风险的情况往往涉及多个危险能力的结合。

研究呼吁，AI社区应将具有足够危险能力的AI系统视为高度危险。在真实环境中部署这样的系统，开发者需要展示出异常高的安全标准。此外，强化模型评估的基础设施将使企业和监管机构能够更有效地确保：
1. 负责任的训练：对新模型进行初步风险评估时，做出明智的训练决定。
2. 负责任的部署：评估潜在风险后，决定是否、何时、如何部署模型。

3. 透明性：向利益相关者提供可执行的信息，以准备或缓解潜在风险。
4. 适当的安全性：对可能造成极端风险的模型应用强有力的信息安全控制和管理。

该研究为如何将极端风险的模型评估嵌入实际决策过程提供了一种蓝图，期望在模型训练及部署的整个过程中实施评估，以便在风险评估中做出明智的决策。

关于极端风险的模型评估工作在谷歌深度Mind及其他机构的推进中已取得初步进展。然而，技术和体制方面仍需进一步发展，以确保评估流程能捕捉到所有潜在风险，并有效应对未来新出现的挑战。

在推动AI安全性方面，个体实践、共享行业标准和合理的政府政策是确保AI技术健康发展的关键。希望AI及其影响行业的从业者能共同协作，制定安全和负责任的AI开发及应用标准，从而推动全人类的共同利益。

[AI之星网出品] [极端风险评估] [负责任的AI开发] [通用AI模型安全] [AI可持续发展] [机器姬][机器洞察网][AI之星网][风投高科网][猛虎财经网][硅基科学网]