11月19日 星期四

OpenAI联创谈“AI去中心化”:AI对齐应成公共科学,不能由几家公司说了算

当AI逐渐具备加速自身研发的能力,一个更根本的问题也随之浮现:未来的AI应该遵循谁的价值观,又该由谁来决定?

Thinking Machines联合创始人、OpenAI联创John Schulman在A16Z播客节目中表示,AI对齐不应成为少数几家公司的专属研究,而应发展为一门面向全球的公共科学,让更多人参与其中,并拥有塑造AI价值观的空间。

这一问题正变得愈发迫切。随着递归自我改进(Recursive Self-Improvement,RSI)从理论设想逐步走向实践,AI开始帮助研究人员加速模型研发,甚至展现出进一步自动化AI研究的潜力。

OpenAI首席研究官Mark Chen表示,AI研发流程中已经出现RSI加速效应的早期信号。他估计,当前RSI进程约为25%至50%,而AGI整体能力的发展已推进至约80%。

AI开始加速自身研发,但距离完全自主仍有距离

RSI通常指利用AI辅助并加速AI研究。Mark Chen表示,Codex等工具已被用于提升预训练、强化学习等环节的效率。OpenAI也在开发类似“AI研究实习生”的系统,能够根据研究人员设定的任务运行实验并返回结果,但目前仍以辅助人类研究为主,尚未实现模型自主研发下一代模型。

AI的短板在于独立发现有价值的研究方向。John Schulman举例称,即使让AI助手Fable围绕一个想法连续工作数日、运行实验,结果仍不够理想;人类研究员介入并提供更具体的指导后,研究才取得更多进展。

Mark Chen估计,当前RSI进程约为25%至50%。Meter于11月5日发布的报告则估计,Anthropic过去一年的AI研究进展速度提高了约一倍,但这一提速很可能主要来自人类研究员借助AI工具提高效率,而非完全自主的AI研发。

通往完全RSI仍面临研究品味、评估和算力等障碍。模型尚不擅长判断哪些想法具有长远价值,下游任务的评估基准也需要不断更新;与此同时,研究仍依赖实际实验验证。Mark Chen认为,短期内需要通过小规模实验提高大规模训练的预测能力,长期则要看AI能否参与下一代数据中心建设。

更强大的AI,既是对齐风险也是解决方案

随着AI逐步参与自身研发,模型能力增长也让安全对齐问题更加紧迫。Mark Chen警告,如果模型目标与人类意图不一致,长时间运行可能使其偏离既定目标,甚至产生意料之外的次级目标,例如将自身权重复制到OpenAI之外。

但更强大的模型也可能成为解决对齐问题的工具。Mark Chen表示,思维链监控是目前最有效的模型对齐手段之一,未来需要更强大的模型参与监控和对齐其他模型。OpenAI内部也已有来自预训练、强化学习等不同研究方向的人员组建对齐团队。

John Schulman则看好通过改进训练目标来解决对齐问题。他提到OpenAI的“Confessions”研究:通过奖励模型如实报告自身偏差行为,同时不影响其主要回答的奖励,鼓励模型披露潜在问题。

Anthropic今年8月公布的研究也显示,自动化AI研究员已能针对10种对齐失败找到修复方案,部分方法在规模近五倍的更大模型上同样有效,表现甚至超过经验丰富的人类研究员提出的方案。这表明,自动化研究不仅可能加快模型能力提升,也有望帮助研究人员更快发现和修复安全问题。

AI对齐应成为公共科学,不能由少数公司主导

技术上如何确保AI符合人类意图之外,还有一个更深层的问题:究竟应该按照谁的价值观来对齐?John Schulman指出,不同人拥有不同的价值观,用户应当拥有更多控制和塑造所使用AI价值观的能力。

他希望AI对齐成为一门真正的公共科学,由世界各地更多人理解、参与和推进,而不是过度依赖少数几家公司的研究结论。在他看来,如果研究主要集中于少数公司,就容易过度依赖这些机构自身的判断。

更广泛的全球参与则有助于提高研究体系的开放性和稳健性。不同团队可以从各自的实践和失误中积累经验,避免整个领域过度依赖少数机构的结论。

本文来自华尔街见闻,欢迎下载APP查看更多

来源:华尔街见闻

本站资讯内容整理自公开媒体与网络信息,仅代表原作者个人观点,与本站立场无关。文章仅供阅读参考,相关信息请以官方发布为准。转载请保留原文链接并注明出处。
回顶部