OpenAI风波背后：神秘项目Q-Star引发AI能力涌现新讨论

摘要 在Sam Altman被解雇前，几名研究人员向该公司董事会发了一封信，警告一项强大的人工智能发现可能威胁到人类 。 币圈网报道：

近日，OpenAI内部的人事震荡引发了外界的广泛关注，这场风波的背后隐藏着一个名为“Q*”（Q-star）的神秘项目。据最新消息透露，在Sam Altman被解雇前，几名研究人员向公司董事会发出了一封警告信，指出这一强大的人工智能发现可能威胁到人类安全，成为导致Altman被罢免的重要原因之一。

随着事件的发展，人们开始重新审视大语言模型中的“涌现”现象以及其潜在的风险。微软在关于GPT-4的研究中提出了一个问题：为什么这些简单的算法组件能够展现出如此通用和灵活的智能？这种能力的突然出现不仅让科技巨头们感到焦虑，也促使学术界加紧对AI行为的理解与控制。

随着语言模型规模的增长，新能力突然出现；图片来源：Google

大语言模型令人震惊的理解和推理能力

自去年11月OpenAI发布ChatGPT以来，整个市场见证了人工智能前所未有的爆发。特别是GPT-4版本升级至多模态后，不仅能从文字+图片中理解幽默感，还能解决复杂的逻辑谜题。

例如，当给定一幅用鸡块拼成的世界地图并询问作者意图时，GPT-4准确地识别出了这是一个结合了太空视角下的地球照片与平凡食物之间的幽默对比。此外，它还能通过地理知识推断出特定条件下猎人遇到的是北极熊，并据此回答相关问题。

这些测试证明了AI具备知识沉淀与推理能力，这是之前十几年间未能解决的问题。然而，对于为何AI会涌现出这样的能力，目前学界尚无明确答案。

当我们加大模型规模时，出现的三种神奇表现

近年来，随着参数量级不断攀升，大语言模型展现出了三种显著特点：一是海量自由文本学习带来的持续积累效应；二是某些复杂任务上的性能骤增；三是少数情况下呈现U型曲线变化趋势。

近年来，大语言模型在参数规模和算力上都大幅提升；图片来源：BofA Global Research

两种被证明具备“涌现”的典型能力：

上下文学习（ICL）和思维链（CoT）

当前已知最典型的两种拥有涌现特性的能力分别是上下文学习（In Context Learning, ICL）和思维链（Chain of Thought, CoT）。前者允许模型仅凭少量示例即可快速适应新领域，而后者则通过提供详细步骤指导帮助提高推理准确性。

图片来源：Google Brain Team：Chain of thought prompting elicits reasoning in large language models

多大的模型规模会出现“涌现”？

研究表明，至少需要超过68B参数才能观察到明显的涌现现象，但最佳效果通常出现在100B以上的大模型中。尽管如此，如何平衡参数数量与训练数据量仍是研究重点之一。

总之，虽然我们已经取得了巨大进步，但对于真正实现可控且有益于社会的人工智能而言，还有很长一段路要走。正如科幻作家阿西莫夫所提出的机器人三定律那样，未来或许我们也需要为AGI制定相应规则以确保其发展始终符合人类利益。