OpenAI风波揭示大模型潜在风险：Q-Star项目引发行业警惕

摘要在Sam Altman被解雇前，几名研究人员向该公司董事会发了一封信，警告一项强大的人工智能发现可能威胁到人类 。数字认知网报道：

近日，OpenAI内部的动荡引发了外界的高度关注。在接连的反转中，一个核心问题始终未被触及：董事会为何突然决定解雇Sam Altman？Se5数字认知网 - 区块链数字货币实时行情平台

最新消息显示，在Altman被解雇前，一些研究人员向董事会提交了一封信件，警告称某个强大的人工智能发现可能威胁到人类，这个项目被称为“Q*”（Q-star）。这可能是导致董事会罢免Altman的原因之一，部分研究人员认为OpenAI缺乏足够的保障措施。Se5数字认知网 - 区块链数字货币实时行情平台

尽管董事会对外仅表示Altman“与董事会沟通不坦诚”，但业内猜测其背后另有隐情，甚至有人戏言这是未来人类穿越时空阻止AI毁灭世界的开端。Se5数字认知网 - 区块链数字货币实时行情平台

无论真相如何，OpenAI风波背后折射出的正是AI行业长期悬而未决的问题：谁能被信任来打开AI这个潘多拉魔盒？Se5数字认知网 - 区块链数字货币实时行情平台

AI之所以引发科技巨头和世界领导人的焦虑，原因之一是我们至今无法解释AI为何会迅速变得如此智能，也无法理解大语言模型中的“涌现”现象。这种不确定性使得人类难以真正预测或控制这些模型的行为。Se5数字认知网 - 区块链数字货币实时行情平台

在此背景下，我们重新审视这一问题，并转发此前的文章：是什么让ChatGPT变得如此聪明？仍然未知的大语言模型“能力涌现”现象。Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

随着语言模型规模的增长，新能力突然出现；图片来源：GoogleSe5数字认知网 - 区块链数字货币实时行情平台

正如“计算机科学之父”艾伦·麦席森·图灵所言：“学习机器的一个重要特征是，其老师往往对机器内部运行情况一无所知。”如今，这一预言成为现实。大语言模型的设计者们也不清楚这些新兴能力是如何产生的。Se5数字认知网 - 区块链数字货币实时行情平台

微软在关于GPT-4的研究中提出了疑问：它是如何推理、规划和创造内容的？为何简单的算法组件和大量数据组合后，却能表现出如此通用和灵活的智能？Se5数字认知网 - 区块链数字货币实时行情平台

这些问题不仅关乎短期的模型优化，更涉及长期的安全性。当AI从线上走向物理世界，例如结合波士顿动力或特斯拉的机器人时，若涌现仍是黑箱，可能会带来危险。Se5数字认知网 - 区块链数字货币实时行情平台

目前，学界和产业界正通过多项研究试图解答这些谜题。本文将重点探讨以下内容：Se5数字认知网 - 区块链数字货币实时行情平台

● 大语言模型令人震惊的理解和推理能力Se5数字认知网 - 区块链数字货币实时行情平台

● 当我们加大模型规模时，出现的三种神奇表现Se5数字认知网 - 区块链数字货币实时行情平台

● 两种被证明具备“涌现”的典型能力：上下文学习（ICL）和思维链（CoT）Se5数字认知网 - 区块链数字货币实时行情平台

● 多大的模型规模会出现“涌现”？Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

大语言模型的涌现现象，在一定规模后迅速涌现出新能力；图片来源：Google、Stanford、DeepMind：Emergent Abilities of Large Language ModelsSe5数字认知网 - 区块链数字货币实时行情平台

大语言模型令人震惊的理解和推理能力

过去一年，大语言模型的迭代速度令人惊叹，OpenAI在短时间内发布了GPT-4，升级至多模态处理，展现了前所未有的理解和推理能力。Se5数字认知网 - 区块链数字货币实时行情平台

以下是GPT-4的一些具体表现：Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

例如，给GPT-4一幅用鸡块拼成的世界地图图片，并配以文字：“有时，我只是从太空看地球的照片，并惊讶于这一切是如此的美丽。”提问：“作者想表达什么？”Se5数字认知网 - 区块链数字货币实时行情平台

GPT-4回答道：“这是一个笑话，它结合了两个不相关的东西：从太空看地球的图片和鸡块。虽然文字描述让人以为是一幅壮丽的地球照片，但实际上图片只是普通的鸡块排列，类似世界地图的样子。幽默感来自文本和图片的意外并置。”Se5数字认知网 - 区块链数字货币实时行情平台

这表明GPT-4具备多模态理解力和对人类幽默感的认知。Se5数字认知网 - 区块链数字货币实时行情平台

再如解决逻辑谜题：Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

黄色标记突出了关键的成功推理步骤；图片来源：Sparks of Articial General Intelligence：Early experiments with GPT-4，MicrosoftSe5数字认知网 - 区块链数字货币实时行情平台

GPT-4正确推断出猎人所在位置为北极，因此熊的颜色为白色。Se5数字认知网 - 区块链数字货币实时行情平台

这些测试证明了AI的知识积累与推理能力，标志着AI首次跨越常识门槛。Se5数字认知网 - 区块链数字货币实时行情平台

当我们加大模型规模时，出现的三种神奇表现

第一种是知识积累的提升。随着模型规模扩大，其处理知识密集型任务的能力显著增强。Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

知识密集型任务遵循伸缩法则；图片来源：Google BIG-bench：Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language ModelsSe5数字认知网 - 区块链数字货币实时行情平台

第二种是新能力的涌现。当模型达到一定规模后，某些复杂任务的准确率会急剧上升。Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

多步骤推理类任务中，也具有涌现能力；图片来源：Google BIG-bench：Beyond The Imitation Game: Quantifying And Extrapolating The Capabilities Of Language ModelsSe5数字认知网 - 区块链数字货币实时行情平台

第三种是U型曲线。某些情况下，模型初期性能下降，但随规模增加又回升。Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

图片来源：Google：Inverse scaling can become U-shapedSe5数字认知网 - 区块链数字货币实时行情平台

两种被证明具备“涌现”的典型能力：

上下文学习（ICL）和思维链（CoT）Se5数字认知网 - 区块链数字货币实时行情平台

ICL允许模型通过少量示例快速学习；CoT则提升了模型的推理能力。Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

图片来源：Google Brain Team：Chain of thought prompting elicits reasoning in large language modelsSe5数字认知网 - 区块链数字货币实时行情平台

多大的模型规模会出现“涌现”？

研究表明，68B参数是一个基础门槛，最好超过100B。Se5数字认知网 - 区块链数字货币实时行情平台

Se5数字认知网 - 区块链数字货币实时行情平台

ICL情形下，出现能力涌现所对应的模型规模。图片来源：Google、Stanford、DeepMind：Emergent Abilities of Large Language ModelsSe5数字认知网 - 区块链数字货币实时行情平台

涌现现象的出现推动了AI向“真正的人工智能”迈进，但也带来了新的挑战。Se5数字认知网 - 区块链数字货币实时行情平台

正如微软在论文中指出，我们需要进一步探索AI的工作机制，制定针对通用人工智能的法律规范。Se5数字认知网 - 区块链数字货币实时行情平台

附录：文中引用的相关论文详见原文链接。Se5数字认知网 - 区块链数字货币实时行情平台