谢选骏：GPT-4依然是个废物

《GPT-4的断崖式领先，人类的专属技能不多了》（钛媒体  2023-03-15 赵健）报道：

人工智能会替代人类吗？在 ChatGPT 出现之后，人类对于这个问题的答案已经越来越没有信心。

而在昨天夜里，OpenAI 低调发布了深度学习新的里程碑：GPT-4，一个比 ChatGPT 更强大的大模型！OpenAI 表示，GPT-4 虽然在许多现实世界场景中的能力依旧不如人类，但在各种专业和学术基准上已经和人类表现持平。

GPT-4 是一个多模态大模型，具有更强大的创造性、更长的上下文处理能力，可支持图像输入，还可以自定义 GPT-4 的语言风格。在 OpenAI 短短 24 分钟的发布会中，有这样一个场景：在草稿本上用纸笔画出一个非常粗糙的草图，拍照并上传，GPT-4 在10 秒左右直接生成了网站代码。

著名经济学家朱嘉明表示：GPT-4 是 OpenAI 创造出的又一个重大科技事件，达到了 AI 历史上前所未有的、不可逆转的新高度。

过去两年，OpenAI 重建了整个深度学习堆栈，并与微软 Azure 一起从头开始共同设计了一台超级计算机。一年前，OpenAI 训练 GPT-3.5（即 ChatGPT）作为系统的第一次 " 试运行 "，发现并修复了一些错误并改进了理论基础。

OpenAI 花了 6 个月的时间来迭代调整 GPT-4，取得了有史以来最好的结果，并且成为第一个能够提前准确预测其训练性能的大型模型。这意味着大模型的训练方法将会从过去的纯粹 " 暴力美学 " 进化出更高的可控性与预期性。

这次 OpenAI 并没有公布论文，只有一份技术报告，并且不提供架构（包括模型大小）、硬件、训练计算、数据集构建、训练方法等细节。换句话说，其他AI公司不可能再像过去一样，走一条模仿、复现、超越的道路了。

压力来到了国内公司，尤其是明天即将发布文心一言的百度。

比 ChatGPT 更强大

GPT-4 比以往任何时候都更具创造性和协作性。它可以承担文本、音频、图像的生成、编辑任务，并能与用户一起迭代创意和技术写作任务，例如创作歌曲、编写剧本或学习用户的写作风格等。

GPT-4 能够处理超过 25000 个单词的文本，允许使用长格式内容创建、扩展对话以及文档搜索和分析等用例。

在简单的谈话中，ChatGPT 与 GPT-4 可能看不出太大差距。但是，当任务的复杂性达到足够的阈值时，差异就会出现—— GPT-4 比 GPT-3.5 更可靠、更有创意，并且能够处理更细微的指令。

左边是 ChatGPT，右边是 GPT-4

为了解这两种模型之间的区别，OpenAI 在各种基准测试中进行了测试，包括人类的模拟考试，比如 GRE。OpenAI 并没有针对这些考试进行专门培训，但 GPT-4 的排名依然名列前茅。例如，它通过模拟律师考试，分数在应试者的前 10% 左右；相比之下，GPT-3.5 的得分在倒数 10% 左右。

GPT-4 在语言风格上也迎来了更新。与具有固定冗长语气和风格的经典 ChatGPT 不同，开发人员（普通用户也将会开放）现在可以在 " 系统 " 消息中通过描述来规定他们的 AI 风格和任务，也就是 " 自定义 " 能力。

OpenAI 在为机器学习模型设计的传统基准上评估了 GPT-4，大大优于现有的大型语言模型，以及大多数最先进的 ( SOTA ) 模型：

许多现有的 ML 基准测试都是用英语编写的。OpenAI 使用 Azure Translate 将 MMLU 基准——一套涵盖 57 个主题的 14000 个多项选择题——翻译成多种语言。在测试的 24 种语言中，GPT-4 优于 GPT-3.5 和其他 LLM（Chinchilla、PaLM）的英语语言性能，包括拉脱维亚语、威尔士语和斯瓦希里语等低资源语言：

OpenAI 表示内部也在使用 GPT-4，对支持、销售、内容审核和编程等功能产生了巨大影响。

多模态大模型，支持图片输入

除了文本能力的增强，GPT-4 还带来了新的能力——多模态，它可以接受图像作为输入并生成说明、分类和分析结果。

具体来说，它能在用户输入散布式文本与图像后，自主生成文本输出（自然语言、代码等）。在包括带有文本和照片的文档、图表与屏幕截图中，GPT-4 展示了与纯文本输入同样强大的功能。此外，它还可以通过为纯文本语言模型开发的测试时间技术实现进化，能运用少量镜头和思维链提示。

不过，GPT-4 的图像输入展示仍然只是研究 " 样品 " 预览，真正的成果尚未公开。

GPT-4 可以指出被加工图片的 " 异常 " 之处

GPT-4 还能读懂 " 梗图 "，理解幽默

GPT-4 甚至可以直接阅读并分析带有图片的论文：

OpenAI 在一组标准的学术视觉基准测试中对 GPT-4 的表现进行评估，预览了它的性能。然而，OpenAI 表示这些数字并不完全代表它的能力范围，因为 OpenAI 不断发现这个模型能够解决新的、" 令人兴奋 " 的任务。OpenAI 计划很快发布更多的分析和评估数据，以及对测试时间技术影响的全面调查。

花 6 个月时间训练，但训练数据只截止到 2021 年 9 月

GPT-4 是如何训练出来的？

遵循 GPT、GPT-2 和 GPT-3 的研究路径，OpenAI 的深度学习方法利用更多数据和更多计算来创建越来越复杂和强大的语言模型。

过去两年，OpenAI 重建了整个深度学习堆栈，并与微软 Azure 一起从头开始共同设计了一台超级计算机。一年前，训练 GPT-3.5 作为系统的第一次 " 试运行 "，OpenAI 发现并修复了一些错误并改进了理论基础。结果，GPT-4 训练运行前所未有地稳定，成为能够提前准确预测其训练性能的第一个大型模型。

OpenAI 花了 6 个月的时间使用对抗性测试程序和 ChatGPT 的经验教训迭代调整 GPT-4，从而在真实性、可操纵性以及拒绝越界和敏感问题方面获得了有史以来最好的结果。在 OpenAI 的内部评估中，与 GPT-3.5 相比，GPT-4 响应被禁止内容请求的可能性低 82%，产生事实响应的可能性高 40%。

与以前的 GPT 模型一样，GPT-4 基础模型经过训练可以预测文档中的下一个单词，并且使用公开可用的数据（例如互联网数据）以及已获得许可的数据进行训练。

尽管功能强大，但 GPT-4 与早期的 GPT 模型具有相似的局限。最重要的是，它仍然不完全可靠，会 " 幻觉 " 事实并出现推理错误。

GPT-4 的训练数据截止到 2021 年 9 月，因此对之后发生的事件缺乏了解，并且不会从自己的经验中学习。它有时会犯一些简单的推理错误，这些错误似乎与其强大的跨领域功能不符，有时也会过于轻信用户明显错误的陈述；有时，它也会像人类一样在解决难题时失败，例如在生成的代码中引入安全漏洞。

OpenAI 提醒，在使用语言模型输出时应格外小心，特别是在高风险上下文中，使用符合特定用例需求的确切协议（例如人工审查、附加上下文的基础或完全避免高风险使用）。

为此，OpenAI 纳入了更多的人工反馈，包括 ChatGPT 用户提交的反馈——这其中可能也包括你与 ChatGPT 的对话数据。OpenAI 还与 50 多位专家合作，在 AI 安全和保障等领域获得早期反馈。

虽然生成内容的可靠性仍是一个真问题，但 GPT-4 相对于以前的模型显著减少了胡说八道。在 OpenAI 的内部对抗性真实性评估中，GPT-4 的得分比 OpenAI 最新的 GPT-3.5 高 40%：

GPT-4 项目的主要焦点之一是构建可预测扩展的深度学习框架，主要原因是对于像 GPT-4 这样非常大的训练任务，进行大量的模型特定调整是不可行的。

OpenAI 开发了基础设施和优化方法，能够在多个规模下表现出非常可预测的行为。为了验证这种可扩展性，OpenAI 通过对使用相同方法进行训练但计算量少 10000 倍的模型进行推断，在内部代码库（不是训练集的一部分）上准确预测了 GPT-4 的最终损失。

现在 OpenAI 可以准确预测 OpenAI 在训练期间优化的指标（损失），开始开发方法来预测更多可解释的指标。例如，OpenAI 成功预测了 HumanEval 数据集子集的通过率，从计算量减少 1000 倍的模型推断。

OpenAI 认为，准确预测未来的机器学习能力是安全的重要组成部分，但相对于其潜在影响而言，它并没有得到足够的重视。OpenAI 正在加大力度开发方法，为社会提供更好的未来系统预期指导，希望这成为该领域的共同目标。

如何尝鲜 GPT-4？

目前有两种办法可以体验 GPT-4。

如果你是普通用户，此前订阅了 ChatGPT Plus，将会直接获得 GPT-4 的访问权限。不过，ChatGPT Plus 只能用美国信用卡开通。

OpenAI 将根据实践中的需求和系统性能调整使用上限，但预计会受到严重的容量限制。

根据 OpenAI 看到的流量模式，OpenAI 可能会为更高容量的 GPT-4 使用引入新的订阅级别；OpenAI 也希望在某个时候提供一些免费的 GPT-4 查询，这样那些没有订阅的人也可以尝试一下。

如果你是开发者，要访问 GPT-4API（使用与 GPT-3.5-turbo 相同的 ChatCompletions API），需要像等待NewBing 一样加入 OpenAI 的候补名单。

OpenAI 今天将开始邀请一些开发人员，并逐步扩大规模以平衡容量与需求。

OpenAI 也公布了定价策略——每 1000 个prompt tokens0.03 美元，每 1000 个 completion tokens 0.06 美元。默认速率限制为每分钟 4 万个 token 和每分钟 200 个请求。

GPT-4 的上下文长度为 8192 个 token。OpenAI 还提供了 32768 个 tokens 上下文（约 50 页文本）版本的有限访问，该版本也将随着时间自动更新（当前版本 GPT-4-32k-0314，支持到 6 月 14 日 ) 。定价为每 1000 个 prompt token 0.06 美元和每 1000 个 completion token 0.12 美元。

此外，OpenAI 宣布开源其软件框架 OpenAI Evals，用于创建和运行基准测试以评估 GPT-4 等模型。

OpenAI 使用 Evals 来指导 OpenAI 模型的开发，OpenAI 的用户可以应用它来跟踪模型版本的性能，并不断发展产品集成。例如，Stripe 使用 Evals 来补充他们的人工评估，以衡量其基于 GPT 的文档工具的准确性。

由于所有代码都是开源的，Evals 支持编写新的类来实现自定义评估逻辑。然而，在 OpenAI 自己的经验中，许多基准测试都遵循几种 " 模板 " 的其中之一，因此 OpenAI 还包括了最有用的模板，包括一个 " 模型评估模板 " —— OpenAI 发现 GPT-4 出人意料地能够检查自己的工作。

OpenAI 希望 Evals 成为分享和众包基准测试的工具，代表着最广泛的失败模式和困难任务。作为一个示范，OpenAI 创建了一个逻辑谜题评估，其中包含 GPT-4 失败的十个提示。Evals 也与实施现有基准测试兼容；OpenAI 包括了几个实施学术基准测试和几个（小的子集）CoQA 集成的笔记本作为示例。

GPT-4 已经积累了部分商业客户。比如，Stripe 使用 GPT-4 扫描商业网站并向客户支持人员提供摘要，Duolingo 将 GPT-4 构建到新的语言学习订阅层中。摩根士丹利正在创建一个由 GPT-4 驱动的系统，该系统将从公司文件中检索信息并将其提供给金融分析师。可汗学院正在利用 GPT-4 构建某种自动化导师。

GPT-4 将大模型推向了一个新的高度，甚至是 " 断崖式 " 领先。包括谷歌、百度在内的海内外科技公司，不可避免地将面对自家产品 " 发布即落后 " 的尴尬局面，而微软则躺在 OpenAI 背后 " 赚麻了 "。

明天我们将报道百度的文心一言。

网民嚎叫：

paladindancer 发表评论于 2023-03-16 11:40:31

其实程序员写代码的时间并不多, 有些大厂的一天一行代码就够了. 说GPT能写代码就取代程序员, 太武断了吧. 况且机器生成的代码出了bug谁修啊, 以后扩展兼容封装咋办, 到时候还不得一行一行的在走一遍...

johniewalker 发表评论于 2023-03-16 11:33:19

TtheL 发表评论于 2023-03-16 08:07:04这个热度一过，大家该干嘛干嘛，AI再牛逼，还能代替我吃吃喝喝？

--

哈哈，AI 无法代替你吃吃喝喝，但是绝对能让你“没吃没喝没饭碗”。这还真不是跟你开玩笑。以我最近两三周接触到的 AI 能力，实际上中、美大学里至少 80% 的专业及其就业前景已经严重受威胁，甚至已经被全面碾碎了，中国的教育当然比美国更严重些。建议先好好多玩玩 AI，你才会知道它的厉害。比如美国现在是报税季节，你把你自己面对的很具体的税务问题提出来，每提一个问题都详尽描述问题及其背景，你看看它给你提供的答案如何？给了你初步答案后，你还可以继续追问细节，它来答复。这才是它让我目瞪口呆的地方。

johniewalker 发表评论于 2023-03-16 11:24:12

ChatGPT 已经远比 Google 好使了。前些天我家取暖的锅炉出问题了，我在谷歌上查了半天，查到的结果都是有点关联性，但是不得要领。于是转到 ChatGPT 上，用七八句话详细描述了锅炉的问题，问它是哪里出问题？它给的头 3 条可能性和解决方案中就有一条看着很靠谱，于是我打了 Continue，它又给了我 3 条。结果是这 6 个可能性及其各自的解决方案中有 2 条是完全说对了！

谢选骏指出：上文不懂，ChatGPT的搜索范围远远不及Google，岂可一叶障目哉？至于GPT-4，也好不到哪里去，依然是个废物。网民吹捧的嚎叫，也是一种网站安排的商业营销。“GPT-4的断崖式领先”，就是描写堕落的光景而不是提升的光景啊。好在“百度的文心一言”出现了——从反面拉了GPT-4一把，因为前者更差。