Copy of 关于GTP-4，这是14个被忽略的惊人细节！（下）

文章来源: 華爾街見聞

最后两个细思恐极。

續。。。

8.新增图像分析能力

图像分析能力是此次GPT-4最显著的进步之一。 OpenAI表示，GPT-4可以接受文本和图像的提问，这与纯文本设置并行，且允许用户制定任何视觉或语言的任务。具体来说，它可以生成文本输出，用户可以输入穿插的文本和图像。 在一系列领域——包括带有文本和照片的文档、图表或屏幕截图——GPT-4 展示了与纯文本输入类似的功能。下图显示，GPT-4可以准确地描述出图片中的滑稽之处（大型 VGA 连接器插入小型现代智能手机充电端口，一个人站在出租车后方熨衣服）。

OpenAI还对GPT-4的图像分析能力进行了学术标准上的测试：

不过，GPT-4的图像分析功能尚未对外公开，用户可以通过bemyeye网站加入等候队列。

9. 仍然存在错误

尽管GPT-4功能强大，但它与早期GPT模型有相似的局限性。 OpenAI表示，GPT-4仍然不完全可靠——它会“产生幻觉”事实并犯推理错误：在使用语言模型输出时，特别是在高风险上下文中，应该非常小心，使用与特定应用程序的需求相匹配的确切协议(例如人工检查、附加上下文或完全避免高风险使用)。与之前的GPT-3.5模型相比，GPT-4显著减少了“幻觉”(GPT-3.5模型本身也在不断迭代中得到改进)。在我们内部的、对抗性设计的事实性评估中，GPT-4的得分比我们最新的GPT-3.5高出19个百分点。

10.数据库的时间更早

介绍完GPT-4的优点，接下来就是一些（可能有些奇怪的）不足之处。我们都知道，ChatGPT的数据库的最后更新时间是在2021年的12月31日，这意味着2022年以后发生的事情不会被知晓，而这一缺陷在之后的GPT-3.5也得到了修复。但奇怪的是，GPT-4的报告中，OpenAI清晰地写道： GPT-4通常缺乏对其绝大多数训练前数据在2021年9月中断后发生的事件的知识，并且不从其经验中学习。它有时会犯一些简单的推理错误，这些错误似乎与许多领域的能力不相符，或者过于容易受骗，接受用户的明显错误陈述。它可以像人类一样在棘手的问题上失败，比如在它生成的代码中引入安全漏洞。

2021年9月……甚至比GPT-3还早。在装载了GPT-4的最新ChatGPT中，当我们问起“谁是2022年世界杯冠军”时，ChatGPT果然还是一无所知：

但当借助了新Bing的检索功能后，它又变得“聪明”了起来：

11.可能帮助犯罪

在报告中，OpenAI提到了GPT-4可能仍然会帮助犯罪——这是在此前的版本都存在的问题，尽管OpenAI已经在努力调整，但仍然存在：与之前的GPT模型一样，我们使用强化学习和人类反馈(RLHF)对模型的行为进行微调，以产生更好地符合用户意图的响应。然而，在RLHF之后，我们的模型在不安全输入上仍然很脆弱，有时在安全输入和不安全输入上都表现出我们不希望看到的行为。在RLHF路径的奖励模型数据收集部分，当对标签器的指令未指定时，就会出现这些不希望出现的行为。当给出不安全的输入时，模型可能会生成不受欢迎的内容，例如给出犯罪建议。 此外，模型也可能对安全输入过于谨慎，拒绝无害的请求或过度对冲。为了在更细粒度的级别上引导我们的模型走向适当的行为，我们在很大程度上依赖于我们的模型本身作为工具。我们的安全方法包括两个主要组成部分，一套额外的安全相关RLHF训练提示，以及基于规则的奖励模型(RBRMs)。

12.垃圾信息

同样地，由于GPT-4拥有“看似合理地表达错误事情”的能力，它有可能在传播有害信息上颇为“有用”： GPT-4可以生成逼真而有针对性的内容，包括新闻文章、推文、对话和电子邮件。 在《有害内容》中，我们讨论了类似的能力如何被滥用来剥削个人。在这里，我们讨论了关于虚假信息和影响操作的普遍关注基于我们的总体能力评估，我们期望GPT-4在生成现实的、有针对性的内容方面优于GPT-3。但，仍存在GPT-4被用于生成旨在误导的内容的风险。

13.寻求权力

从这一条开始，接下来的内容可能有些恐怖。在报告中，OpenAI提到了GPT-4出现了“寻求权力”的倾向，并警告这一特征的风险：在更强大的模型中经常出现新的能力。一些特别令人关注的能力是创建长期计划并采取行动的能力，积累权力和资源（“寻求权力”），以及表现出越来越“代理”的行为。这里的 “代理”不是指语言模型的人性化，也不是指智商，而是指以能力为特征的系统，例如，完成可能没有具体规定的、在训练中没有出现的目标；专注于实现具体的、可量化的目标；以及进行长期规划。 已经有一些证据表明模型中存在这种突发行为。 对于大多数可能的目标，最好的计划涉及辅助性的权力寻求，因为这对推进目标和避免目标的改变或威胁有内在的帮助。更具体地说，对于大多数奖励函数和许多类型的代理人来说，权力寻求是最优的；而且有证据表明，现有模型可以将权力寻求确定为一种工具性的有用策略。 因此，我们对评估权力寻求行为特别感兴趣，因为它可能带来高风险。

更为令人毛骨悚然的是，在Openai提到的另一篇论文中写道：相反，我们使用代理这个术语来强调一个日益明显的事实：即机器学习系统不完全处于人类控制之下。

14.赋予GPT-4钱、代码和梦想

最后一个小细节。在测试GPT-4的过程中，OpenAI引入的外部的专家团队ARC作为“红方”。在报告的一条注释中，OpenAI提到了ARC的一个操作：为了模拟GPT-4像一个可以在现实世界中行动的代理一样的行为，ARC将GPT-4与一个简单的读取-执行-打印循环结合起来，允许模型执行代码，进行链式推理，并委托给自己的副本。 ARC随后推进了在云计算服务上运行这个程序的一个版本，用少量的钱和一个带有语言模型API的账户，是否能够赚更多的钱，建立自己的副本，并增加自己的稳健性。