OpenAI 构建了GPT-4的一个版本，它是其最新的文本生成模型，由于上下文窗口大大扩展，它可以“记住”大约 50 页的内容。
转载自 未来派AI工具网 wlp123.com 1000+款AI工具
这听起来可能并不重要。但它的信息量是普通 GPT-4 在其“内存”中所能容纳的信息量的五倍，是 GPT-3 的八倍。
转载自 未来派AI工具网 wlp123.com 1000+款AI工具
“该模型能够灵活地使用长文档，”OpenAI 联合创始人兼总裁 Greg Brockman 在今天下午的现场演示中说。“我们想看看 [这会启用] 什么样的应用程序。”
在涉及文本生成 AI 的地方，上下文窗口指的是模型在生成其他文本之前考虑的文本。虽然像 GPT-4 这样的模型通过对数十亿文本示例进行训练来“学习”写作，但它们一次只能考虑该文本的一小部分——主要由上下文窗口的大小决定。
具有小上下文窗口的模型往往会“忘记”即使是最近的对话内容，导致他们偏离主题。在几千字左右之后，他们也忘记了他们的初始指令，而是根据上下文窗口中的最后信息而不是原始请求来推断他们的行为。
转载自 未来派AI工具网 wlp123.com 1000+款AI工具
Apple 前软件工程师艾伦派克 (Allen Pike) 以生动有趣的方式解释道：
“[模型] 会忘记你试图教给它的任何东西。它会忘记你住在加拿大。它会忘记你有孩子。它会忘记你讨厌在星期三预订东西，请停止建议星期三的东西，该死的。如果你们有一段时间都没有提到自己的名字，它也会忘记。与 [GPT-powered] 角色交谈一会儿，您会开始觉得自己与它建立了某种联系，到达了一个非常酷的地方。有时它会有点混乱，但这也发生在人们身上。但最终，它没有中期记忆的事实变得清晰起来，幻想破灭了。”
我们还无法获得具有扩展上下文窗口 gpt-4-32k 的 GPT-4 版本。(OpenAI 表示，它正在以“基于容量的不同速率”处理对高上下文和低上下文 GPT-4 模型的请求。)但不难想象，与它的对话可能比与之前的对话更具吸引力——创模型。
有了更大的“记忆力”，GPT-4 应该能够相对连贯地交谈数小时——甚至数天——而不是几分钟。也许更重要的是，它应该不太可能偏离轨道。正如 Pike 指出的那样，像 Bing Chat 这样的聊天机器人可能会被刺激而表现不佳的原因之一是因为它们的初始指令——成为一个有用的聊天机器人、礼貌地回应等等——很快就会被额外的提示和响应推出它们的上下文窗口。
它可能比这更细微。但是上下文窗口在建立模型方面起着重要作用。毫无疑问。随着时间的推移，我们将看到它会产生什么样的切实差异。