0°

使用 Embeddings 将自建知识库接入 OpenAI

  什么是嵌入

  嵌入(embeddings)捕捉文本、图像、视频或其他信息类型的“相关性”。这种相关性最常用于以下方面:

  搜索:搜索词与文本主体的相似程度有多高?

  推荐:两个产品有多相似?

  分类:如何对文本进行分类?

  聚类:如何识别趋势?

  让我们来看一下文本嵌入的一个例子。假设我们有三个短语:

  “The cat chases the mouse”(猫追逐老鼠)

  “The kitten hunts rodents”(小猫捕猎啮齿动物)

  “I like ham sandwiches”(我喜欢火腿三明治)

  你的工作是将具有相似含义的短语分组。对于人类来说,这很容易完成分组。短语 1 和 2 的含义几乎完全相同,而短语 3 的意思完全不同。

  尽管短语 1 和 2 含义相似,但它们没有共同的词汇(除了“the”)。但是,我们如何让计算机明白它们的含义是相似的呢?

  人类语言

  人类使用单词和符号来传达语言。但是孤立的单词大多没有意义,我们需要从共同的知识和经验中汲取理解它们的含义。例如,“你应该谷歌一下” 这个短语只有在你知道谷歌是一个搜索引擎,并且人们一直在用它作为动词时才有意义。

  同样地,我们需要训练神经网络模型来理解人类语言。一个有效的模型应该在数百万不同的例子上进行训练,以了解每个单词、短语、句子或段落在不同的语境中可能意味着什么。

  那么这与嵌入有什么关系呢?

  嵌入如何工作

  嵌入将离散信息(单词和符号)压缩成分布式连续值数据(向量)。如果我们拿之前的短语并在图表上标记它们,可能会看起来像这样:

  短语 1 和 2 将被绘制的位置比较接近,因为它们的含义相似。而短语 3 所在的位置与其他短语的距离较远,因为它与其它短语没有关联。如果我们有第四个短语 “Sally ate Swiss cheese”(莎莉吃了瑞士奶酪),它可能会位于于短语 3(奶酪可以放在三明治上)和短语 1(老鼠喜欢瑞士奶酪)之间的某个位置。

  在这个例子中,我们只有两个维度:X 轴和 Y 轴。实际上,我们需要更多维度来有效地捕捉人类语言的复杂性。

  OpenAI 的嵌入

  OpenAI 提供了一个 API,可以使用其语言模型为文本字符串生成嵌入。您提供任何文本信息(博客文章、文档、公司的知识库),它将输出代表该文本“含义”的浮点数向量。与上面的 2 维示例相比,他们最新的嵌入模型 text-embedding-ada-002 会输出 1536 个维度。

  为什么要使用嵌入呢?OpenAI 的 text-davinci-003 模型面临的最大挑战之一是 4000 个 token 大小的限制,必须要将提示和结果完成都放在 4000 个 token 内。如果您想提示 GPT-3 回答关于自己的自定义知识库的问题,要避免在每个提示都携带这些内容。如果自定义知识库内容较多,提示可能会超过大小限制;而且每次都携带这些内容,也会造成浪费。

  首先,我们要借助 OpenAI 将自定义知识库生成嵌入并保存到数据库,然后将提示分为两个阶段来帮助解决这个问题:

  查询您的嵌入数据库,寻找与问题相关的最相关文档。

  将这些文档作为上下文注入到 GPT-3 中,让它在回答中引用。

  这样处理之后,OpenAI 不仅会返回现有的文档,它还能将各种信息融合为一个连贯的答案。整个问题的处理流程可能如下所示:

  预处理知识库,并为每个知识库文档页面生成嵌入

  存储嵌入以备以后使用(更多信息)

  构建一个搜索页面来提示用户输入

  获取用户输入,生成一次性嵌入,然后对已预处理的嵌入执行相似性搜索。

  将嵌入和搜索的问题提交给 ChatGPT,并将最终内容返回给用户。

  实际应用中的嵌入

  开源数据处理服务平台 Supabase 的文档提供了 AI 搜索功能,有兴趣可以去 https://supabase.com/docs 体验一下。

  ,时长00:56

  然后,有一个开源项目 nextjs-openai-doc-search 可以快速搭建出一套 AI 文档系统,它里面所有用到的东西都是开源的,只需点击一下文档中的 “Deploy” 就可以部署出一套来,感兴趣可以试用一下。

  整个项目基于 Markdown 文档,每次部署的时候将 Markdown 处理,每次查询的时候都要进行相似性搜索,它的实现细节如下:

  [ 构建] 对知识库(您在页面文件夹中的 .mdx 文件)进行预处理,生成嵌入。

  [ 构建] 使用 pgvector 将嵌入存储在 Postgres 中。

  [ 运行] 执行向量相似性搜索以找到与问题相关的内容。

  [ 运行] 将内容注入到 OpenAI GPT-3 文本完成提示中,并将响应流式传输给客户端。

  步骤 1 和 2 在构建时发生,例如当 Vercel 构建您的 Next.js 应用程序时。在此期间,将执行 generate-embeddings 脚本,该脚本执行以下任务:

  步骤 3 和 4 在运行时发生,即用户提交问题时。当发生这种情况时,将执行以下任务:

  上面的这个项目是在每次部署的时候将文档处理成嵌入,另外一个项目

  deno-fresh-openai-doc-search 在 CI/CD 过程中将文档处理成嵌入。

  总结

  在自建知识库中应用,通过将文本转化为嵌入向量的形式,利用嵌入 OpenAI 可以对自建知识库中的文本进行自动分类和标签生成,从而更好地组织文件和资源;搭配 OpenAI 的问答系统可以根据用户的提问,从自建知识库中智能查找相关信息并给出回答。帮助我们更好地管理和发挥自建知识库的价值,提高知识的可用性和利用效率。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论