如何构建基于大模型的App( 四 ) _App

自然语言的引入一般会以助手的方式呈现，可以直接采用chat的方式，简单而言，是在产品中引入了可以查看历史记录的输入框。
4.2 文档加载与文件分割有很多现成的文档加载器，可以用于html页面、S3、PDF、office文档等的加载器。一般地，可以利用企业中现有的文集存储或者知识库，采用批处理的方式完成目标数据集的加载，然后采用事件触发的方式实现实时加载。
然后，需要将文本分成较小的文本块。每个文本块在嵌入空间中表示一个数据点，使计算机能够确定这些块之间的相似性。常见的方式是使用较大的文本块，但也可以进行一些实验，找到最适合用例的最佳大小。请记?。?每个LLM都有token限制（GPT 3.5的令牌限制为4000个），需要确保整个提示的token数不超过单次LLM API 调用的token限制。
4.3 文本数据的向量生成我们需要将文本转换为可理解和可比较算法的形式，必须找到一种将人类语言转换为比特和字节的数字形式的方法。嵌入模型通过分析单词通常出现的上下文来尝试学习这个目标。嵌入式模型为我们提供了嵌入空间中每个单词的向量。最后，通过用向量表示它们，进而能够进行数学计算，例如计算单词之间的相似度作为数据点之间的距离。
将文本转换为嵌入，常见的方法有word2Vec，GloVe ， fastText或ELMo 。以Word2Vec为例，为了在嵌入空间中捕捉单词之间的相似性， Word2Vec使用了一个简单的神经网络。实际上，现有的模型要大得多，因此以更高维度的空间表示单词，例如OpenAI的Ada嵌入模型使用了1536个维度，训练过程结束后，各个权重就描述了在嵌入空间中的位置。这些预训练向量使我们能够以如此精确的方式捕捉单词及其意义之间的关系，以至于我们可以对它们进行计算。我们还可以选择不同的嵌入模型，如Ada、Davinci、Curie和Babbage 。其中，Ada-002目前是最快且成本最低的模型，而Davinci通常能够提供较高的准确性和性能。
我们使用嵌入模型的目标是将文本块转换为向量。在Ada-002中，这些向量具有1536个输出维度，这意味着它们表示一个在1536维空间中具有特定位置或方向的点。将文本块和用户的问题表示为向量时为了确定两个数据点之间的相似度，需要计算它们在多维空间中的接近程度，这可以通过距离度量来实现。
4.4 构建向量数据库并创建索引将文本数据转换为向量只是第一步，为了能够高效地搜索我们的嵌入向量，我们需要将它们存入向量数据库并进行索引。
向量数据库是一种专为存储和检索可以表示为向量的大量数据而优化的数据存储类型。这些类型的数据库允许根据各种标准（如相似度度量或其他数学运算）高效地查询和检索数据子集。索引是向量数据库的重要组成部分，提供了一种将查询映射到向量存储中最相关文档或项的方法，而不必计算每个查询与每个文档之间的相似度。
常见的一些向量数据库如下所示：

文章插图
4.5 模型选择与API 应用当选择模型的时候，可以遵循上文提到的那些原则。以Open AI 平台为例， Text-davinci-003模型可能目前是最大且最强大的模型。另一方面，像Text-ada-001这样的模型更小、更快速，而且更具成本效益。与最强大的模型Davinci相比，Ada更便宜。因此，如果Ada的性能满足我们的需求，不仅可以省钱，还可以实现更短的响应时间。
我们也可以先使用Davinci进行尝试，然后评估是否也可以使用Ada获得足够好的结果。在模型选择后，首先要设置API key获得访问权限，然后再尝试设置一些首选项，在不同的参数中进行一些调试。
4.6 Prompt 模版的配置优化与使用Prompt提示指定了模型回答问题所需的模式即所需的行为风格，希望LLM在其中生成答案。将Prompt提示应用在LLM上，这里有一些简单的示例：