使用LangChain和DeepInfra构建客户支持聊天机器人的操作指南 _LangChain

译者 | 布加迪
审校 | 重楼

文章插图
您可能在日常的网上互动中遇到过聊天机器人，但有没有考虑过底层为这些数字助手提供支持的技术？聊天机器人（尤其在客户支持领域）已经成为现代企业的一个主力工具，在提高效率的同时改进了客户服务。今天，我们将深入研究LangChAIn和DeepInfra如何使这种聊天机器人变得响应更迅即、更高效。
聊天机器人的基本组成部分不妨先了解基础知识——聊天机器人的核心组件有哪些？在开发一个响应迅即又高效的聊天机器人时，三个要素必不可少：模型、提示模板（Prompt Template）和记忆。
模型代表了聊天机器人背后的AI大脑，它负责理解和响应用户输入。提示模板引导聊天机器人的响应，确保它们的回复紧扣对话主题。最后，记忆保持交互的状态，使聊天机器人能够记住过去的对话，并利用它们来理解当前对话的上下文。
操作指南现在开始动手吧。我们将逐步介绍使用LangChain和DeepInfra构建客户支持聊天机器人的过程。我们假设这个聊天机器人在一家在线服装店“工作”，可以帮助顾客为他们挑选衣服。

获取DeepInfra API密钥

DeepInfra拥有其简单的API和可扩展的生产级基础设施，使您可以轻松运行主流的AI模型。首先，您需要使用该链接获取DeepInfra API密钥，以便与其服务进行交互。一旦有了密钥，您就可以在环境中设置API令牌，如下所示：

from getpass import getpassimport os# Set the DeepInfra API tokenDEEPINFRA_API_TOKEN = getpass()os.environ["DEEPINFRA_API_TOKEN"] = DEEPINFRA_API_TOKEN

建立LangChain和DeepInfra环境

【使用LangChain和DeepInfra构建客户支持聊天机器人的操作指南】接下来，您需要创建LangChain和DeepInfra环境。导入必要的组件，并为DeepInfra模型创建实例。比如说，您可以使用像“databricks/dolly-v2-12b”这样的模型：

from langchain import ConversationChain, LLMChain, PromptTemplatefrom langchain.memory import ConversationBufferWindowMemoryfrom langchain.llms import DeepInfra# Create the DeepInfra instancellm = DeepInfra(model_id="databricks/dolly-v2-12b")llm.model_kwargs = {'temperature': 0.7, 'repetition_penalty': 1.2, 'max_new_tokens': 250, 'top_p': 0.9}

注意：为聊天机器人选择和部署合适的模型

您可以为LLM使用许多不同的模型。这个例子展示了如何使用databricks/dolly-v2-12b模型，但在DeepInfra上还有许多其他模型可供使用。由于选择众多，您可能希望使用像AIModels这样的工具，希望找到可与LangChain结合使用的合适的LLM 。您可以随意搜索、过滤和筛选AI模型，以便找到最适合您项目的模型。查看DeepInfra页面，即可找到可供选择的模型。

创建提示模板以指导聊天机器人的响应

现在，是时候定义提示模板来指导聊天机器人的响应了。这将确保聊天机器人的响应与上下文和用户的输入保持一致。我尝试了几个不同的模板，要得到一个完美的模板并非易事。设计正确提示的过程名为提示工程。最终，我能够重复使用我在Pinecone网站上找到的一个模板。

template = """Given the following user prompt and conversation log, formulate a question that would be the most relevant to provide the user with an answer from a knowledge base. You should follow the following rules when generating and answer: - Always prioritize the user prompt over the conversation log. - Ignore any conversation log that is not directly related to the user prompt. - Only attempt to answer if a question was posed. - The question should be a single sentence. - You should remove any punctuation from the question. - You should remove any words that are not relevant to the question. - If you are unable to formulate a question, respond with the same USER PROMPT you got.Conversation log: {history}USER PROMPT: {human_input}Your response:"""prompt = PromptTemplate( input_variables=["history", "human_input"],template=template)