生成式人工智能潜力的释放：软件工程师的MLOps和LLM部署策略 _MLOps

译者 | 李睿
审校 | 重楼
生成式人工智能最近的爆发标志着机器学习模型的能力发生了翻天覆地的变化。像DALL-E 2、GPT-3和Codex这样的人工智能系统表明，人工智能系统在未来可以模仿人类独特的技能，例如创作艺术、进行对话，甚至编写软件。然而，有效地部署和管理这些新兴的大型语言模型(LLM)给组织带来了巨大的挑战。

文章插图
本文将为软件工程师提供支持研究的解决方案策略，通过利用机器学习运营(MLOps)最佳实践来顺利集成生成式人工智能，并详细介绍经过验证的技术以部署LLM以优化效率，在生产中对其进行监控，不断更新以提高性能，并确保它们在各种产品和应用程序中协同工作。通过遵循所提出的方法，人工智能从业者可以规避常见的陷阱，并成功地利用生成式人工智能的力量来创造商业价值并让用户受益。
生成式人工智能时代生成式人工智能是人工智能进步的证明，标志着与传统模型的重大背离。这种方法的重点是根据从大量数据中识别出的模式生成新的内容，无论是文本、图像还是声音。这种能力具有深远的含义。
由于生成式人工智能的应用，从生命科学行业到娱乐行业，各行各业都在见证着革命性的变化。无论是开发新的药物还是创作音乐，这项技术的影响是不可否认的，并将继续塑造许多行业的未来发展轨迹。
理解大型语言模型(LLM)大型语言模型通常称为LLM，是人工智能模型的一个子集，旨在理解和生成类似人类的文本。它们处理和产生大量连贯和场景相关的文本的能力使其与众不同。然而，LLM具有革命性的特性也带来了复杂性。考虑到这些模型的大小和计算需求，有效地部署和服务这些模型需要一种细致入微的方法。将LLM集成到应用程序中的复杂性强调了对专门策略和工具的需求。
LLM部署框架1.AI-Optimized vLLMAI-Optimized vLLM是一个专门的框架，旨在满足当代人工智能应用的需求。这一架构经过精心设计以处理大量数据集，能够确保即使在困难的条件下也能快速响应。
（1）关键特性

高效的数据处理：能够处理大型数据集，没有明显的延迟
快速响应时间：优化周转过程，确保及时交付结果
灵活集：旨在与各种应用程序和平台兼容

（2）优点

可扩展性：可以轻松处理不断增加的数据负载，而不会影响性能
用户友好界：简化模型集成和预测过程

（3）缺点

资源密集型：这可能需要大量的计算资源来实现最佳性能。
学习曲线：虽然用户友好，但对于入门的新手可能需要时间来充分利用它的功能。

（4）示例代码
离线批量服务：

Python/ target=_blank class=infotextkey>Python# Install the required library # pip install ai_vllm_library from ai_vllm import Model, Params, BatchService # Load the model model = Model.load("ai_model/llm-15b") # Define parameters params = Params(temp=0.9, max_tokens=150) # Create a batch of prompts prompts = ["AI future", "Generative models", "MLOps trends", "Future of robotics"] # Use the BatchService for offline batch predictions batch_service = BatchService(model, params) results = batch_service.predict_batch(prompts) # Print the results for prompt, result in zip(prompts, results): print(f"Prompt: {prompt}nResult: {result}n")

API服务器：

Python# Install the required libraries # pip install ai_vllm_library flask from ai_vllm import Model, Params from flask import Flask, request, jsonify App = Flask(__name__) # Load the model model = Model.load("ai_model/llm-15b") # Define parameters params = Params(temp=0.9, max_tokens=150) @app.route('/predict', methods=['POST']) def predict(): data = https://www.isolves.com/it/ai/2023-12-18/request.json prompt = data.get('prompt', '') result = model.predict([prompt], params) return jsonify({"result": result[0]}) if __name__ == '__main__': app.run(port=5000)

2.GenAI文本推理GenAI文本推理是一个在处理基于语言的任务时以其适应性和效率而表现突出的框架。它提供了一种精简的文本生成方法，强调速度和连贯性。
（1）关键特性