在 MacBook Pro M1 上搭建 Chatgpt 自定义AI助手教程 _Chatgpt

ChatGPT在国内经常会遇到各种网络问题，而且一旦失去网络连接就无法使用。此外，Chatgpt是需要付费的。在2023年，GPT将迎来发展元年，我相信未来每个人都应该有自己的Chatgpt大模型，而不仅仅是大型机构才能拥有。
未来，对于Chatgpt大模型所需的计算能力，应该是人人都能负担得起的，就像现在的个人电脑一样。在这里，我主要讲解如何利用Facebook开源的LLAMA 7B大模型和llama.cpp开源代码，在macbook Pro M1上构建一个能够运行的AI助手。
下面我们来逐步讲解。
第一步：下载 7B 的大模型
使用命令行方式下载
curl -o ggml-alpaca-7b-q4.bin -C - <https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC>或是直接使用浏览器打开，下载完成后文件改名为 ggml-alpaca-7b-q4.bin:
<https://gateway.estuary.tech/gw/ipfs/QmQ1bf2BTnYxq73MFJWu1B7bQ2UD6qG7D7YDCxhTndVkPC>第二步：下载llama.cpp
llama.cpp工程是基于Facebook的llama开源项目进行改进的。它通过使用C++进行推理，降低了资源需求，同时保持了高速处理的特点。
请使用 git clone 方式下载代码，以便以后轻松更新。当前项目更新速度较快。
git clone <https://github.com/ggerganov/llama.cpp.git>第三步：编绎llama.cpp
进入llama.cpp，运行如下命令
make如果没有报错则表示编绎成功了。
在目录下会生成如下几个可执行文件：main、quantize 。其中，main是启动会话的程序，而quantize目前不需要使用。
第四步：将 ggml-alpaca-7b-q4.bin 放到llama.cpp/models目录下第五步：完成一个启动脚本start.sh
先看看 main 能接受哪些参数:
(base) ?llama.cpp git:(master) ? ./main -husage: ./main [options]options:-h, --helpshow this help message and exit-i, --interactiverun in interactive mode-ins, --instructrun in instruction mode (use with Alpaca models)-r PROMPT, --reverse-prompt PROMPTin interactive mode, poll user input upon seeing PROMPT (can bespecified more than once for multiple prompts).--colorcolorise output to distinguish prompt and user input from generations-s SEED, --seed SEEDRNG seed (default: -1)-t N, --threads Nnumber of threads to use during computation (default: 4)-p PROMPT, --prompt PROMPTprompt to start generation with (default: empty)--random-promptstart with a randomized prompt.-f FNAME, --file FNAMEprompt file to start generation.-n N, --n_predict Nnumber of tokens to predict (default: 128)--top_k Ntop-k sampling (default: 40)--top_p Ntop-p sampling (default: 0.9)--repeat_last_n Nlast n tokens to consider for penalize (default: 64)--repeat_penalty Npenalize repeat sequence of tokens (default: 1.3)-c N, --ctx_size Nsize of the prompt context (default: 512)--ignore-eosignore end of stream token and continue generating--memory_f16use f16 instead of f32 for memory key+value--temp Ntemperature (default: 0.8)-b N, --batch_size Nbatch size for prompt processing (default: 8)-m FNAME, --model FNAMEmodel path (default: models/llama-7B/ggml-model.bin)我们主要使用交互模式，并将可预测的令牌数设置为512，因此请按以下命令操作：
./main -m ./models/ggml-alpaca-7b-q4.bin --color -ins -r "Me:" -n 512启动后的界面如下：

文章插图

【在 MacBook Pro M1 上搭建 Chatgpt 自定义AI助手教程】开始使用：
先提一个问题：“how to Implementing Gradient Ascent with Python/ target=_blank class=infotextkey>Python?”
生成的答案如下，相比chatgpt有点简陋。