gpt4all-chat: 体验基于gpt4all的CLI程序和QT界面安装包

先列一下本机配置：

• Fedora36的x86_64台式机
• i5-7500 CPU @ 3.40GHz 4核
• 16G 内存
• Intel集成显卡 630

gpt4all-chat是基于gpt4all，提供了可视化界面和命令行两种体验方式，为了快速体验只编译运行CLI。

按照官网文档操作描述进展勉强算顺利，这里用到了快速下载github仓库的代理https://ghproxy.com：

git clone --recurse-submodules https://ghproxy.com/https://github.com/nomic-ai/gpt4all-chat
cd gpt4all-chat/ggml
mkdir build
cd build
cmake ..

成功生成Makefile，但这一步操作在arm64机器上却报错：

cmake --build . --parallel

这其实是个不重要的编译错误，只是在生成测试程序的时候引用的数据结构不对，根本不影响普通用户体验，只需将上一步命令替换成:

make gpt-j

因为我们最终需要的其实是gpt-j这个可执行文件。

接着是耗时最久的模型下载操作，好像教育网要快很多，但移动的家庭宽带很不给力：

wget https://gpt4all.io/models/ggml-gpt4all-j.bin

模型下载到仓库根目录后直接运行：

bin/gpt-j -m ggml-gpt4all-j.bin -n 200 --top_k 40 --top_p 0.9 -b 9 --temp 0.9 -p "Below is an instruction that describes a task. Write a response that appropriately completes the request.
### Instruction:
Tell me about artifical intelligence
### Response:"

近4G的模型运行得竟然比较流畅，出乎意料。但显然不支持中文，代码生成这方面也比较差。

另一点是每次运行总是一次性的，不知道是CLI程序的原因还是就是这样设计实现的，这样显然没法让对话记住上下文，可以直接下载体验带QT界面的二进制安装包。