Loading... 使用GPT一段时间了，也尝试了FastGPT搭建自由知识库，于是刚好科科给了台GPU服务器可以测试一下了。 搭建参考[Run Qwen-7B-QAnything using FastChat API with vllm runtime backend][1] 主要命令如下： ``` # 下载QAnything程序 cd /opt git clone https://github.com/netease-youdao/QAnything.git # 下载models文件 cd /opt/QAnything/ mkdir tmp ; cd tmp git lfs install git clone https://www.modelscope.cn/netease-youdao/QAnything.git unzip QAnything/models.zip cd - && mv tmp/models . # 下载附加文件 cd /opt/QAnything/assets/custom_models git clone https://www.modelscope.cn/netease-youdao/Qwen-7B-QAnything.git # 启动程序（会自动下载容器镜像） cd /opt/QAnything bash ./run.sh -c local -i 0 -b hf -m Qwen-7B-QAnything -t qwen-7b-qanything ``` 运行截图 ![2024-02-05T01:33:02.png][2] 测试截图 ![2024-02-05T01:32:29.png][3] ![2024-02-05T01:34:48.png][4] ![2024-02-05T01:34:36.png][5] 遇到报错，重启 ![2024-02-05T01:33:23.png][6] 如果PDF资料是图片，那么无法解析，可以尝试本地foxitreader ocr识别或者wps等软件处理 ![2024-02-05T01:34:13.png][7] 总结： 在自建私有大模型（不知道是不是可以这样叫），主要有FastGPT和QAnything，前者可以作为知识库和QA，后者只是QA会好一些。 [1]: https://www.modelscope.cn/models/netease-youdao/Qwen-7B-QAnything/summary [2]: https://www.sddts.cn/usr/uploads/2024/02/566023365.png [3]: https://www.sddts.cn/usr/uploads/2024/02/464129251.png [4]: https://www.sddts.cn/usr/uploads/2024/02/3458631734.png [5]: https://www.sddts.cn/usr/uploads/2024/02/1991944132.png [6]: https://www.sddts.cn/usr/uploads/2024/02/991779646.png [7]: https://www.sddts.cn/usr/uploads/2024/02/209049668.png 最后修改：2024 年 05 月 11 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏