系统环境

硬件信息

标题 型号 大小 备注
CPU i9-13900KF - -
主板 ROG STRIX Z790-A GAMING WIFI - -
显卡 NVIDIA GeForce RTX™ 4070 - -
内存 - 128G -
硬盘 - 3T -

软件信息

标题 版本 备注
系统版本 ubuntu 23.10 (Mantic Minotaur) -
内核版本 6.5.0-17-generic #17-Ubuntu SMP PREEMPT_DYNAMIC Thu Jan 11 14:01:59 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux -
ollama v0.1.27 -

准备工作

  • 确保可以正常访问到 github 项目 ollama v0.1.26+
  • 确保本地网络可以翻越 GFW
  • 使用 root 用户进行操作

安装 ollama

官方给出的说明：

Get up and running with large language models, locally.

Run Llama 2, Code Llama, and other models. Customize and create your own.

1.在服务器上创建目录 /usr/local/ollama

1
# mkdir -p /usr/local/ollama/bin

2.从 github 上下载 ollama v0.1.26(含该该版本) 到上面创建的目录中并重命名为 ollama:

1
# wget -O /usr/local/ollama/bin/ollama https://github.com/ollama/ollama/releases/download/v0.1.27/ollama-linux-amd64

3.赋予 ollama 可执行权限并软链接到 /usr/local/sbin/ 目录下：

1
# chmod +x /usr/local/ollama/bin/ollama && ln -s /usr/local/ollama/bin/ollama /usr/local/sbin/ollama

4.执行命令启动 ollama

1
# ollama serve

5.根据 ollama 项目提供的文档信息进入 ollama 站点，找到 gemma 模块，根据提示执行下面命令进行模块的下载（这个过程非常耗时）:

1
# ollama run gemma:7b

6.下载完成后，就可以在命令行进行 AI 交互了！(仅支持英文交互)

安装 Chatbox

Chatbox 支持多款全球最先进的AI大模型服务，支持Windows、Mac和Linux。AI提升工作效率，深受全世界专业人士的好评。

1.下载 Chatbox 到本地，然后赋予其可执行权限：

1
# chmod +x ~/Downloads/Chatbox-1.2.6-x86_64.AppImage

2.进入下载目录，运行 Chatbox:

1
# cd ~/Downloads/ && ./Chatbox-1.2.6-x86_64.AppImage

3.Chatbox 运行起来后会弹出一个对话框，在该窗口点击设置，如下：

4.接下来，就可以在 Chatbox 中使用中文进行 AI 交互了！