系统环境

硬件信息

标题 型号 大小 备注
CPU i9-13900KF - -
主板 ROG STRIX Z790-A GAMING WIFI - -
显卡 NVIDIA GeForce RTX™ 4070 - -
内存 - 128G -
硬盘 - 3T -

软件信息

标题 版本 备注
系统版本 ubuntu 23.10 (Mantic Minotaur) -
内核版本 6.5.0-17-generic #17-Ubuntu SMP PREEMPT_DYNAMIC Thu Jan 11 14:01:59 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux -
ollama v0.1.27 -

准备工作

  • 确保可以正常访问到 github 项目 ollama v0.1.26+
  • 确保本地网络可以翻越 GFW
  • 使用 root 用户进行操作

安装 ollama

官方给出的说明：

Get up and running with large language models, locally.

Run Llama 2, Code Llama, and other models. Customize and create your own.

1.在服务器上创建目录 /usr/local/ollama

1
# mkdir -p /usr/local/ollama/bin

2.从 github 上下载 ollama v0.1.26(含该该版本) 到上面创建的目录中并重命名为 ollama:

1
# wget -O /usr/local/ollama/bin/ollama https://github.com/ollama/ollama/releases/download/v0.1.27/ollama-linux-amd64

3.赋予 ollama 可执行权限并软链接到 /usr/local/sbin/ 目录下：

1
# chmod +x /usr/local/ollama/bin/ollama && ln -s /usr/local/ollama/bin/ollama /usr/local/sbin/ollama

4.执行命令启动 ollama

1
# ollama serve

5.根据 ollama 项目提供的文档信息进入 ollama 站点，找到 llama3 模块，根据提示执行下面命令进行模块的下载（这个过程非常耗时）:

1
# ollama run llama3:70b

6.下载完成后，就可以在命令行进行 AI 交互了！(仅支持英文交互)