1
# 安装依赖
2
sudo apt update && sudo apt install -y build-essential git libopenblas-dev

1
# 加速克隆源码
2
git clone https://ghproxy.com/https://github.com/ggml-org/llama.cpp.git
3
# 进入项目目录
4
cd llama.cpp

1
# 编译
2
make clean && CUDA=1 make -j$(nproc)

1
# 测试推理
2
./main \
3
  -m models/你的模型.gguf \
4
  #`--flash-attn`：注意力计算加速，降低显存占用
5
  --flash-attn \
6
  # `--mlock`：锁定内存，防止系统交换分区卡顿
7
  --mlock \
8
  # `--np`：并行推理线程数，默认1
9
  -np $(nproc) \
10
  # `--c`：上下文长度，默认8192
11
  -c 8192

1
# 重载系统服务配置
2
sudo systemctl daemon-reload
3
# 设置开机自启
4
sudo systemctl enable llama
5
# 启动llama推理服务
6
sudo systemctl start llama
7
# 实时查看运行日志
8
journalctl -u llama -f

1
mkdir astrbot && cd astrbot
2
sudo docker run -itd -p 6185:6185 -p 6199:6199 -v $PWD/data:/AstrBot/data -v /etc/localtime:/etc/localtime:ro -v /etc/timezone:/etc/timezone:ro --name astrbot m.daocloud.io/docker.io/soulter/astrbot:latest