本地运行 Llama3.2 和 Open WebUI

Ollama

在Ollama官方网站上下载对应的安装包：https://ollama.com

安装包是Ollama程序，不是模型。

运行模型

Ollama安装完成后，拉取模型。

运行后使用Control+D退出模型。

ollama run llama3.2

内存需求

对于7B参数的模型，大约需要8G的内存。

像llama3.2有3B和1B的小参数模型。

Open WebUI

直接命令行启动的模型只能在黑窗口中看到，可以使用Open WebUI可视化。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

GitHub

https://github.com/ollama/ollama

https://github.com/open-webui/open-webui