本地运行 Llama3.2 和 Open WebUI
AI Llama Ollama About 484 wordsOllama
在Ollama
官方网站上下载对应的安装包:https://ollama.com
安装包是Ollama
程序,不是模型。
运行模型
Ollama
安装完成后,拉取模型。
运行后使用Control+D
退出模型。
ollama run llama3.2
内存需求
对于7B
参数的模型,大约需要8G
的内存。
像llama3.2
有3B
和1B
的小参数模型。
Open WebUI
直接命令行启动的模型只能在黑窗口中看到,可以使用Open WebUI
可视化。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
GitHub
Views: 514 · Posted: 2024-10-01
————        END        ————
Give me a Star, Thanks:)
https://github.com/fendoudebb/LiteNote扫描下方二维码关注公众号和小程序↓↓↓
Loading...