本地运行 Llama3.2 和 Open WebUI

AI Llama Ollama About 484 words

Ollama

Ollama官方网站上下载对应的安装包:https://ollama.com

安装包是Ollama程序,不是模型。

运行模型

Ollama安装完成后,拉取模型。

运行后使用Control+D退出模型。

ollama run llama3.2

内存需求

对于7B参数的模型,大约需要8G的内存。

llama3.23B1B的小参数模型。

Open WebUI

直接命令行启动的模型只能在黑窗口中看到,可以使用Open WebUI可视化。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

GitHub

https://github.com/ollama/ollama

https://github.com/open-webui/open-webui

Views: 514 · Posted: 2024-10-01

————        END        ————

Give me a Star, Thanks:)

https://github.com/fendoudebb/LiteNote

扫描下方二维码关注公众号和小程序↓↓↓

扫描下方二维码关注公众号和小程序↓↓↓


Today On History
Browsing Refresh