-
使用 llama.cpp 将 HuggingFace 模型转为 GGUF 格式
clone git repo git clone https://github.com/ggerganov/llama.cpp.git 安装 Python 依赖 进入到llama.cpp文件夹 p
-
本地运行 Llama3.2 和 Open WebUI
Ollama 在Ollama官方网站上下载对应的安装包：https://ollama.com 安装包是Ollama程序，不是模型。 运行模型 Ollama安装完成后，拉取模型。 运行后使用Contr