大模型的航海时代来了，Ollama已支持抱抱脸所有GGUF模型

Ollama是一个基于llama.cpp的应用，可直接通过你的计算机与LLM进行交互。但是此前支持Ollama的大模型数量有限，同时对兼容性、扩展性以及社区支持都受到一定程度的限制。

但是今天开始，Ollama全面支持Hugging Face Hub上超过45000个公共GGUF大模型，可以使用ollama run命令来运行任何一个。同时还提供定制，如量化类型等。

命令规范：

ollama run hf.co/{username}/{repository}

在这里可以同时使用hf.co或huggingface.co作为域名。

下面是一个示例：

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M

通过命令ollama list即可查看本地大模型列表，可见刚刚Llama-3.2-3B-Instructd的大模型被拉取到本地：

对这个大模型提一个问题：

同时你可以对该模型下不同的方案进行选择，只需要添加一个标签：

ollama run hf.co/{username}/{repository}:{quantization}

在大模型往小的方向去做的情况下，通过全面支持Hugging Face上的所有GGUF模型，可以通过ollama在组合LLM应用的时候有更多可能性，比如在vscode的插件上直接调用本地的大模型：