Ollama：笔记本用AI更简单，还无需联网！

随着 Ollama

GGUF（由 GPT 生成的统一格式）模型格式是一种高度优化的文件设计，由开源 AI 社区创建，旨在用于 中等规模的消费硬件 。

将模型压缩为单个 GGUF 文件后，通过互联网下载很容易，而且几乎能在任何像样的家用电脑上运行。更重要的是，非技术用户也可以安装和运行它们。

以前，模型必须首先通过 Ollama 库 提供，才能在您的笔记本电脑上运行和下载。这让整个过程变得更简单，HuggingFace 表示会努力进一步简化。

可以说，GGUF 格式对于提高开源 AI 的普及度和可用性所发挥的作用，或许比近期的其他任何发展都要大，除了 Meta 发布的 LlaMA 系列模型。

目前在 HuggingFace 上存储着 500 多个 GGUF 模型文件可供选择，涵盖了从图像生成到多语言聊天模型等任何内容。

要使用这种格式，用户通常得下载自己所选的 GGUF 模型，并依照其软件客户端的安装说明进行操作。

然而，HuggingFace（HF）所提供的这个新选项更进了一步——只要您的机器上已经安装了 Ollama 就行。

您只需要在 HuggingFace 上找到您心仪的模型，点击页面右上角的“使用此模型”按钮，接着选择 Ollama。这样就会弹出一个窗口，里面有可供复制的模型的 URL 地址。

在 Windows 系统里，去到搜索栏那儿，输入“cmd”这个指令并按下回车键。当终端窗口冒出来的时候，把您刚复制的 URL 粘贴上去（按 ctrl-V）并再次按下回车键。此时，Ollama 将自动下载模型以供使用。快速、简单且轻松。在 Mac 上的过程大致相同，只需将 cmd 替换为 Terminal。

得注意啦，这些 GGUF 文件也可以使用越来越多的用户客户端运行。其中有一些特别受欢迎的，像 Jan、LMStudio 和 Msty。OpenWebUI 聊天应用程序也支持这种格式。

免费开源的 AI 模型这个领域一直都在以超快的速度向前发展，有一部分就是被这样的发展给推动的。越来越多的人发现，他们能够用上小型本地运行的 AI 的强大功能和灵活性，而无需拥有计算机科学学位。并且性能一直都在不停地变好。

例如，有一个日益壮大的用户群体将本地 GGUF 模型用于专业应用，例如协助他们的家庭业务或帮助完成特定语言翻译任务。

很高兴看到开源即便在面对有风险投资支持的大型公司时，仍能蓬勃发展。