纯干货-不满血-Deepseek-AI保姆级本地部署教程曝光，小白1小时搭建专属AI工厂

一、为什么要做本地化部署？（300字）

▶️ 刚需 🔒 数据安全：离线可用、敏感数据不出内网 💰 成本直降：比云端节省80%费用

💡 据Gartner报告，2024年83%的企业将AI系统部署在混合环境。今天手把手教你用1台普通办公电脑，30分钟搭建包含大模型服务+应用开发+客户端的完整AI生态！

⚡ 本教程面向个人笔记本、台式机，电脑性能必然不会太高，一张台式机4090已经是顶天配置，在此前提下，无需考虑671B等满配模型，因为没有人愿意用一分钟生成一个字的模型。

二、部署准备（环境要求）

✅ 任意windows电脑（推荐配置）：

系统：Win10+
内存：16GB+
显卡：3060起步，后面模型参数选型与显卡显存大小直接挂钩
8G模型可以跑14B模型，8G以下建议7B、8B模型，24G显存可以争取下32B。不推荐使用1.5B，在任何场景下都无法正确处理任务。

三、Ollama部署全流程

Ollama是一个强大的本地大语言模型运行框架，它让用户能够在本地设备上轻松运行和管理各种大语言模型。使用ollama的优势是其提供了统一的、方便的模型管理，为后续各类聊天工具、知识库工具集成提供了方便。

3.1 部署Ollama（模型引擎）

访问官网下载并安装windows客户端，下载地址：https://ollama.com/download

安装完毕后，打开命令行cmd输入ollama，如有命令行界面弹出，说明安装成功

避坑指南：

与docker集成时，需要在系统环境变量中添加OLLAMA_HOST为0.0.0.0，否则无法成功与ollama建立连接

‍

3.2 使用Ollama下载模型

‍

以最近大火的deepseek为例，在ollama官网上搜索deepseek

https://ollama.com/search?q=deepseek

访问模型页面，在下方列举了运行模型的命令行

以deepseek-v2:16b模型为例，可以在cmd命令行下直接运行该命令，初次运行会先下载模型。

ollama run deepseek-v2:16b

此时ollama已完全安装完毕。

‍

4. 使用Chatbox调用ollama进行AI交互

Chatbox AI 是一款 AI 客户端应用和智能助手，支持众多先进的 AI 模型和 API，可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。下载地址：

https://chatboxai.app/zh

直接下载免费版并安装即可，无需理会充值会员等功能。

按照完毕后点击界面左下角设置，模型提供方选择OLLAMA API，模型选择自己下的模型。

之后点击新对话，在右边选择自己的模型，输入对话即可进行对话，相比ollama的命令行，这种交流方式更为直观方便，且支持文件上传和图片上传等功能。支持提示词工程、联网搜索等高级功能。

‍

5. 使用Dify调用ollama进行AI交互

Dify是生成式 AI 应用创新引擎。开源的 LLM 应用开发平台。提供从 Agent 构建到 AI workflow 编排、RAG 检索、模型管理等能力，轻松构建和运营生成式 AI 原生应用，比 LangChain 更易用。

如果你想使用知识库功能，则Dify是一个合适的选择。

5.1 安装 docker desktop

下载地址https://desktop.docker.com/win/main/amd64/Docker%20Desktop%20Installer.exe?utm_source=docker&utm_medium=webreferral&utm_campaign=docs-driven-download-win-amd64

电脑要支持虚拟化，一路点击至安装完毕即可。

5.2 克隆 Dify 仓库

git clone https://github.com/langgenius/dify.git cd dify

5.3 安装 docker desktop

快速启动

请确保完成之前两部，在您的机器上安装了 Docker 和 Docker Compose

同时确保你的目录位置合适，因为安装后目录不可删除：

cd docker cp .env.example .env docker compose up -d

运行后，可以在浏览器上访问 http://localhost/install 进入 Dify 控制台并开始初始化安装操作。

登录后在右上角用户点击设置

选择模型供应商，接着选择ollama添加模型

参数填写部分，模型名称填写ollama list中显示的NAME

基础URL,确认之前的OLLAMA_HOST已设置为0.0.0.0，此处不可填写127.0.0.1:11434，因为127.0.0.1对于web来说是docker的本地，并非宿主机，而ollama是跑在宿主机上的，必须用宿主机专属的回环地址才行。或者使用http://host.docker.internal:11434进行代指。

模型上下文和最大token尽可能大一些，4096在许多环境下并不足够。

接着在工作室新建一个对话应用，即可开始使用。

‍

总结

本教程详细介绍了如何在本地部署大语言模型，使用Ollama作为模型引擎，结合Chatbox和Dify构建完整的AI生态。本地化部署的核心优势在于数据安全（敏感数据不出内网）和成本效益（比云端节省80%费用）。教程面向普通办公电脑，最低配置为Win10系统、16GB内存和RTX 3060显卡，支持7B-32B模型的运行。通过Ollama部署模型，Chatbox提供直观的交互界面，Dify则支持知识库和AI应用开发。教程还提供了详细的避坑指南和性能优化建议，确保在主流硬件上实现高效运行。

下一篇介绍真正的实战应用情况下的一些技巧和思考

‍