很多朋友问我,能不能把 DeepSeek 装在自己电脑上,再挂一个自己的知识库,这样既不用联网,数据也安全。答案是:能,而且没你想的那么难。站长今天就用最直白的话,手把手带你走一遍 deepseek本地部署教程+知识库 的完整流程。你不需要懂编程,只要跟着做,一台普通电脑就能跑起来。
先说清楚,本地部署不是把网页版搬回家,而是下载模型文件,用工具加载,再配一个能读你文档的知识库系统。整个过程分三大块:装环境、拉模型、搭知识库。下面直接开干。
一、前置准备:别急着敲命令,先把这几样东西备齐
⚡ 【免费资源】DeepSeek/Ollama 部署排错手册 + 全套 AI 提示词资料包
站长已将大模型部署排错指南、常用环境配置文件及 AI 提效指令库整合分享至夸克网盘,可极速免费转存:
站长见过太多人一上来就复制粘贴,结果卡在第一步。你先把下面这些准备好,后面会顺很多。
1. 硬件门槛
本地跑模型吃的是显存和内存。如果你只是体验 7B 或 8B 参数的小模型,16GB 内存 + 8GB 显存 就能跑。如果想跑 14B 或 32B,建议 32GB 内存起步,显存最好 12GB 以上。没有独立显卡也能用 CPU 跑,但速度会慢到你想砸电脑,所以站长建议至少有一张入门级 N 卡。
2. 软件环境
你需要一个叫 Ollama 的工具,它相当于本地模型的“启动器”,一条命令就能拉取和运行 DeepSeek。再去官网下载 Docker Desktop,后面搭知识库会用到。这两个都是免费安装,一路点下一步就行。
3. 知识库工具
站长推荐 AnythingLLM 或者 Open WebUI。前者界面傻瓜化,适合纯小白;后者功能更全,适合愿意折腾的人。今天用 AnythingLLM 演示,因为它对新手最友好。
4. 你的文档
把你想要让 DeepSeek 学习的资料准备好,支持 PDF、Word、TXT、Markdown 等格式。放在一个文件夹里,别散落在桌面各处。
二、极速操作步骤:从零到能用,最快半小时
第一步:安装 Ollama 并拉取 DeepSeek 模型
去 Ollama 官网下载对应系统的安装包,装完后打开终端(Windows 用 PowerShell,Mac 用 Terminal)。输入下面这行命令:
ollama run deepseek-r1:7b
回车后它会自动下载模型文件,大小约 4-5GB。等进度条走完,你会看到终端里出现一个提示符,这时候你直接打字,它就能回复你了。这说明 DeepSeek 已经在本地跑起来了。想换更大的模型,把 7b 改成 14b 或 32b 即可,但注意硬件能不能扛住。
第二步:安装 AnythingLLM 并连接本地模型
去 AnythingLLM 官网下载桌面版,安装后打开。它会让你选择 LLM 提供商,这里选 Ollama。然后填入地址 http://localhost:11434,模型名称填你刚才拉取的 deepseek-r1:7b。点保存,如果右侧出现绿色对勾,说明连接成功。
第三步:创建知识库并上传文档
在 AnythingLLM 里点“新建工作区”,取个名字,比如“我的技术手册”。进去后找到“上传文档”按钮,把你的 PDF、Word 全选拖进去。它会自动切分文本并生成向量索引,这个过程叫 Embedding。等索引完成,你的知识库就建好了。
第四步:测试问答
在对话框里问一个只有你文档里才有的问题,比如“我们公司的报销流程是什么”。如果 DeepSeek 能根据你上传的文档回答出来,而不是胡编乱造,那就说明 deepseek本地部署教程+知识库 这套组合彻底跑通了。站长第一次跑通的时候,感觉就像给自己配了一个私人专家。
避坑提示卡片
坑1:模型下载太慢。 Ollama 默认从国外源拉取,国内可能龟速。解决办法是设置镜像环境变量,或者手动下载 GGUF 格式的模型文件,再用 Ollama 的
create命令导入。站长建议直接找国内魔搭社区或 HuggingFace 镜像站下载。坑2:显存不够报错。 如果你看到
CUDA out of memory,说明模型太大。换小参数版本,或者把num_gpu层数调低,让部分计算回退到 CPU。别硬撑,7B 模型对多数人够用了。坑3:知识库答非所问。 这通常是文档切分太碎或嵌入模型选错了。在 AnythingLLM 设置里把文本块大小调到 1000-1500 字符,重叠 200 字符。嵌入模型优先选
nomic-embed-text,它轻量且准。坑4:端口冲突。 Ollama 默认走 11434,AnythingLLM 走 3001。如果你电脑上装了其他服务占用了这些端口,去设置里改一下就行。站长建议改之前先
netstat -ano查一下谁在占用。坑5:以为本地模型无所不能。 本地小模型的知识储备和推理能力远不如云端大模型。它的核心价值是 隐私 + 私有知识库。别拿它去写长篇小说,但用来查内部文档、做客服问答,完全够用。
三、进阶玩法:让知识库更聪明
💡 关联延伸阅读:如果你在配置过程中遇到相关报错,请参阅站长之前的解决教程:deepseek本地部署教程ollama配置实战避坑指南:手把手步骤拆解
跑通基础流程后,你可以做几件事让效果翻倍。第一,换嵌入模型。AnythingLLM 默认的嵌入模型比较弱,换成 bge-m3 或 nomic-embed-text,检索准确率会明显提升。第二,加混合检索。如果工具支持,开启关键词检索和向量检索的混合模式,避免漏掉关键信息。第三,定期更新文档。知识库不是建完就完事,新资料要随时上传,旧文档要删掉,否则模型会被过期信息误导。
还有一点,站长强烈建议你把 Ollama 设置成开机自启,这样每次打开 AnythingLLM 就能直接用,不用再手动敲命令。Windows 用户可以把 Ollama 快捷方式丢进启动文件夹,Mac 用户用 brew services start ollama 就行。
四、常见问题快问快答
问:必须用 Docker 吗?
不一定。AnythingLLM 有桌面版,直接安装就能用。但如果你想跑 Open WebUI,Docker 是最省心的方式。
问:手机能访问吗?
可以。只要电脑和手机在同一个局域网,在手机浏览器输入电脑的 IP 加端口号,就能访问 AnythingLLM 的界面。但注意别暴露到公网,否则你的知识库就成公开的了。
问:模型文件占多大空间?
7B 模型约 4-5GB,14B 约 8-9GB,32B 约 20GB。提前留好硬盘空间,别装到一半发现满了。
问:能不能不联网?
完全可以。Ollama 拉完模型后,断网也能跑。知识库的嵌入计算也是本地的。这正是本地部署最大的意义。
好了,以上就是站长给你整理的 deepseek本地部署教程+知识库 全流程。别被那些专业术语吓到,实际上就是装个软件、拉个模型、传几份文档的事。你只要动手试一次,就会发现比想象中简单得多。遇到卡住的地方,回头看看避坑卡片,多半能解决。实在搞不定,去站长博客留言,我看到会回。
相关 AI 排错与深度技术延伸
⚡ 开发者实操必备资源与算力限时特惠通道
阅读完本教程准备实操?站长已将 AI 部署排错手册、提示词全集与服务器限时优惠整理如下,即拿即用: