我是站长,今天咱们聊点实在的——Ollama 多模型接入与路由配置教程。很多刚接触本地大模型的朋友,装完 Ollama 拉了一两个模型,用着挺爽,但一旦想同时挂三四个模型、让不同任务自动走不同模型,就卡住了。别急,这篇就是给零基础小白写的,不扯虚的,直接告诉你每一步怎么敲、怎么配、怎么不踩坑。
先说清楚:Ollama 本身是一个本地模型运行工具,默认只监听一个端口,模型之间不会自动切换。所谓“多模型接入与路由配置”,说白了就是让一个入口根据你的请求内容,自动转发到对应的模型上。比如你问代码问题走 deepseek-coder,问中文闲聊走 qwen,问英文通用走 llama。下面站长带你一步步搭起来。
前置准备:别急着敲命令,先把这几样东西备齐
💡 关联延伸阅读:如果你在配置过程中遇到相关报错,请参阅站长之前的解决教程:DeepSeek API 多模型接入与路由配置教程:多模型路由切换报错怎么办?
⚡ 【免费资源】DeepSeek/Ollama 部署排错手册 + 全套 AI 提示词资料包
站长已将大模型部署排错指南、常用环境配置文件及 AI 提效指令库整合分享至夸克网盘,可极速免费转存:
第一,一台能跑 Ollama 的机器。Windows、macOS、Linux 都行,内存建议 16G 起步,想同时挂多个 7B 模型最好 32G。第二,Ollama 已经装好并且能正常拉模型。你可以在终端里敲 ollama list,能看到模型列表就说明基础环境没问题。第三,一个反向代理或路由工具。小白最推荐 Nginx 或者 LiteLLM,前者你大概率听过,后者是专门做大模型路由的,配置更直观。第四,至少两个不同用途的模型。站长建议先拉这三个:ollama pull qwen2.5:7b、ollama pull llama3.1:8b、ollama pull deepseek-coder:6.7b。拉完之后再执行 ollama list 确认都在。
还有一点容易被忽略:Ollama 默认只允许本机访问。如果你打算让其他设备或程序调用,需要设置环境变量 OLLAMA_HOST=0.0.0.0,否则路由配置好了也连不上。Windows 在系统环境变量里加,Linux/macOS 在启动前 export OLLAMA_HOST=0.0.0.0。这一步不做,后面全是白搭。
极速操作步骤:从单模型到多模型路由,一共四步
第一步:确认 Ollama 的 API 入口
Ollama 启动后默认监听 http://127.0.0.1:11434。你可以用 curl 测一下:curl http://127.0.0.1:11434/api/tags,返回 JSON 就说明 API 正常。记住这个地址,后面路由规则都要指向它。如果你改了端口,比如 OLLAMA_HOST=0.0.0.0:11435,那后面所有配置里的端口都要跟着改。
第二步:用 LiteLLM 做统一路由层(小白首选)
为什么推荐 LiteLLM?因为它可以直接把多个 Ollama 模型映射成 OpenAI 兼容接口,你原来的代码几乎不用改。安装很简单:pip install litellm[proxy]。然后新建一个配置文件 config.yaml,内容如下:
model_list:
- model_name: gpt-3.5-turbo
litellm_params:
model: ollama/qwen2.5:7b
api_base: http://127.0.0.1:11434
- model_name: gpt-4
litellm_params:
model: ollama/llama3.1:8b
api_base: http://127.0.0.1:11434
- model_name: code-model
litellm_params:
model: ollama/deepseek-coder:6.7b
api_base: http://127.0.0.1:11434
这里的关键是 model_name 是你对外暴露的名字,model 是 Ollama 里真实的模型名。启动命令:litellm --config config.yaml --port 4000。启动后,你的请求发到 http://127.0.0.1:4000,带上 model: gpt-3.5-turbo 就会自动走 qwen2.5,带 model: code-model 就走 deepseek-coder。这就是最基础的多模型接入。
第三步:配置路由规则,让请求自动分流
光有映射还不够,你要的是“自动路由”。LiteLLM 支持基于请求内容做路由,但小白更容易上手的是在客户端做判断,或者用 Nginx 做路径分流。站长给你一个 Nginx 方案:把 /chat 转发到 LiteLLM 的 4000 端口,把 /code 转发到另一个 LiteLLM 实例或直接转发到 Ollama 的不同模型。但更简单的做法是:在 LiteLLM 配置里加 router_settings,开启 routing_strategy: "least-busy" 或 "usage-based-routing",这样多个模型可以负载均衡。如果你要按关键词路由,可以在客户端代码里写一个简单的 if-else:检测到“代码”“报错”“函数”就传 code-model,检测到“翻译”“写作”就传 gpt-3.5-turbo。别觉得土,对小白来说这是最稳的。
第四步:验证多模型是否真的走通了
用 curl 发两个请求测试:curl http://127.0.0.1:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"gpt-3.5-turbo","messages":[{"role":"user","content":"你好"}]}',再发一个 model 改成 code-model 的请求。看返回内容是否来自不同模型。你也可以在 Ollama 的日志里看到实际调用了哪个模型。如果两个请求都返回正常,恭喜你,Ollama 多模型接入与路由配置教程的核心部分你已经跑通了。
避坑提示卡片:站长踩过的坑,你别再踩
坑一:模型名写错。Ollama 的模型名必须和
ollama list里一模一样,包括冒号后面的 tag。写错一个字符,路由就报 404。坑二:端口冲突。LiteLLM 默认 4000,Ollama 默认 11434,如果你本机还跑了其他服务,先
netstat查一下,别硬上。坑三:内存爆掉。同时加载三个 7B 模型,内存占用可能超过 20G。建议设置
OLLAMA_MAX_LOADED_MODELS=2,让 Ollama 自动卸载不用的模型。坑四:环境变量没生效。改完
OLLAMA_HOST一定要重启 Ollama 服务,Windows 还要重启终端。否则你路由配置再对,也连不上。坑五:把路由当负载均衡。路由是按规则走不同模型,负载均衡是同一模型多实例分流。别混用,小白先把路由跑通再折腾均衡。
最后站长再啰嗦一句:这套方案的核心就是“Ollama 提供模型,LiteLLM 提供统一入口,客户端或 Nginx 提供分流规则”。你不需要一上来就搞复杂,先让两个模型能通过不同 model 名调通,再慢慢加规则。等你熟练了,还可以接入 OpenAI、Claude 等云端模型,做成混合路由。但那是下一步的事,今天先把本地多模型路由吃透。有问题去 Ollama 和 LiteLLM 的官方文档翻一翻,比到处问人快得多。
相关 AI 排错与深度技术延伸
⚡ 开发者实操必备资源与算力限时特惠通道
阅读完本教程准备实操?站长已将 AI 部署排错手册、提示词全集与服务器限时优惠整理如下,即拿即用: