跑本地大模型最让人血压升高的报错,莫过于终端里突然甩出一行 CUDA error: out of memory。Ollama 虽然把模型加载和推理封装得很省心,但默认参数在面对消费级显卡、多卡混插、长上下文或并发请求时,显存分配策略往往不够精细。站长在多次踩坑之后,总结了一套从环境确认、参数调优到逐层排查的完整流程。下面直接进入实操,按顺序执行,基本能解决九成以上的显存溢出问题。
一、前置依赖与显存基线确认
⚡ 【免费资源】DeepSeek/Ollama 部署排错手册 + 全套 AI 提示词资料包
站长已将大模型部署排错指南、常用环境配置文件及 AI 提效指令库整合分享至夸克网盘,可极速免费转存:
调参之前必须先搞清楚两件事:显卡实际可用显存是多少,以及 Ollama 当前到底占用了多少。很多人一上来就改参数,结果连瓶颈在哪都没定位,纯属浪费时间。
先确认驱动和 CUDA 运行时版本匹配。Ollama 自带 CUDA 运行时,但驱动版本过低会导致显存分配异常。执行以下命令查看基础信息:
nvidia-smi
nvcc --version
ollama --version
重点看 nvidia-smi 输出中的 Memory-Usage 和 GPU-Util。如果显存已经被其他进程占用(比如桌面环境、浏览器硬件加速、其他推理框架),先清理掉。站长建议在纯命令行环境下测试,避免 Xorg 或 Wayland 吃掉几百 MB 到 1 GB 不等的显存。
接着确认 Ollama 服务是否在运行,以及它识别到了哪些 GPU:
systemctl status ollama
ollama ps
journalctl -u ollama -n 50 --no-pager
如果 ollama ps 显示模型已加载但显存占用异常高,先卸载模型再重新加载:
ollama stop <模型名>
ollama run <模型名>
这一步的目的是建立一个干净的基线。记录下空载时的显存占用,后面调参才有对比依据。
二、Ollama 显存相关核心参数拆解
Ollama 的显存控制主要通过环境变量和 Modelfile 参数实现。很多人只知道 OLLAMA_GPU_LAYERS,其实还有几个关键参数直接决定显存峰值。
1. OLLAMA_NUM_PARALLEL
这个参数控制并发请求数。默认值通常为 1,但在某些版本中会根据显存自动调整。并发数每增加 1,KV Cache 就会成倍增长。如果你只是单人使用,强制设为 1:
export OLLAMA_NUM_PARALLEL=1
2. OLLAMA_MAX_LOADED_MODELS
同时加载的模型数量。默认可能允许 2 到 3 个模型常驻显存。对于显存紧张的显卡,强制设为 1:
export OLLAMA_MAX_LOADED_MODELS=1
3. OLLAMA_GPU_LAYERS / num_gpu
这是最核心的参数。它决定有多少层模型被卸载到 GPU。层数越多,推理越快,但显存占用线性上升。在 Modelfile 中设置:
PARAMETER num_gpu 20
或者在运行时通过环境变量控制:
export OLLAMA_GPU_LAYERS=20
注意:不同模型的总层数不同。7B 模型通常 32 层左右,13B 约 40 层,70B 可达 80 层以上。你需要根据显存容量反推能放多少层。
4. num_ctx(上下文长度)
上下文长度对显存的影响常被低估。KV Cache 的显存占用与 num_ctx 成正比。默认 2048 或 4096,如果你调到 8192 甚至 16384,显存需求会急剧增加。在 Modelfile 中:
PARAMETER num_ctx 4096
5. num_batch
批处理大小。增大 num_batch 可以提升吞吐,但也会增加瞬时显存峰值。显存溢出时,优先降低这个值:
PARAMETER num_batch 128
三、手把手调优步骤:从溢出到稳定运行
💡 关联延伸阅读:如果你在配置过程中遇到相关报错,请参阅站长之前的解决教程:DeepSeek API CUDA OOM 显存溢出参数调优深度选型对比:显存吞吐与硬件实测评估
假设你有一张 8GB 显存的显卡,想跑 7B 量化模型,但一加载就 OOM。按以下步骤逐层剥离。
步骤 1:确认模型量化等级
Q4_K_M 比 Q8_0 省显存得多。先用 ollama show <模型名> 查看量化信息。如果模型本身是 FP16 或 Q8,换 Q4 版本是最直接的解决方案。
ollama show <模型名> --modelfile
步骤 2:强制单并发、单模型加载
export OLLAMA_NUM_PARALLEL=1
export OLLAMA_MAX_LOADED_MODELS=1
systemctl restart ollama
步骤 3:降低 GPU 层数
从较低值开始测试,比如 10 层,然后逐步增加,直到接近显存上限但不出错。每次调整后重启 Ollama 并观察 nvidia-smi。
export OLLAMA_GPU_LAYERS=10
systemctl restart ollama
ollama run <模型名>
步骤 4:压缩上下文长度
如果层数已经降到很低还是 OOM,把 num_ctx 降到 2048 甚至 1024。对于简单对话和代码补全,2048 通常够用。
PARAMETER num_ctx 2048
步骤 5:调整批处理大小
将 num_batch 从默认的 512 降到 128 或 64。这能显著降低瞬时显存峰值,代价是吞吐量下降。
PARAMETER num_batch 64
步骤 6:启用显存碎片整理与内存回退
Ollama 支持将部分层回退到 CPU 内存。设置 OLLAMA_GPU_LAYERS 为较低值后,剩余层会自动在 CPU 上运行。虽然速度慢,但能避免 OOM。确保系统内存充足,建议至少 16GB。
export OLLAMA_GPU_LAYERS=5
export OLLAMA_NUM_THREAD=8
步骤 7:验证稳定性
加载模型后,连续发送多条长请求,同时用 watch -n 1 nvidia-smi 监控显存波动。如果显存持续爬升不释放,说明 KV Cache 管理有问题,需要进一步降低 num_ctx 或 num_parallel。
四、高频踩坑点与排查清单
坑点 1:显存未释放导致重复加载失败
Ollama 在模型切换时可能不会立即释放旧模型显存。执行 ollama stop 后等待几秒,再确认 nvidia-smi 显存回落。如果没回落,重启 Ollama 服务。
ollama stop <模型名>
sleep 5
nvidia-smi
systemctl restart ollama
坑点 2:多卡环境下默认只认第一张卡
如果你有多张显卡,Ollama 默认可能只使用第一张。通过 CUDA_VISIBLE_DEVICES 指定具体卡:
export CUDA_VISIBLE_DEVICES=0,1
但注意,多卡并行推理需要模型支持张量并行,否则显存不会叠加,反而可能因为通信开销导致 OOM。
坑点 3:桌面环境占用显存
Linux 桌面、Wayland 合成器、浏览器硬件加速都会占用显存。在服务器上建议关闭图形界面,或者使用 nvidia-smi 确认哪些进程在占用。
fuser -v /dev/nvidia*
坑点 4:Ollama 版本与 CUDA 驱动不兼容
某些 Ollama 版本对 CUDA 驱动有最低要求。如果 nvidia-smi 显示的 CUDA 版本低于 Ollama 编译时使用的版本,会出现奇怪的显存分配错误。升级驱动或降级 Ollama 版本。
坑点 5:Modelfile 参数未生效
修改 Modelfile 后必须重新创建模型:
ollama create <新模型名> -f Modelfile
ollama run <新模型名>
直接 ollama run 旧模型不会应用新参数。
坑点 6:系统交换分区不足
当 GPU 层数降低、部分层回退到 CPU 时,系统内存和交换分区压力增大。确保 free -h 显示可用内存充足,交换分区至少 8GB。
free -h
swapon --show
五、进阶:显存与性能的平衡策略
调优的目标不是一味省显存,而是在稳定运行的前提下获得可接受的推理速度。站长建议采用以下策略:
对于 8GB 显存:7B Q4 模型,num_gpu 设为 20-25,num_ctx 2048,num_batch 128,单并发。这样能获得不错的交互速度。
对于 12GB 显存:7B Q4 可以全量加载,num_gpu 设为 32-35,num_ctx 4096,num_batch 256。13B Q4 可以部分加载。
对于 24GB 显存:13B Q4 全量加载,或 70B Q2 部分加载。num_ctx 可以开到 8192。
每次调整后,用 ollama run 执行一段长文本生成,观察 nvidia-smi 的显存峰值和 ollama ps 的加载状态。如果显存占用接近上限但未溢出,说明配置合理。如果频繁触发 OOM,继续降低 num_gpu 和 num_ctx。
最后提醒一点:Ollama 的日志非常有用。遇到 OOM 时,第一时间查看 journalctl -u ollama -f,里面会明确告诉你是在加载模型阶段还是推理阶段溢出,以及具体请求了多少显存。根据日志定位,比盲目调参高效得多。
整套流程走下来,绝大多数消费级显卡都能找到稳定运行的参数组合。显存溢出不是玄学,本质是资源分配问题,按步骤拆解即可解决。
相关 AI 排错与深度技术延伸
⚡ 开发者实操必备资源与算力限时特惠通道
阅读完本教程准备实操?站长已将 AI 部署排错手册、提示词全集与服务器限时优惠整理如下,即拿即用: