本地四个开源模型跑了一遍:Qwen3、Gemma 4 在 8GB 显存上的真实表现
在一台 RTX 4060 Laptop 8GB 显存、WSL 分配 32GB 内存的本地开发机上,实测 Qwen3 4B、Qwen3 8B、Gemma 4 E4B、Gemma 4 12B 的加载时间、生成速度、显存占用、多模态能力和使用取舍。
共 6 篇文章
在一台 RTX 4060 Laptop 8GB 显存、WSL 分配 32GB 内存的本地开发机上,实测 Qwen3 4B、Qwen3 8B、Gemma 4 E4B、Gemma 4 12B 的加载时间、生成速度、显存占用、多模态能力和使用取舍。
本地开源模型真正有价值的地方,不是跑分,而是能否进入每天都会发生的任务。本文把 Qwen3 4B、Qwen3 8B、Gemma 4 E4B、Gemma 4 12B 放进开发辅助、图像理解、写作整理三个工作流里,整理一套能长期演进的本地模型用法。
这是一篇持续更新的本地开源模型安装记录。从一台 64GB 内存、WSL 分配 32GB、RTX 4060 Laptop 8GB 显存的 Windows + Ubuntu 26.04 LTS 开发机出发,先判断 Ollama 应该跑在 Windows 还是 WSL,再比较 llama.cpp、LM Studio、vLLM 等方案,最后整理适合本机长期使用的模型清单。
一次在测试机上对 gemma4:12b 音频输入能力的实测记录:模型元数据声明支持 audio,但 Ollama 原生 /api/chat 不能可靠接收音频;真正可用的是 OpenAI 兼容接口里的 input_audio。
一次从官方资料到本地实测的记录:Gemma 4 12B 具备帧序列视频理解能力,但 Ollama 当前不能直接接收 MP4,稳定做法是先抽帧再多图输入。
公司里居然有两台闲置的 RTX 4090 机器,这篇记录如何把它们用起来:从 NVIDIA 驱动、代理服务、Ollama 部署、模型下载,到 API 测试和模型能力评估。