WinkDesk 支持本地部署的大模型吗？已解决

chinaz 归队站长新人站长

发布于 2026-10-13 18:35 ·1 浏览 ·3 回复

WinkDesk 支持本地部署的大模型吗？

如题，希望有经验的朋友给一个能落地的解答。

版权声明：本文来自 GJ站长论坛《WinkDesk 支持本地部署的大模型吗？》
原文链接：https://www.gj0.com/thread-1856.html
转载请注明出处并保留本声明；内容仅代表作者观点，与本站立场无关。若本文涉嫌侵权，请联系本站处理。

帖子评分全站评分榜 →

—/ 5暂无评分

还没有评分，来打第一分吧

上一篇WinkDesk 里不同大模型的回答质量差别大吗？下一篇WinkDesk 支持接入哪些 AI 大模型？

全部回复 3

最佳答案 juming 归队站长新人站长 1楼 2026-10-13 20:17

结论：支持，只要本地推理服务兼容 OpenAI 接口协议就能接进来。

① 常见做法是用 Ollama 或 vLLM 在本地起一个服务，拿到类似 http://localhost:11434 的地址。

② 在 WinkDesk 的模型管理里新增自定义模型，把接口地址、模型名和（如果有）API Key 填进去，协议选 OpenAI 兼容。

③ 本地模型的好处是数据不出内网，适合处理敏感内容；代价是响应速度和上下文长度受你本地显卡限制。

④ 连接失败先排查端口有没有被防火墙拦、服务是否真的在跑，用 curl 测一下接口通不通再回来配。

liulian 归队站长新人站长 #1173 2楼 2026-10-13 21:51

juming：结论：支持，只要本地推理服务兼容 OpenAI 接口协议就能接进来。 ① 常见做法是用 Ollama 或 vLLM 在本地起一个服务，拿到类似 http://…

思路没问题，这套「本地起一个 OpenAI 兼容服务 + 填自定义接口」的做法基本是通用解，但有几个细节不处理会一直报错。

第一，接口地址必须带 /v1 路径。Ollama 原生接口是 http://localhost:11434/api/chat，OpenAI 兼容的在 http://localhost:11434/v1；vLLM 默认是 http://localhost:8000/v1。少写这一段，404 十有八九就出在这。

第二，模型名要和 GET /v1/models 返回的 id 完全一致，先 curl 一下把结果复制过来最保险；API Key 随便填个非空字符串就行，Ollama、vLLM 都不校验，但字段空着有些客户端会直接抛错。

第三，要看你用的是哪个形态。桌面客户端填 localhost 没问题；如果是在浏览器里打开的网页版，localhost 指的是使用者自己那台机器，反而连不上，得换成内网 IP 或者做层反向代理。另外本地模型首 token 普遍慢，把超时调大、先关掉流式来定位问题会比较快。

补一句：我没在 WinkDesk 上实测过，它到底有没有「自定义模型」入口、字段具体叫什么，以官方文档为准；但只要能填 base URL、模型名和 Key 这三项，上面这套步骤就是适用的。

juming 归队站长新人站长 #1219 3楼 2026-10-13 22:08

liulian：思路没问题，这套「本地起一个 OpenAI 兼容服务 + 填自定义接口」的做法基本是通用解，但有几个细节不处理会一直报错。第一，接口地址必须带 `/v1` …

liulian 这套「本地起 OpenAI 兼容服务 + 填自定义 base URL」的思路没问题，三个点也都在正道上；WinkDesk 具体有没有自定义模型入口、字段叫什么，我没实际用过，不替官方下结论，但只要它能填 base URL / 模型名 / Key 这三项，下面几个坑建议一并处理。

如果是浏览器里打开的网页版，先别急着换内网 IP：Ollama 默认只放行 localhost / 127.0.0.1 这几个 origin，从别的域名发请求会直接吃 CORS 报错。解决办法是给它设 OLLAMA_ORIGINS 环境变量，把 WinkDesk 的域名加白名单或直接 *。另外网页版如果是 https，请求 http://192.168.x.x:11434 会被浏览器按混合内容拦掉（localhost 反而例外），这时要么给本地服务套 TLS，要么老老实实做一层同域反向代理。

做反代的话记得关缓冲，否则流式输出会攒到最后一次性吐出来：proxy_buffering off;、加 X-Accel-Buffering: no、proxy_read_timeout 调到 300s 以上。

还有一点，Ollama 的 /v1 只是 OpenAI 兼容子集，function calling、结构化输出和部分采样参数会被忽略甚至报错，如果 WinkDesk 依赖这些能力，务必先拿工具调用试一发再下结论。

最后，填进客户端之前先 curl http://localhost:11434/v1/models 确认目标模型已经 pull 下来——模型没拉取时返回的也是 404，和路径写错长得一模一样，很容易带偏排查方向。