本地模型接入
Lumoswitch 可通过 Ollama 或 LM Studio 的 OpenAI-compatible 接口接入本地模型。关键前提是 Lumoswitch Gateway 必须能够访问模型服务所在地址。
Ollama
- 在 Ollama 中拉取并启动模型。
- 确认 OpenAI-compatible 接口可访问。
- 在 Lumoswitch 新增 Ollama 上游。
- 填写 Gateway 实际可访问的 Base URL，例如
http://127.0.0.1:11434/v1。 - 保存后执行连接测试和模型检测。
默认示例模型为 llama3.2，实际应使用 ollama list 中存在的模型。
LM Studio
- 在 LM Studio 下载并加载模型。
- 启动 Local Server。
- 在 Lumoswitch 新增 LM Studio 上游。
- Base URL 通常为
http://127.0.0.1:1234/v1。 - 执行连接测试、模型检测和聊天测试。
localhost 的含义
localhost 永远指向 Lumoswitch Gateway 自己所在的机器或容器，而不一定是你的电脑。
| 场景 | 应使用的地址 |
|---|---|
| Gateway 与模型服务在同一台主机 | 127.0.0.1 或本机地址 |
| Gateway 与模型服务在不同容器 | 容器服务名或容器网络地址 |
| Gateway 在远程服务器 | 远程服务器可访问的内网地址 |
| 使用托管版 Lumoswitch | 托管服务通常无法访问你的本机 localhost |
不要为了方便把本地模型端口直接暴露到公网。优先使用受控内网、VPN 或安全隧道。
私有地址限制
部分 Lumoswitch 实例会拒绝访问私有 IP，以降低 SSRF 风险。如果连接测试提示私有地址被禁止，需要联系实例管理员确认是否允许本地上游；普通用户无法通过更换 Key 绕过此限制。
常见问题
- 模型列表为空：确认模型已下载并由服务加载。
- Gateway 连接失败：从 Gateway 所在网络测试 Base URL，而不是只在浏览器中测试。
- Docker 中
127.0.0.1无效：改用模型服务容器名或宿主机可达地址。 - 请求很慢：检查本机推理资源、上下文长度和并发请求数。