建议WPS灵犀Claw支持连接本地大模型

快乐小子新
快乐小子新 Lv.2 潜力创作者

Lv.2潜力创作者

WPS 灵犀Claw功能允许用户配置第三方大模型 API,支持 OpenAI 兼容接口,用户可以根据自身需求选择最合适的模型。但目前 Claw 自定义模型仅支持填写云端 API 地址,尚未支持连接本地运行的大模型服务,如 Ollama 和 LM Studio。

许多用户由于以下原因而必须选择使用本地大模型:

数据隐私与合规:处理合同、财务报表、内部纪要等敏感文档时,数据一旦离开本地就存在合规风险。许多企业和政府机构明确规定办公数据不得上传至第三方云端。支持本地大模型,用户就可以在完全离线的环境中使用 AI 辅助写作、润色、摘要等功能,数据不出本机。

控制成本:云端大模型 API 按 Token 计费,高频使用场景下成本不容忽视。本地模型一次部署后可无限调用,边际成本接近于零。对中小团队和个人用户而言,选择本地大模型具有明显的成本优势。

离线可用:出差、通勤、网络不稳定等场景下,云端 API 直接不可用。本地大模型不受网络环境影响,随时可用。

模型选择自由:开源模型中有 Llama、Qwen、DeepSeek、Mistral、Gemma 等数十种开源模型,用户可以根据任务类型选择最合适的模型,灵活度高。

支持配置本地大模型这件事情,在技术上应该也不难实现,Ollama 和 LM Studio都提供与OpenAI 兼容的 API,支持 Chat Completions、Embeddings、流式输出等。唯一差异在于 API Key 为可选。

在支持配置本地大模型的基础上,我还希望引入以下功能:

  1. 自动探测本地服务:自动发现可用的本地服务。

  1. 模型列表同步:探测成功后,自动获取已安装的模型列表,下拉展示供用户选择,而不是让用户手动输入模型名称。

  1. 连接状态指示:在灵犀面板上显示本地模型的连接状态(绿色圆点表示在线,灰色表示离线)。

希望 WPS 灵犀团队能考虑这个建议。

浏览 199
2
8
分享
8 +1
7
2 +1
全部评论 7
 
韦成继
同求,置顶
·
1
回复
 
shawn
连接内网模型,不行的
· 辽宁省
1
回复
 
wils
wils Lv.2 潜力创作者

Lv.2潜力创作者

以前试的服务器上的模型 今天试了下本地,确实不行 又试了一下,设置环境变量OLLAMA_HOST=0.0.0.0 再内网穿透一下ngrok.exe http 11434 设置里地址最后加上/v1 就可以凑活用本地模型了,只是有点慢
· 海南省
1
回复
wils
wilsLv.2 潜力创作者

Lv.2潜力创作者

另外模型名称中间是冒号qwen3:0.6b
· 海南省
1
回复
 
马成功老师
马成功老师 WPS资深用户Lv.2 潜力创作者KVPWPS函数专家

Lv.2潜力创作者

第一眼,把你的网名看成 :快乐 小王子了。^_^
·
1
回复
 
马成功老师
马成功老师 WPS资深用户Lv.2 潜力创作者KVPWPS函数专家

Lv.2潜力创作者

拜读完了,写的真好,建议置顶。尤其:这个非常不错。
·
1
回复