建议WPS灵犀Claw支持连接本地大模型
Lv.2潜力创作者
WPS 灵犀Claw功能允许用户配置第三方大模型 API,支持 OpenAI 兼容接口,用户可以根据自身需求选择最合适的模型。但目前 Claw 自定义模型仅支持填写云端 API 地址,尚未支持连接本地运行的大模型服务,如 Ollama 和 LM Studio。
许多用户由于以下原因而必须选择使用本地大模型:
数据隐私与合规:处理合同、财务报表、内部纪要等敏感文档时,数据一旦离开本地就存在合规风险。许多企业和政府机构明确规定办公数据不得上传至第三方云端。支持本地大模型,用户就可以在完全离线的环境中使用 AI 辅助写作、润色、摘要等功能,数据不出本机。
控制成本:云端大模型 API 按 Token 计费,高频使用场景下成本不容忽视。本地模型一次部署后可无限调用,边际成本接近于零。对中小团队和个人用户而言,选择本地大模型具有明显的成本优势。
离线可用:出差、通勤、网络不稳定等场景下,云端 API 直接不可用。本地大模型不受网络环境影响,随时可用。
模型选择自由:开源模型中有 Llama、Qwen、DeepSeek、Mistral、Gemma 等数十种开源模型,用户可以根据任务类型选择最合适的模型,灵活度高。
支持配置本地大模型这件事情,在技术上应该也不难实现,Ollama 和 LM Studio都提供与OpenAI 兼容的 API,支持 Chat Completions、Embeddings、流式输出等。唯一差异在于 API Key 为可选。
在支持配置本地大模型的基础上,我还希望引入以下功能:
自动探测本地服务:自动发现可用的本地服务。
模型列表同步:探测成功后,自动获取已安装的模型列表,下拉展示供用户选择,而不是让用户手动输入模型名称。
连接状态指示:在灵犀面板上显示本地模型的连接状态(绿色圆点表示在线,灰色表示离线)。
希望 WPS 灵犀团队能考虑这个建议。
Lv.2潜力创作者
Lv.2潜力创作者
Lv.2潜力创作者
Lv.2潜力创作者