把大模型能力植入一套已有的 SaaS 产品:在不改动原有业务逻辑的前提下,加入对话式操作、内容生成和知识库问答。项目的关键是三件事——模型可替换、成本可控、数据不出边界。
项目概况
| 项目信息 | 内容 |
|---|---|
| 项目名称 | ChatGPT植入SAAS定制项目 |
| 客户 | 未公开 |
| 所属行业 | SaaS / AI 应用 |
| 项目类型 | AI 能力集成 |
| 项目交付 | 2026-03-23 |
| 实施方 | 汇智来(深圳)科技有限公司 |
业务背景与核心问题
很多 SaaS 产品加 AI 的方式是在页面上放一个聊天框,接一个模型接口就算完成。真正上线后问题会集中出现:模型回答和业务数据对不上、token 成本失控、客户追问数据会不会被模型厂商留存。
这个项目把 AI 能力做成了一层独立的网关:业务系统只调用内部接口,具体用哪个模型、怎么拼提示词、要不要检索知识库,都在网关里配置。这样换模型不用改业务代码,成本也能按客户分层控制。
建设内容
模型网关
多家模型统一接入,按场景路由与降级
提示词模板
按业务场景管理模板与版本,支持灰度
会话与上下文
多轮对话、会话隔离、上下文裁剪
知识库检索
文档入库、切片、向量检索、引用溯源
业务工具调用
查询订单、生成报表等操作以工具形式开放
用量与计费
按租户统计 token 消耗,设置配额与告警
内容安全
敏感词过滤、输出审核、脱敏
审计日志
每次调用的输入输出留痕,可追溯到具体用户
关键实现要点
网关注入了租户维度的配额与限流,单个租户超额后自动降级到更小的模型或排队,不会因为一个客户把整体额度打满。
知识库问答要求模型输出引用来源,答案里必须带文档名和段落位置,减少「看起来对但查不到出处」的回答。
支持私有化部署:对数据敏感的客户,模型可以部署在客户自己的环境里,网关只做路由和计量。
交付与推进方式
先在两个功能点上线:一个是知识库问答,一个是报表口径解释。这两个场景容错高、价值直观,适合用来验证效果和收集反馈。对话式操作等涉及写数据的场景放在第二阶段,加上确认步骤再开放。
适用场景
适合已有成熟 SaaS 产品、希望增加 AI 能力的产品团队,也适用于想把内部知识库用起来的企業。若只是需要内容生成,直接调用模型 API 更简单。
常见问题
接入大模型后,客户数据会被模型厂商拿走吗?
取决于接入方式。使用公有云 API 时,通常需要在合同层面确认不留存训练;对数据敏感的客户,可以把模型私有化部署在客户环境内,数据不出内网。网关层也会对身份证、手机号等字段做脱敏后再发送。
怎么控制 token 成本?
常用做法有四层:按场景选择合适规模的模型、压缩上下文只保留必要历史、对重复问题做缓存、按租户设置配额和告警。上线前建议先用真实对话样本估算单次成本。
以后想换模型要重写代码吗?
不需要。模型调用统一走网关,业务系统只依赖内部接口;换模型时在网关调整路由和提示词适配即可,业务代码不动。