如何用人工智能连接企业系统?
位于匈牙利布达佩斯的软件开发公司 Mesterséges Intelligencia Központ Kft. 认为,方法是通过 API 把语言模型嵌入现有的工作流程:系统保持不变,由模型负责提取、分类、总结和撰写。
要点:无需替换现有系统:语言模型通过编程接口接收任务和数据,结果再回到人们使用它的地方(CRM、ERP 或邮箱)。最好从单一、可度量的任务入手,只传递必要的数据;凡是出错会造成经济损失的环节,都由人来批准该步骤。
这在实践中意味着什么?
大语言模型(large language model,LLM)负责解读和生成文本。在企业应用中,它并不是一个单独的聊天窗口,让员工把文字复制进去再复制出来,而是一项由企业自己的程序通过编程接口,即 API(application programming interface,应用程序编程接口)来调用的服务。模型获得完成任务所需的数据,完成语言方面的工作,再由程序把结果传送到相应的系统中,整个过程都经过检查并记录日志。
几乎每一项集成中都会出现五种语言操作:
- 提取:把发票、送货单或收到的邮件变成包含客户、明细项目、期限的结构化数据。
- 分类:系统判断一封邮件是投诉、询价还是开票方面的问题,并把它放入相应的队列。
- 总结:把与某位客户的冗长往来邮件,变成 CRM 中几句话的背景摘要。
- 撰写:生成回复草稿、报价文本或商品描述,再由员工审阅。
- 回答:员工用日常语言向企业的文档或数据提问。
如果系统不仅要回答问题,还要自主地分多个步骤采取行动,那就是 AI 智能体了;两种方案的区别请见聊天机器人还是 AI 智能体?一文。如果模型需要依据企业自有文档作答,所用的方法是 RAG,我们在另一篇文章中作了介绍。
三种集成模式
API 与 Webhook
大多数企业系统,如 CRM、ERP、网店、开票软件、邮件系统,都有 API,其他程序可以通过它从中读取数据或向其中写入数据。Webhook 则方向相反:当发生某件事时,例如收到一份订单或一封邮件,系统会主动通知一个预先设定的地址。最简单的 AI 集成就由这两者构成:一个事件触发我们自己的服务,该服务调用语言模型的 API,检查结果,再通过目标系统的 API 把结果写入。在这种模式下,模型不能直接访问任何企业系统;一切都由我们的代码完成,什么可以交给模型、什么可以写回,都在代码中决定。
函数调用(tool use)
函数调用(在 Anthropic 那里称为 tool use,即工具调用)让模型自己决定何时需要某项数据或某个操作。开发者向模型描述可用的函数,例如“查询订单状态”,模型则根据问题返回一个带有所需参数的结构化调用。根据三大服务商的文档,函数都不是由模型运行的,而是由应用程序运行:在 OpenAI 的说明中,代码在应用程序一侧运行;根据 Anthropic 的说明,自有工具由应用程序执行;Google Gemini 的文档则明确指出,模型本身并不执行函数。由此得出最重要的设计原则:权限检查存在于我们的代码中,而不取决于模型的善意。OpenAI 和 Anthropic 还提供严格(strict)模式,确保调用的参数严格遵循给定的结构定义(schema);但 Anthropic 的文档同时也提醒:在缺少信息时,模型有时会推测出一个看似合理的值,因此代码也必须检查参数。
Model Context Protocol(MCP)
MCP 是一种开放协议,根据其规范,它为使用语言模型的应用程序连接外部数据源和工具提供了统一的方式。它有三个角色:宿主(host),即使用语言模型的应用程序;在宿主中运行的客户端;以及服务器,它提供数据(resources)、提示词模板(prompts)和可调用的工具(tools)。消息采用 JSON-RPC 2.0 格式;规范的当前版本是标记为 2026-07-28 的版本(2026 年 10 月 17 日核实)。
MCP 的优势在于:一个系统只需编写一次服务器,之后多个 AI 应用程序都可以使用它。Anthropic 的 API、OpenAI 的 API 和 Gemini API 都能连接远程 MCP 服务器(2026 年 10 月 17 日核实)。该协议并不能解决所有安全问题:根据规范中的安全原则,宿主应用程序在每次调用工具之前都必须征得用户的明确同意,但协议本身无法强制执行这一点,必须由实现者自行内置。OpenAI 还提醒,恶意服务器可能会泄露进入模型上下文的敏感数据。因此,在企业环境中,只应考虑自有的服务器或来自可信服务商的服务器。
| 模式 | 适用于 | 需要注意什么 |
|---|---|---|
| API 与 Webhook | 固定、可预测的流程:每封邮件、每张发票都走同一条路径 | 每一步都必须事先规划,包括错误处理和重试 |
| 函数调用 | 模型需要根据问题获取数据或发起操作时 | 函数的范围及其权限;模型也可能给出错误的参数 |
| MCP | 多个 AI 应用程序需要访问同一个系统时 | 只用可信的服务器;调用工具之前须经审批 |
可以用来做什么?典型任务
| 领域 | 任务 | 典型模式 | 人工审批 |
|---|---|---|---|
| 文档 | 从发票、送货单、合同中提取数据,并与订单进行比对 | API,按固定的结构定义输出 | 出现不一致或提取结果不确定时 |
| 电子邮件 | 对收到的邮件进行分类、转发,起草回复 | Webhook 和 API | 发送回复之前 |
| CRM | 总结客户历史,建议下一步 | 具有读取权限的函数调用 | 不需要,因为只是建议 |
| ERP | 用日常语言向数据提问,编制报表 | 具有读取权限的函数调用 | 操作会修改数据时 |
| 网店 | 商品描述、翻译、更精准的搜索 | API | 发布文本之前 |
| 内部知识 | 基于规章制度和手册的问答 | RAG | 不需要,只要回答注明出处 |
关于我们的服务,详见 AI 集成页面;关于跨越多个系统的自动化流程,请见流程自动化页面;关于嵌入 ERP 和 CRM 系统的 AI,请见企业软件页面。
数据流与数据保护:什么数据流向哪里?
AI 集成同时也是数据处理。因此,第一个设计步骤是绘制一张简单的数据流图:哪些字段会离开企业的系统,流向哪家服务商,在哪个区域处理,服务商存储多长时间,以及返回什么。服务商的条款经常变化;以下内容基于服务商自己的文档(2026 年 10 月 17 日核实)。
服务商怎么说?
- OpenAI:根据其数据管控文档,通过 API 发送的数据不会用于训练模型,除非客户明确同意。滥用监测日志默认最多保留 30 天。在欧洲(欧洲经济区和瑞士)存储和处理数据需经单独审批,并须采用特定的数据保留设置。
- Anthropic:根据其隐私中心的说明,其商业产品(包括 API)的输入和输出默认不会用于模型训练,对于 API 则原则上在 30 天内删除,所列的例外情况除外。根据文档,在 Anthropic 自己的 API 上,处理地点可以是“us”或“global”;在 Amazon Bedrock 和 Google Cloud 上,区域由所选的端点决定。
- Google:根据 Gemini API 条款,在付费服务中,Google 不会使用提示词和回复来改进其产品,只会为发现滥用行为而在有限时间内记录它们;面向欧洲经济区、瑞士和英国用户提供的应用程序,只能基于付费服务构建。根据 Google Cloud Vertex AI 的数据驻留说明,在欧盟多区域端点上,处理保留在欧盟境内,而全球端点则没有这样的保证;哪个模型在哪个区域可用,因模型而异。
GDPR 方面的考量
如果个人数据会到达模型,数据处理就受 GDPR 约束。这时,模型服务商通常是数据处理者,因此需要依据《通用数据保护条例》第 28 条第 3 款与其签订合同;第 5 条规定了数据最小化原则,第 25 条则在“通过设计保护数据”的手段中以假名化为例。在实践中,这意味着:
- 只有任务所需的字段才会到达模型;
- 尽可能对姓名和标识符进行遮蔽或假名化处理,并在我们自己的系统中把回答重新对应回去;
- 模型只能看到提问用户本人也有权看到的内容;
- 我们记录谁在何时、用哪些数据调用了模型。
关于向欧盟以外传输数据、透明度以及 AI Act,我们在AI Act 与 GDPR:企业聊天机器人需要注意什么?一文中有介绍。以上内容仅供参考,不构成法律意见。
哪些地方需要人工审批?
语言模型可能出错,而且根据 OpenAI 的评估指南,即使输入相同,它的输出也并不总是相同。因此,流程最好设计成让模型的错误无法造成损害。我们区分三个级别:
- 建议:模型只提出建议(总结、撰写草稿、推荐类别),决定和操作都由人来完成。这里出错的代价很低。
- 预备操作:模型把步骤准备好,例如填写投诉单、撰写回复,再由员工一键批准或修改。
- 自动操作:步骤无需审批即可运行,但只能在权限范围窄、有数量上限、记录日志并进行抽查的前提下运行。
经验法则:凡是出错会造成经济损失、影响客户或无法撤销的环节(付款、发票、合同、发给客户的邮件),都由人来批准该步骤。OWASP GenAI Security Project 的风险清单在谈到过度代理(Excessive Agency)时也是这样说的:模型只获得完成任务所需的工具,权限尽可能窄,高影响操作之前由人批准,操作以用户本人的权限运行,并且每一步都有日志记录。
另一项独立的风险是提示词注入(prompt injection):如果模型读取收到的邮件、上传的文档、网页等外部内容,其中可能含有试图以指令的形式操纵模型的文本。对此,OWASP 建议采用最小必要权限,在特权操作之前进行人工审批,并把外部内容单独处理、标记为不可信。
测试与监控
一项 AI 集成好不好,不在于它在演示中是否令人信服,而在于它在企业的真实资料上是否可度量地表现良好。根据 OpenAI 的评估指南,测试数据中还应包括典型案例、极端案例和故意误导的案例,而且每次修改后都应重新运行评估;Anthropic 建议制定具体、可度量的成功标准,并使用能反映真实任务的测试集。我们是这样构建的:
- 评估集:真实的样本(必要时进行匿名化处理),附上预期结果,例如需要提取的字段或正确的类别。
- 上线前度量:我们在这个评估集上比较候选模型和提示词。
- 每次变更后重新度量:更换提示词、更换模型版本或出现新的文档类型时。
- 日志记录:输入、输出、模型和提示词版本,以及人工修改。日志也是后续评估用例的来源。
- 监控:错误率、人工修改的比例、响应时间和 token 用量,并设置告警。
模型并不会永久可用:Anthropic 和 OpenAI 都会定期停用较旧的模型,并提前通知客户;发送给已停用模型的请求会返回错误。因此,我们把模型放在单独的一层,任何模型切换在正式上线之前,都会在同一个评估集上进行度量。
应该选择哪个模型?
没有哪个模型能在所有任务上都同样出色,因此选择是度量问题,而不是品牌忠诚度问题。我们的考量要素:
- 在企业自己的样本上,匈牙利语文本的质量;
- 任务的性质:文本、扫描文档、图像还是表格;
- 函数调用和结构化输出的可靠性;
- 在预期用量下的速度和使用费用;
- 数据处理条款和处理地点;
- 可用性和模型的生命周期。
一个系统中有多个模型协同工作是很常见的:一个更快、更小的模型负责分类,一个更强的模型处理复杂文本。由于模型位于单独的一层,这一决定日后也可以调整。
成本取决于什么?
成本由两部分组成。开发费用取决于功能规模,我们以 COSMIC 功能点来度量;具体方法见定价方式页面。运行费用按使用量计算:服务商按处理和生成的文本量,即 token 数量计费;根据 Anthropic 的说明,传给模型的工具描述也计为输入 token。运行成本受以下因素影响:
- 所处理的文档和邮件的数量和长度;
- 一个流程需要调用模型多少次(分多个步骤工作的智能体意味着多次调用);
- 所选的模型;
- 传给模型的上下文和工具描述的大小;
- 特殊设置,例如在地理上受限的处理,服务商可能会对此收取更高的费用。
我们在设计阶段依据企业的真实样本估算运行成本,并在选择模型时一并权衡。
循序渐进:如何着手
- 选定一项任务:常见的、以语言处理为主的工作,并有可度量的目标,例如对收到的投诉进行归类。
- 绘制数据流:数据从哪里来,什么可以交给模型,结果去往哪里,由谁批准。
- 样本与评估集:真实的、经过匿名化处理的示例,附上预期结果。
- 原型:在样本上比较候选模型,此时尚不接入生产系统。
- 接入:API、Webhook、函数调用或 MCP,并配备权限、错误处理和日志记录。
- 试运行:在小范围内进行,每一步都经人工审批;我们从修改中学习。
- 扩展与运行:在度量结果证明合理的地方,缩小审批范围;监控和模型更换持续进行。
典型错误
- 用聊天窗口代替集成:员工手工把内容复制到通用的 AI 界面中,数据未经检查就离开了企业,而且什么都无法度量。
- 权限过多:集成账户能访问的一切,模型都能访问。
- 没有评估集:质量凭印象判断,模型更换靠猜测。
- 把模型写死在代码里:一旦该模型被停用,整个集成都必须重写。
- 最后才考虑数据保护:事后再补数据流图和数据处理协议要困难得多。
- 所有事情同时上马:一个项目里有五个流程,又没有度量,结果哪一个都不会真正完成。
常见问题
应该选择哪个模型?
选择在企业自己的样本上、针对具体任务可度量地表现最好,同时费用可以接受、数据处理条款合适的模型。我们使用 OpenAI、Anthropic 和 Google 的模型,在企业的示例上比较候选模型;由于模型位于单独的一层,这一决定日后也可以调整。
把企业数据发送给 AI 服务安全吗?
只要设计得当,是安全的,但这不会自动实现。根据各大服务商自己的文档,它们的商用 API 默认不会把提交的数据用于模型训练(2026 年 10 月 17 日核实),但存储的时长和地点因服务商和设置而异。企业需要确保只有必要的数据被发送出去,个人数据尽可能经过假名化处理,签订数据处理协议,并有意识地选择处理地点。以上内容仅供参考,不构成法律意见。
我们需要替换现有系统吗?
不需要。集成建立在现有系统的 API、Webhook、数据库或文件导出之上,结果也会回到人们一直以来工作的地方。如果某个旧系统没有编程接口,我们会研究可以通过什么途径安全地访问其数据。
什么是 MCP?
Model Context Protocol 是一种开放协议,它以统一的方式把使用语言模型的应用程序与外部数据源和工具连接起来。当多个 AI 应用程序需要访问同一个系统时,它很有用。在企业环境中,只应搭配可信的服务器使用,并在调用工具之前进行审批。
如果 AI 出错了,会怎样?
我们把这一点考虑在内,因此会把流程设计成即使出错也不会造成损害。代码会检查输出是否符合结构定义和业务规则(例如发票总额是否与各明细项目之和相符),有风险的步骤之前由人批准,不确定的情况转交给员工,并且一切都有日志记录。发现的错误会被加入评估集,因此修正的效果可以度量。
我们如何提供帮助?
我们用人工智能把现有的一切连接起来:把 OpenAI(ChatGPT)、Anthropic(Claude)和 Google(Gemini)的语言模型接入企业的现有系统。首次咨询免费;我们以 COSMIC 功能点度量开发工作的规模,并据此编制报价和进度安排。可应要求签署保密协议(NDA),交付后我们还承担运行与维护工作,包括监测模型的运行表现。源代码和使用权由合同约定。
详情请见 AI 集成页面。如果您有希望借助人工智能连接起来的流程,请通过联系我们页面上的联系方式给我们写信。
参考来源
- OpenAI: Function calling
- OpenAI: Data controls in the OpenAI platform
- OpenAI: MCP servers
- OpenAI: Evaluation best practices
- OpenAI: Deprecations
- Anthropic: Tool use with Claude
- Anthropic: Data residency
- Anthropic: Define success criteria and build evaluations
- Anthropic: Model deprecations
- Anthropic Privacy Center: Is my data used for model training?
- Anthropic Privacy Center: How long do you store my organization's data?
- Google Gemini API: Function calling
- Google: Gemini API Additional Terms of Service
- Google Cloud Vertex AI: Data residency
- Model Context Protocol: Specification, 2026-07-28
- OWASP GenAI Security Project: LLM06:2025 Excessive Agency
- OWASP GenAI Security Project: LLM01:2025 Prompt Injection
- EUR-Lex:条例 (EU) 2016/679(《通用数据保护条例》,GDPR)