AI Act 与 GDPR:企业聊天机器人需要注意什么?
Mesterséges Intelligencia Központ Kft. 是一家位于匈牙利布达佩斯的软件开发公司。对企业聊天机器人而言,最重要的是两条规则:根据 AI Act,必须表明是 AI 在回答;根据 GDPR,必须合法地处理个人数据。
要点:AI Act 第 50 条第 1 款自 2026 年 8 月 2 日起适用:聊天机器人必须最迟在首次交互时清楚地表明,用户正在与人工智能交谈,除非这一点显而易见。典型的客户服务聊天机器人不属于高风险 AI 系统,但如果它处理个人数据,GDPR 的规定也同样适用,其中包括关于合法性基础、告知、数据最小化以及与 AI 服务商签订数据处理协议的规定。以上内容仅供参考,不构成法律意见(2026 年 10 月 17 日核实)。
涉及哪两部法规?
AI Act 是欧盟关于人工智能的条例,正式编号为条例 (EU) 2024/1689。作为条例,它在每个成员国直接适用。匈牙利语官方文本把 AI 系统称为“MI-rendszer”;本文也使用日常通用的“AI”一词。
条例第 3 条区分了两种角色。提供者是指开发 AI 系统或委托他人开发 AI 系统,并以自己的名称或商标将其投放市场或投入使用的人。部署者是指在其授权下使用 AI 系统的人,个人非职业性使用除外。如果一家企业委托他人开发聊天机器人,并以自己的名义在其网站上运营,这两个定义可能都适用,因此不宜把相关义务只留给开发方。
GDPR(即《通用数据保护条例》,正式编号为条例 (EU) 2016/679)适用于一切个人数据处理活动,也包括聊天机器人所进行的处理。AI Act 第 2 条第 7 款规定,除少数通常不涉及聊天机器人的狭窄例外情形外,AI Act 不影响 GDPR:两套规则并行适用,任何一套都不能取代另一套。
AI Act 第 50 条规定了什么?
第 50 条为某些 AI 系统的提供者和部署者规定了透明度义务。企业聊天机器人主要涉及第 1 款,但其他各款也值得了解,因为一个还会生成图像、音频或发布文本的助手可能会触及这些规定。
| 款 | 约束对象 | 规定内容 | 何时涉及聊天机器人 |
|---|---|---|---|
| 第 1 款 | 提供者 | 对于直接与人交互的系统,应让相关人员知道自己正在与 AI 系统交互,除非这一点显而易见 | 几乎总是:这是聊天机器人的基本情形 |
| 第 2 款 | 生成合成文本、图像、音频或视频的系统的提供者 | 输出内容必须以机器可读的格式加以标记,使其能够被识别为由 AI 生成 | 如果系统生成内容;细节由欧盟委员会的指南和行为准则加以明确 |
| 第 3 款 | 情绪识别系统或生物特征分类系统的部署者 | 必须向相关人员告知该系统的运行情况 | 如果系统根据生物特征数据推断情绪或意图 |
| 第 4 款第一段 | 生成深度伪造(deepfake)内容的系统的部署者 | 必须披露该图像、音频或视频内容系由 AI 生成 | 如果机器人生成与真实人物具有欺骗性相似的图像、音频或视频 |
| 第 4 款第二段 | 生成为向公众告知公共利益事项而发布的文本的系统的部署者 | 必须披露该文本系由 AI 生成,除非经过人工审核且有人对其承担编辑责任 | 很少:聊天机器人的单条回复通常不属于此类发布的文本 |
| 第 5 款 | 两者 | 信息必须清晰、易于区分,最迟在首次交互时提供,并符合无障碍要求 | 始终适用,与第 1 款要求的告知一并适用 |
第 1 款在实践中意味着什么?
告知必须在对话开始时出现在用户能看到的位置,而不是藏在通用合同条款的深处。一个合适的做法是,聊天窗口的标题栏和机器人的第一条消息都明确写出:“由 AI 助手回答。”如果机器人有自己的名字或头像,这一点尤为重要,因为一个人名很容易让人以为是工作人员在打字。
“显而易见”这一例外的范围很窄。根据条例文本,应从一个合理知情、细心且谨慎的人的角度,结合具体情况和使用情境来判断。欧盟委员会的问答汇编指出,这一例外应作限制性解释,因为它会使人们失去透明度;该汇编还明确把聊天机器人、AI 智能体和虚拟形象(avatar)列为直接与人交互的系统的示例。因此,在客户服务聊天中,最好始终表明是 AI 在回答。
这些规则从何时起适用?
AI Act 于 2024 年 8 月 1 日生效,其各项规定分阶段开始适用(第 113 条)。欧盟委员会于 2025 年 11 月 19 日提议简化该条例;由此形成了 2026 年 7 月 8 日通过的条例 (EU) 2026/1744,其英文标题为“Digital Omnibus on AI”(关于人工智能的数字综合方案)。该条例于 2026 年 7 月 24 日在《欧盟官方公报》上公布,并于 2026 年 7 月 27 日生效。它没有推迟第 50 条第 1 款的适用日期,但修改了其他若干日期(2026 年 10 月 17 日核实):
| 规则 | 适用时间 | 法律依据 |
|---|---|---|
| 禁止的 AI 实践和 AI 素养(第一章和第二章) | 自 2025 年 2 月 2 日起;修正案新增的两项禁令自 2026 年 12 月 2 日起 | AI Act 第 113 条 (a) 项 |
| AI 素养条款新的、较宽松的措辞(第 4 条) | 自 2026 年 7 月 27 日起 | 条例 (EU) 2026/1744 生效 |
| 透明度义务,包括第 50 条第 1 款 | 自 2026 年 8 月 2 日起 | AI Act 第 113 条,一般适用日期 |
| 2026 年 8 月 2 日之前投放市场的生成式系统的机器可读标记(第 50 条第 2 款) | 须在 2026 年 12 月 2 日之前达到合规 | AI Act 第 111 条第 4 款,由修正案增设 |
| 附件三所列的高风险系统 | 自 2027 年 12 月 2 日起 | AI Act 第 113 条 (c) 项,经修订的文本 |
| 嵌入产品的高风险系统(附件一) | 自 2028 年 8 月 2 日起 | AI Act 第 113 条 (c) 项,经修订的文本 |
欧盟委员会的 AI Act 页面及其关于第 50 条的问答汇编给出了相同的主要日期。如果今后出现新的修正,建议在 EUR-Lex 上该条例的页面进行核实。
AI 素养:团队需要了解什么?
第 4 条的原始文本规定,提供者和部署者应尽最大努力确保其员工具备足够水平的 AI 素养。自 2026/1744 修正案以来,这项义务改为:采取措施,支持其员工以及代表其行事的其他人员提升 AI 素养;文本明确指出,这并不要求其保证达到某一特定的 AI 素养水平。欧盟委员会和各成员国的任务是在这方面提供支持,尤其是面向中小企业。
对运营聊天机器人的企业而言,这在实践中意味着针对不同岗位开展简短的培训:机器人能做什么、不能做什么,如何识别错误的回答,何时以及如何接管对话,以及哪些数据绝不能输入 AI 工具。这些培训值得记录在案。
客户服务聊天机器人属于高风险吗?
这一类别在条例的英文文本中称为“high-risk AI system”(高风险 AI 系统)。第 6 条通过两种途径将系统归入这一类别:一是该系统是附件一所列欧盟产品立法所涵盖产品的安全组件(或本身就是此类产品),且该产品须经第三方合格评定;二是其用途属于附件三所列领域之一。附件三的领域包括:生物识别、关键基础设施、教育、就业、获得基本私人服务和公共服务、执法、移民和边境管控,以及司法和民主程序。
如果一个聊天机器人回答的是有关产品、配送、营业时间或订单状态的问题,它不属于上述任何领域,因此不是高风险系统;适用于它的是第 50 条的透明度规则。不过,同样的技术可能因预期用途不同而成为高风险系统,例如当它:
- 筛选求职申请或评估候选人(附件三第 4 点 (a) 项);
- 评估自然人的信用度或确定其信用评分(第 5 点 (b) 项);
- 在人寿保险或健康保险中对自然人进行风险评估或定价(第 5 点 (c) 项);
- 代表公共机关评估获得公共服务或福利的资格(第 5 点 (a) 项)。
根据第 6 条第 3 款,附件三所列系统如果不构成重大风险,例如因为它只执行狭窄的程序性任务,或仅为人的决策做准备,则可例外地不被视为高风险系统;但如果它对自然人进行画像(profiling),则始终属于高风险。援引这一例外的人必须将其评估记录在案。对于附件三所列情形,高风险系统的详细要求自 2027 年 12 月 2 日起适用。如果聊天机器人接近这类决策,最好在开发开始之前就与律师厘清其分类。
GDPR 对聊天机器人有哪些要求?
聊天机器人对话中常常包含个人数据:姓名、电子邮件地址、订单号、投诉内容。在这种情况下,在自己的客户服务中运行聊天机器人的企业通常是数据控制者,而语言模型服务商通常是数据处理者。欧盟委员会于 2025 年 11 月 19 日还提出了修改 GDPR 的提案(COM(2025) 837),但《欧盟官方公报》上尚未公布修改 GDPR 的法规(2026 年 10 月 17 日核实):以下内容以现行文本为依据。
合法性基础(第 6 条)
每一个处理目的都需要第 6 条第 1 款中的某一合法性基础。对聊天机器人而言,最常见的是:履行合同(例如回答某个订单的状态)、正当利益(需进行利益权衡)和同意(例如订阅新闻通讯时)。如果之后还打算把对话用于其他目的,例如分析或开发,就必须单独审查,因为对于与原始目的不相容的进一步处理,仅凭原来的合法性基础并不够(第 6 条第 4 款)。
告知(第 13 条)
在收集数据时,必须告知数据主体的内容包括:数据控制者的身份、处理目的和合法性基础、接收者、可能向第三国传输数据的情况、保存期限、数据主体的权利,以及其有权向监管机构投诉。在匈牙利,监管机构是匈牙利国家数据保护和信息自由管理局(NAIH)。AI Act 所要求的“由 AI 回答”的提示并不能取代这一点:聊天窗口中也必须提供隐私声明。
数据最小化与存储限制(第 5 条)
根据第 5 条,只能处理为实现目的所必需的数据,并且只能在目的所需的期限内处理。对聊天机器人来说,这意味着三项具体决定:机器人索取的数据不应超过回答所需;只有完成任务所需的数据才能传给模型,并尽可能进行遮蔽或假名化处理;对话日志应设有保存期限和删除规则。数据安全(权限管理、加密、日志记录)也属于同一条的内容。
与 AI 服务商签订数据处理协议(第 28 条)
如果语言模型服务商代表企业处理个人数据,就需要与其签订书面数据处理协议。根据第 28 条第 3 款,协议中必须规定的内容包括:数据处理者仅按照数据控制者记录在案的指示处理数据,确保保密和安全,仅在获得授权后才委托其他数据处理者,协助答复数据主体的请求,在服务结束时删除或返还数据,并允许进行审计。因此在实践中,需要查看的是服务商的商业(API)条款及其数据处理附录,而不是面向消费者的聊天应用的条款:数据存储在哪里、保存多久,以及是否被用于模型训练。
向欧盟以外传输数据(第五章)
如果数据在欧盟以外的国家,即所谓第三国处理,就必须具备 GDPR 第五章规定的依据:充分性决定(第 45 条)或适当的保障措施,例如标准数据保护条款(第 46 条)。对于美国,欧盟委员会关于欧美数据隐私框架的实施决定 (EU) 2023/1795 是一项充分性决定,但仅适用于列入数据隐私框架名单的美国组织。该决定仍然有效;要求宣告其无效的诉讼已于 2025 年 9 月 3 日被欧盟普通法院驳回,而针对该判决的上诉目前正在欧盟法院审理中(C-703/25 P)(2026 年 10 月 17 日核实)。因此,还值得核实服务商是否提供在欧盟境内存储或处理数据的选项。
数据保护影响评估(第 35 条)
如果数据处理可能对数据主体的权利造成高风险,尤其是在使用新技术时,就需要进行影响评估。第 35 条第 3 款明确规定了几种必须进行评估的情形,NAIH 也公布了自己的影响评估清单,其中包括画像、具有法律效力的自动化决策、将儿童数据用于画像或营销,以及合并来自不同来源的数据等。一个回答产品问题的简单机器人很少需要进行评估;但如果机器人会从 CRM 中合并客户数据、进行画像,或大规模处理健康数据,则很可能需要。即使评估结果是“不需要”,也最好以书面形式记录这一权衡过程。
自动化决策(第 22 条)
数据主体有权不受仅基于自动化处理作出的、对其产生法律效力或类似重大影响的决定的约束。例如,如果聊天机器人自行拒绝一项投诉、退款或申请,这条规则也同样相关:即使此类决定是履行合同所必需的,或基于明确同意,也必须至少保障当事人获得人工干预、表达自身观点以及对决定提出异议的权利。最简单的做法是,让机器人只负责准备此类决定,由工作人员作出决定。
实用检查清单
| 待办事项 | 原因 | 法律依据 |
|---|---|---|
| 在第一条消息和聊天窗口中表明是 AI 在回答 | 透明度 | AI Act 第 50 条第 1 款和第 5 款 |
| 明确谁是提供者、谁是部署者、谁是数据控制者、谁是数据处理者 | 责任划分 | AI Act 第 3 条,GDPR 第 28 条 |
| 记录机器人的预期用途和风险分类 | 排除或管理高风险 | AI Act 第 6 条,附件三 |
| 为每个目的确定合法性基础 | 合法的数据处理 | GDPR 第 6 条 |
| 在聊天窗口中提供隐私声明 | 告知 | GDPR 第 13 条 |
| 只索取并向模型传递必要的数据 | 数据最小化 | GDPR 第 5 条第 1 款 (c) 项 |
| 为对话日志设定保存期限 | 存储限制 | GDPR 第 5 条第 1 款 (e) 项 |
| 与 AI 服务商签订数据处理协议 | 使用数据处理者 | GDPR 第 28 条 |
| 核实向欧盟以外传输数据的依据 | 向第三国传输数据 | GDPR 第五章 |
| 评估并记录是否需要进行影响评估 | 高风险的数据处理 | GDPR 第 35 条,NAIH 清单 |
| 在具有重大影响的决定中引入人工参与,并可应要求转交工作人员 | 自动化决策 | GDPR 第 22 条 |
| 培训负责管理机器人的工作人员 | AI 素养 | AI Act 第 4 条 |
常见错误
- 隐藏的提示:“由 AI 回答”只出现在使用条款中,而不出现在对话里。
- 人类形象却不加说明:机器人被赋予人名和照片,却没有任何迹象表明它是机器。
- 把完整的客户记录放进提示词:模型拿到了 CRM 中的完整客户档案,而回答其实只需要两个字段。
- 用消费级工具处理企业数据:员工把客户数据复制到免费的聊天应用中,却没有签订数据处理协议。
- 永久保存的日志:对话不断累积,没有任何删除规则。
- 没有人工管控的机器决策:机器人自行拒绝重要事项,而没有人对其进行复核。
常见问题
我们必须说明是 AI 在回答吗?
一般来说,是的。根据 AI Act 第 50 条第 1 款,直接与人交互的 AI 系统必须设计成让相关人员知道自己正在与 AI 系统交互,除非从一个合理知情的人的角度来看,这一点显而易见。根据第 5 款,这一信息必须最迟在首次交互时以清晰、易于区分的方式告知。因此,在客户服务聊天中,最稳妥的做法是在第一条消息中就加以说明。
从何时起成为强制要求?
第 50 条自 2026 年 8 月 2 日起适用,修正条例 (EU) 2026/1744 没有改变这一点。对于生成式系统输出内容的机器可读标记(第 50 条第 2 款),在 2026 年 8 月 2 日之前投放市场的系统,其提供者须在 2026 年 12 月 2 日之前做好准备。关于 AI 素养的第 4 条自 2025 年 2 月 2 日起适用,自 2026 年 7 月 27 日起采用较宽松的措辞。
客户服务聊天机器人算高风险吗?
通常不算。一个提供产品、订单或服务信息的聊天机器人不属于 AI Act 附件三所列的领域,因此适用于它的是透明度规则。但如果它例如筛选求职者、评估信用度,或为人寿和健康保险风险定价,就可能属于高风险。
我们可以把个人数据交给 AI 服务商吗?
可以,前提是:数据处理具有合法性基础,相关人员已获得告知,已与服务商签订数据处理协议(GDPR 第 28 条),并且如果数据被传输到欧盟以外,这种传输也具备相应依据(第五章)。最好只传递任务所需的数据,并核实服务商是否将数据用于模型训练。
需要进行数据保护影响评估吗?
如果数据处理可能对数据主体的权利造成高风险,就需要进行(GDPR 第 35 条)。对于简单的信息类机器人,很少需要;对于画像、具有法律效力的自动化决策、对儿童数据进行画像、大规模处理特殊类别数据,或合并多个来源的数据,则很可能需要。NAIH 的影响评估清单也列出了这些情形。无论哪种情况,都最好把决定以书面形式记录下来。
我们如何提供帮助?
我们开发 AI 聊天机器人与 AI 智能体,我们开发的聊天机器人在第一条消息中就会说明由 AI 助手回答。在接入语言模型时(我们在 AI 集成页面中对此有介绍),我们注意只让完成任务所需的数据传给模型,核查服务商的数据处理条款,确保模型只能看到提问用户本人有权看到的内容,并使对话可以追溯。技术方面的细节,请阅读聊天机器人还是 AI 智能体?和基于企业自有文档的 AI(RAG)这两篇文章。
本文仅供参考,不构成法律意见:关于某项具体数据处理是否合规,建议同时咨询律师或数据保护官。首次咨询免费;如果您正在规划聊天机器人,请通过联系我们页面上的联系方式给我们写信。
参考来源
- EUR-Lex:关于人工智能的条例 (EU) 2024/1689(《人工智能法》,AI Act)
- EUR-Lex:条例 (EU) 2026/1744(Digital Omnibus on AI,关于人工智能的数字综合方案)
- EUR-Lex:条例 (EU) 2016/679(《通用数据保护条例》,GDPR)
- EUR-Lex:COM(2025) 837,数字综合方案提案(Digital Omnibus)
- EUR-Lex:欧盟委员会实施决定 (EU) 2023/1795(欧美数据隐私框架)
- EUR-Lex:欧盟普通法院在 T-553/23 号案件中的判决(Latombe 诉欧盟委员会)
- EUR-Lex:C-703/25 P 号上诉案
- European Commission: AI Act
- European Commission: Transparency obligations under Article 50 of the AI Act, questions and answers
- NAIH:数据保护影响评估清单(匈牙利语)