AI Act 与 GDPR:企业聊天机器人需要注意什么?

Mesterséges Intelligencia Központ Kft. 是一家位于匈牙利布达佩斯的软件开发公司。对企业聊天机器人而言,最重要的是两条规则:根据 AI Act,必须表明是 AI 在回答;根据 GDPR,必须合法地处理个人数据。

要点:AI Act 第 50 条第 1 款自 2026 年 8 月 2 日起适用:聊天机器人必须最迟在首次交互时清楚地表明,用户正在与人工智能交谈,除非这一点显而易见。典型的客户服务聊天机器人不属于高风险 AI 系统,但如果它处理个人数据,GDPR 的规定也同样适用,其中包括关于合法性基础、告知、数据最小化以及与 AI 服务商签订数据处理协议的规定。以上内容仅供参考,不构成法律意见(2026 年 10 月 17 日核实)。

涉及哪两部法规?

AI Act 是欧盟关于人工智能的条例,正式编号为条例 (EU) 2024/1689。作为条例,它在每个成员国直接适用。匈牙利语官方文本把 AI 系统称为“MI-rendszer”;本文也使用日常通用的“AI”一词。

条例第 3 条区分了两种角色。提供者是指开发 AI 系统或委托他人开发 AI 系统,并以自己的名称或商标将其投放市场或投入使用的人。部署者是指在其授权下使用 AI 系统的人,个人非职业性使用除外。如果一家企业委托他人开发聊天机器人,并以自己的名义在其网站上运营,这两个定义可能都适用,因此不宜把相关义务只留给开发方。

GDPR(即《通用数据保护条例》,正式编号为条例 (EU) 2016/679)适用于一切个人数据处理活动,也包括聊天机器人所进行的处理。AI Act 第 2 条第 7 款规定,除少数通常不涉及聊天机器人的狭窄例外情形外,AI Act 不影响 GDPR:两套规则并行适用,任何一套都不能取代另一套。

AI Act 第 50 条规定了什么?

第 50 条为某些 AI 系统的提供者和部署者规定了透明度义务。企业聊天机器人主要涉及第 1 款,但其他各款也值得了解,因为一个还会生成图像、音频或发布文本的助手可能会触及这些规定。

款约束对象规定内容何时涉及聊天机器人
第 1 款提供者对于直接与人交互的系统,应让相关人员知道自己正在与 AI 系统交互,除非这一点显而易见几乎总是:这是聊天机器人的基本情形
第 2 款生成合成文本、图像、音频或视频的系统的提供者输出内容必须以机器可读的格式加以标记,使其能够被识别为由 AI 生成如果系统生成内容;细节由欧盟委员会的指南和行为准则加以明确
第 3 款情绪识别系统或生物特征分类系统的部署者必须向相关人员告知该系统的运行情况如果系统根据生物特征数据推断情绪或意图
第 4 款第一段生成深度伪造(deepfake)内容的系统的部署者必须披露该图像、音频或视频内容系由 AI 生成如果机器人生成与真实人物具有欺骗性相似的图像、音频或视频
第 4 款第二段生成为向公众告知公共利益事项而发布的文本的系统的部署者必须披露该文本系由 AI 生成,除非经过人工审核且有人对其承担编辑责任很少:聊天机器人的单条回复通常不属于此类发布的文本
第 5 款两者信息必须清晰、易于区分,最迟在首次交互时提供,并符合无障碍要求始终适用,与第 1 款要求的告知一并适用

第 1 款在实践中意味着什么?

告知必须在对话开始时出现在用户能看到的位置,而不是藏在通用合同条款的深处。一个合适的做法是,聊天窗口的标题栏和机器人的第一条消息都明确写出:“由 AI 助手回答。”如果机器人有自己的名字或头像,这一点尤为重要,因为一个人名很容易让人以为是工作人员在打字。

“显而易见”这一例外的范围很窄。根据条例文本,应从一个合理知情、细心且谨慎的人的角度,结合具体情况和使用情境来判断。欧盟委员会的问答汇编指出,这一例外应作限制性解释,因为它会使人们失去透明度;该汇编还明确把聊天机器人、AI 智能体和虚拟形象(avatar)列为直接与人交互的系统的示例。因此,在客户服务聊天中,最好始终表明是 AI 在回答。

这些规则从何时起适用?

AI Act 于 2024 年 8 月 1 日生效,其各项规定分阶段开始适用(第 113 条)。欧盟委员会于 2025 年 11 月 19 日提议简化该条例;由此形成了 2026 年 7 月 8 日通过的条例 (EU) 2026/1744,其英文标题为“Digital Omnibus on AI”(关于人工智能的数字综合方案)。该条例于 2026 年 7 月 24 日在《欧盟官方公报》上公布,并于 2026 年 7 月 27 日生效。它没有推迟第 50 条第 1 款的适用日期,但修改了其他若干日期(2026 年 10 月 17 日核实):

规则适用时间法律依据
禁止的 AI 实践和 AI 素养(第一章和第二章)自 2025 年 2 月 2 日起;修正案新增的两项禁令自 2026 年 12 月 2 日起AI Act 第 113 条 (a) 项
AI 素养条款新的、较宽松的措辞(第 4 条)自 2026 年 7 月 27 日起条例 (EU) 2026/1744 生效
透明度义务,包括第 50 条第 1 款自 2026 年 8 月 2 日起AI Act 第 113 条,一般适用日期
2026 年 8 月 2 日之前投放市场的生成式系统的机器可读标记(第 50 条第 2 款)须在 2026 年 12 月 2 日之前达到合规AI Act 第 111 条第 4 款,由修正案增设
附件三所列的高风险系统自 2027 年 12 月 2 日起AI Act 第 113 条 (c) 项,经修订的文本
嵌入产品的高风险系统(附件一)自 2028 年 8 月 2 日起AI Act 第 113 条 (c) 项,经修订的文本

欧盟委员会的 AI Act 页面及其关于第 50 条的问答汇编给出了相同的主要日期。如果今后出现新的修正,建议在 EUR-Lex 上该条例的页面进行核实。

AI 素养:团队需要了解什么?

第 4 条的原始文本规定,提供者和部署者应尽最大努力确保其员工具备足够水平的 AI 素养。自 2026/1744 修正案以来,这项义务改为:采取措施,支持其员工以及代表其行事的其他人员提升 AI 素养;文本明确指出,这并不要求其保证达到某一特定的 AI 素养水平。欧盟委员会和各成员国的任务是在这方面提供支持,尤其是面向中小企业。

对运营聊天机器人的企业而言,这在实践中意味着针对不同岗位开展简短的培训:机器人能做什么、不能做什么,如何识别错误的回答,何时以及如何接管对话,以及哪些数据绝不能输入 AI 工具。这些培训值得记录在案。

客户服务聊天机器人属于高风险吗?

这一类别在条例的英文文本中称为“high-risk AI system”(高风险 AI 系统)。第 6 条通过两种途径将系统归入这一类别:一是该系统是附件一所列欧盟产品立法所涵盖产品的安全组件(或本身就是此类产品),且该产品须经第三方合格评定;二是其用途属于附件三所列领域之一。附件三的领域包括:生物识别、关键基础设施、教育、就业、获得基本私人服务和公共服务、执法、移民和边境管控,以及司法和民主程序。

如果一个聊天机器人回答的是有关产品、配送、营业时间或订单状态的问题,它不属于上述任何领域,因此不是高风险系统;适用于它的是第 50 条的透明度规则。不过,同样的技术可能因预期用途不同而成为高风险系统,例如当它:

根据第 6 条第 3 款,附件三所列系统如果不构成重大风险,例如因为它只执行狭窄的程序性任务,或仅为人的决策做准备,则可例外地不被视为高风险系统;但如果它对自然人进行画像(profiling),则始终属于高风险。援引这一例外的人必须将其评估记录在案。对于附件三所列情形,高风险系统的详细要求自 2027 年 12 月 2 日起适用。如果聊天机器人接近这类决策,最好在开发开始之前就与律师厘清其分类。

GDPR 对聊天机器人有哪些要求?

聊天机器人对话中常常包含个人数据:姓名、电子邮件地址、订单号、投诉内容。在这种情况下,在自己的客户服务中运行聊天机器人的企业通常是数据控制者,而语言模型服务商通常是数据处理者。欧盟委员会于 2025 年 11 月 19 日还提出了修改 GDPR 的提案(COM(2025) 837),但《欧盟官方公报》上尚未公布修改 GDPR 的法规(2026 年 10 月 17 日核实):以下内容以现行文本为依据。

合法性基础(第 6 条)

每一个处理目的都需要第 6 条第 1 款中的某一合法性基础。对聊天机器人而言,最常见的是:履行合同(例如回答某个订单的状态)、正当利益(需进行利益权衡)和同意(例如订阅新闻通讯时)。如果之后还打算把对话用于其他目的,例如分析或开发,就必须单独审查,因为对于与原始目的不相容的进一步处理,仅凭原来的合法性基础并不够(第 6 条第 4 款)。

告知(第 13 条)

在收集数据时,必须告知数据主体的内容包括:数据控制者的身份、处理目的和合法性基础、接收者、可能向第三国传输数据的情况、保存期限、数据主体的权利,以及其有权向监管机构投诉。在匈牙利,监管机构是匈牙利国家数据保护和信息自由管理局(NAIH)。AI Act 所要求的“由 AI 回答”的提示并不能取代这一点:聊天窗口中也必须提供隐私声明。

数据最小化与存储限制(第 5 条)

根据第 5 条,只能处理为实现目的所必需的数据,并且只能在目的所需的期限内处理。对聊天机器人来说,这意味着三项具体决定:机器人索取的数据不应超过回答所需;只有完成任务所需的数据才能传给模型,并尽可能进行遮蔽或假名化处理;对话日志应设有保存期限和删除规则。数据安全(权限管理、加密、日志记录)也属于同一条的内容。

与 AI 服务商签订数据处理协议(第 28 条)

如果语言模型服务商代表企业处理个人数据,就需要与其签订书面数据处理协议。根据第 28 条第 3 款,协议中必须规定的内容包括:数据处理者仅按照数据控制者记录在案的指示处理数据,确保保密和安全,仅在获得授权后才委托其他数据处理者,协助答复数据主体的请求,在服务结束时删除或返还数据,并允许进行审计。因此在实践中,需要查看的是服务商的商业(API)条款及其数据处理附录,而不是面向消费者的聊天应用的条款:数据存储在哪里、保存多久,以及是否被用于模型训练。

向欧盟以外传输数据(第五章)

如果数据在欧盟以外的国家,即所谓第三国处理,就必须具备 GDPR 第五章规定的依据:充分性决定(第 45 条)或适当的保障措施,例如标准数据保护条款(第 46 条)。对于美国,欧盟委员会关于欧美数据隐私框架的实施决定 (EU) 2023/1795 是一项充分性决定,但仅适用于列入数据隐私框架名单的美国组织。该决定仍然有效;要求宣告其无效的诉讼已于 2025 年 9 月 3 日被欧盟普通法院驳回,而针对该判决的上诉目前正在欧盟法院审理中(C-703/25 P)(2026 年 10 月 17 日核实)。因此,还值得核实服务商是否提供在欧盟境内存储或处理数据的选项。

数据保护影响评估(第 35 条)

如果数据处理可能对数据主体的权利造成高风险,尤其是在使用新技术时,就需要进行影响评估。第 35 条第 3 款明确规定了几种必须进行评估的情形,NAIH 也公布了自己的影响评估清单,其中包括画像、具有法律效力的自动化决策、将儿童数据用于画像或营销,以及合并来自不同来源的数据等。一个回答产品问题的简单机器人很少需要进行评估;但如果机器人会从 CRM 中合并客户数据、进行画像,或大规模处理健康数据,则很可能需要。即使评估结果是“不需要”,也最好以书面形式记录这一权衡过程。

自动化决策(第 22 条)

数据主体有权不受仅基于自动化处理作出的、对其产生法律效力或类似重大影响的决定的约束。例如,如果聊天机器人自行拒绝一项投诉、退款或申请,这条规则也同样相关:即使此类决定是履行合同所必需的,或基于明确同意,也必须至少保障当事人获得人工干预、表达自身观点以及对决定提出异议的权利。最简单的做法是,让机器人只负责准备此类决定,由工作人员作出决定。

实用检查清单

待办事项原因法律依据
在第一条消息和聊天窗口中表明是 AI 在回答透明度AI Act 第 50 条第 1 款和第 5 款
明确谁是提供者、谁是部署者、谁是数据控制者、谁是数据处理者责任划分AI Act 第 3 条,GDPR 第 28 条
记录机器人的预期用途和风险分类排除或管理高风险AI Act 第 6 条,附件三
为每个目的确定合法性基础合法的数据处理GDPR 第 6 条
在聊天窗口中提供隐私声明告知GDPR 第 13 条
只索取并向模型传递必要的数据数据最小化GDPR 第 5 条第 1 款 (c) 项
为对话日志设定保存期限存储限制GDPR 第 5 条第 1 款 (e) 项
与 AI 服务商签订数据处理协议使用数据处理者GDPR 第 28 条
核实向欧盟以外传输数据的依据向第三国传输数据GDPR 第五章
评估并记录是否需要进行影响评估高风险的数据处理GDPR 第 35 条,NAIH 清单
在具有重大影响的决定中引入人工参与,并可应要求转交工作人员自动化决策GDPR 第 22 条
培训负责管理机器人的工作人员AI 素养AI Act 第 4 条

常见错误

常见问题

我们必须说明是 AI 在回答吗?

一般来说,是的。根据 AI Act 第 50 条第 1 款,直接与人交互的 AI 系统必须设计成让相关人员知道自己正在与 AI 系统交互,除非从一个合理知情的人的角度来看,这一点显而易见。根据第 5 款,这一信息必须最迟在首次交互时以清晰、易于区分的方式告知。因此,在客户服务聊天中,最稳妥的做法是在第一条消息中就加以说明。

从何时起成为强制要求?

第 50 条自 2026 年 8 月 2 日起适用,修正条例 (EU) 2026/1744 没有改变这一点。对于生成式系统输出内容的机器可读标记(第 50 条第 2 款),在 2026 年 8 月 2 日之前投放市场的系统,其提供者须在 2026 年 12 月 2 日之前做好准备。关于 AI 素养的第 4 条自 2025 年 2 月 2 日起适用,自 2026 年 7 月 27 日起采用较宽松的措辞。

客户服务聊天机器人算高风险吗?

通常不算。一个提供产品、订单或服务信息的聊天机器人不属于 AI Act 附件三所列的领域,因此适用于它的是透明度规则。但如果它例如筛选求职者、评估信用度,或为人寿和健康保险风险定价,就可能属于高风险。

我们可以把个人数据交给 AI 服务商吗?

可以,前提是:数据处理具有合法性基础,相关人员已获得告知,已与服务商签订数据处理协议(GDPR 第 28 条),并且如果数据被传输到欧盟以外,这种传输也具备相应依据(第五章)。最好只传递任务所需的数据,并核实服务商是否将数据用于模型训练。

需要进行数据保护影响评估吗?

如果数据处理可能对数据主体的权利造成高风险,就需要进行(GDPR 第 35 条)。对于简单的信息类机器人,很少需要;对于画像、具有法律效力的自动化决策、对儿童数据进行画像、大规模处理特殊类别数据,或合并多个来源的数据,则很可能需要。NAIH 的影响评估清单也列出了这些情形。无论哪种情况,都最好把决定以书面形式记录下来。

我们如何提供帮助?

我们开发 AI 聊天机器人与 AI 智能体,我们开发的聊天机器人在第一条消息中就会说明由 AI 助手回答。在接入语言模型时(我们在 AI 集成页面中对此有介绍),我们注意只让完成任务所需的数据传给模型,核查服务商的数据处理条款,确保模型只能看到提问用户本人有权看到的内容,并使对话可以追溯。技术方面的细节,请阅读聊天机器人还是 AI 智能体?和基于企业自有文档的 AI(RAG)这两篇文章。

本文仅供参考,不构成法律意见:关于某项具体数据处理是否合规,建议同时咨询律师或数据保护官。首次咨询免费;如果您正在规划聊天机器人,请通过联系我们页面上的联系方式给我们写信。

参考来源