AI Act와 GDPR: 기업용 챗봇에서 무엇에 주의해야 합니까?

Mesterséges Intelligencia Központ Kft.는 부다페스트의 소프트웨어 개발 회사입니다. 기업용 챗봇에서는 두 가지 규칙이 가장 중요합니다. AI Act에 따라 AI가 답변한다는 사실을 알려야 하고, GDPR에 따라 개인정보를 적법하게 처리해야 합니다.

핵심: AI Act 제50조 제1항은 2026년 8월 2일부터 적용되고 있습니다. 챗봇은 늦어도 첫 상호작용 시점에, 사용자가 인공지능과 대화하고 있다는 사실을 명확하게 알려야 하며, 다만 이것이 명백한 경우는 예외입니다. 일반적인 고객 지원 챗봇은 고위험 AI 시스템이 아니지만, 개인정보를 처리한다면 GDPR 규정도 적용됩니다. 법적 근거, 정보주체에 대한 안내, 데이터 최소화, AI 서비스 제공업체와 맺는 데이터 처리 계약에 관한 규정 등이 그렇습니다. 이 내용은 정보 제공을 위한 것이며 법률 자문이 아닙니다(2026년 10월 17일 확인).

어떤 두 가지 법규를 말합니까?

AI Act는 인공지능에 관한 유럽연합의 규칙으로, 공식 번호는 규칙 (EU) 2024/1689입니다. 규칙(regulation)이므로 모든 회원국에서 직접 적용됩니다. 헝가리어 공식 본문은 AI 시스템을 “MI-rendszer”라고 부르며, 이 글에서는 일상에서 널리 쓰이는 “AI”라는 말도 사용합니다.

규칙 제3조는 두 가지 역할을 구분합니다. 제공자(provider)는 AI 시스템을 개발하거나 개발하게 하고, 이를 자신의 이름이나 상표로 시장에 출시하거나 서비스에 투입하는 자입니다. 배포자(deployer)는 자신의 권한 아래 있는 AI 시스템을 사용하는 자이며, 개인적이고 비직업적인 사용은 제외됩니다. 회사가 챗봇 개발을 의뢰하고 이를 자사 웹사이트에서 자신의 이름으로 운영한다면 두 정의가 모두 해당될 수 있으므로, 의무를 개발사에게만 맡겨 두는 것은 바람직하지 않습니다.

GDPR, 즉 일반 데이터 보호 규칙은 공식 번호가 규칙 (EU) 2016/679이며, 챗봇이 수행하는 처리를 포함해 모든 개인정보 처리에 적용됩니다. AI Act 제2조 제7항은 이 규칙이 일반적으로 챗봇과는 관계없는 몇 가지 좁은 예외를 제외하고 GDPR에 영향을 미치지 않는다고 명시합니다. 두 규정 체계는 나란히 적용되며, 어느 쪽도 다른 쪽을 대체하지 않습니다.

AI Act 제50조는 무엇을 요구합니까?

제50조는 특정 AI 시스템의 제공자와 배포자에게 투명성 의무를 부과합니다. 기업용 챗봇에는 주로 제1항이 해당되지만, 나머지 항도 알아 두는 것이 좋습니다. 이미지, 음성, 공개되는 텍스트까지 만들어 내는 어시스턴트는 이 규정들에 걸릴 수 있기 때문입니다.

항의무를 지는 자요구 사항챗봇에 해당하는 경우
제1항제공자사람과 직접 소통하는 시스템에서는 해당 당사자가 AI 시스템과 상호작용하고 있다는 사실을 알 수 있어야 함. 다만 이것이 명백한 경우는 예외거의 언제나: 챗봇의 기본 사례
제2항합성 텍스트, 이미지, 음성, 동영상을 생성하는 시스템의 제공자출력물이 인위적으로 생성된 것으로 감지될 수 있도록 기계가 읽을 수 있는 형식으로 표시해야 함시스템이 콘텐츠를 생성하는 경우. 세부 사항은 집행위원회의 가이드라인과 실무 강령(code of practice)이 구체화함
제3항감정 인식 시스템 또는 생체 인식 분류 시스템의 배포자해당 당사자에게 시스템의 작동에 관해 알려야 함시스템이 생체 인식 데이터로 감정이나 의도를 추론하는 경우
제4항 제1단락딥페이크를 생성하는 시스템의 배포자이미지, 음성, 동영상 콘텐츠가 인위적으로 만들어졌다는 사실을 밝혀야 함봇이 실존 인물로 오인될 만큼 닮은 이미지, 음성, 동영상을 만드는 경우
제4항 제2단락공익 사안에 관해 대중에게 알리기 위해 공개되는 텍스트를 생성하는 시스템의 배포자텍스트가 인위적으로 생성되었다는 사실을 밝혀야 함. 다만 사람이 검토했고 누군가 그에 대한 편집 책임을 지는 경우는 예외드묾: 챗봇의 개별 답변은 일반적으로 이런 공개 텍스트가 아님
제5항둘 다정보는 명확하고 뚜렷하게 구별되어야 하며, 늦어도 첫 상호작용 시점에 제공되고 접근성 요건을 충족해야 함언제나, 제1항에 따른 고지와 함께

제1항은 실무에서 무엇을 뜻합니까?

고지는 대화가 시작될 때 사용자가 볼 수 있는 곳에 나타나야 하며, 일반 약관 깊숙한 곳에 있어서는 안 됩니다. 채팅 창의 머리글과 봇의 첫 메시지가 모두 “AI 어시스턴트가 답변합니다”라고 밝히는 것이 바람직한 방법입니다. 봇에 고유한 이름이나 아바타가 있다면 이것이 특히 중요합니다. 사람 이름은 직원이 글을 쓰고 있다는 인상을 쉽게 주기 때문입니다.

“명백한 경우”라는 예외는 좁습니다. 규칙의 본문에 따르면 이는 합리적으로 충분한 정보를 갖추고 주의 깊고 신중한 사람의 관점에서, 상황과 사용 맥락을 고려해 판단해야 합니다. 유럽연합 집행위원회의 질의응답 자료에 따르면 이 예외는 사람들에게서 투명성을 빼앗으므로 제한적으로 해석해야 하며, 이 자료는 챗봇, AI 에이전트, 아바타를 사람과 직접 소통하는 시스템의 예로 명시적으로 듭니다. 따라서 고객 지원 채팅에서는 AI가 답변한다는 사실을 항상 알리는 것이 바람직합니다.

규정은 언제부터 적용됩니까?

AI Act는 2024년 8월 1일에 발효되었으며, 그 조항들은 단계적으로 적용되기 시작했습니다(제113조). 집행위원회는 2025년 11월 19일 이 규칙의 간소화를 제안했고, 그 결과가 2026년 7월 8일에 채택된 규칙 (EU) 2026/1744로, 영문 제목은 “Digital Omnibus on AI”입니다(이 글에서는 “AI에 관한 디지털 옴니버스”로 옮깁니다). 이 규칙은 2026년 7월 24일 EU 관보에 게재되었고 2026년 7월 27일에 발효되었습니다. 제50조 제1항의 적용 시점은 미루지 않았지만, 다른 여러 시점을 변경했으며, 적용 시점은 다음과 같습니다(2026년 10월 17일 확인).

규정적용 시점근거 조항
금지된 AI 관행과 AI 리터러시(제1장 및 제2장)2025년 2월 2일부터. 개정으로 추가된 두 가지 새 금지 사항은 2026년 12월 2일부터AI Act 제113조 (a)호
AI 리터러시에 관한 새롭고 완화된 문구(제4조)2026년 7월 27일부터규칙 (EU) 2026/1744의 발효
제50조 제1항을 포함한 투명성 의무2026년 8월 2일부터AI Act 제113조, 일반 적용일
2026년 8월 2일 이전에 시장에 출시된 생성형 시스템의 기계 판독 가능한 표시(제50조 제2항)2026년 12월 2일까지 준수해야 함AI Act 제111조 제4항, 개정으로 신설
부속서 III에 따른 고위험 시스템2027년 12월 2일부터AI Act 제113조 (c)호, 개정된 문구
제품에 내장된 고위험 시스템(부속서 I)2028년 8월 2일부터AI Act 제113조 (c)호, 개정된 문구

집행위원회의 AI Act 페이지와 제50조에 관한 질의응답 자료도 같은 주요 시점을 안내합니다. 앞으로 추가 개정이 나온다면 EUR-Lex의 해당 규칙 페이지에서 확인하는 것이 좋습니다.

AI 리터러시: 팀은 무엇을 알아야 합니까?

제4조의 원래 문구는 제공자와 배포자가 최선을 다해 직원들이 충분한 수준의 AI 리터러시를 갖추도록 보장할 것을 요구했습니다. 2026/1744 개정 이후의 의무는 직원과 그들을 대신해 행동하는 사람들의 AI 리터러시 향상을 조치를 통해 지원하는 것이며, 본문은 이것이 특정한 리터러시 수준을 보장할 의무를 뜻하지 않는다고 명시합니다. 집행위원회와 회원국은 이 과정에서 특히 중소기업을 지원할 임무를 맡습니다.

챗봇을 운영하는 회사에서 이는 실무적으로 역할에 맞춘 짧은 교육을 뜻합니다. 봇이 무엇을 할 수 있고 무엇을 할 수 없는지, 잘못된 답변을 어떻게 알아볼 수 있는지, 언제 어떻게 대화를 넘겨받아야 하는지, 그리고 어떤 데이터를 AI 도구에 입력해서는 안 되는지입니다. 이를 문서로 남겨 두는 것이 좋습니다.

고객 지원 챗봇은 고위험입니까?

이 범주를 규칙은 영어로 “high-risk AI system”이라고 부르며, 이 글에서는 “고위험 AI 시스템”이라고 옮깁니다. 제6조는 두 가지 경로로 시스템을 이 범주에 넣습니다. 시스템이 부속서 I에 열거된 EU 제품 법령의 적용을 받는 제품의 안전 구성 요소이고(또는 그 자체가 그러한 제품이고) 그 제품이 제3자 적합성 평가를 받아야 하는 경우, 또는 시스템의 사용이 부속서 III의 영역 중 하나에 해당하는 경우입니다. 부속서 III의 영역은 생체 인식, 핵심 기반시설, 교육, 고용, 필수 민간 서비스와 공공 서비스에 대한 접근, 법 집행, 이주 및 국경 관리, 그리고 사법 행정과 민주적 절차입니다.

제품, 배송, 영업시간, 주문 상태에 관해 답하는 챗봇은 이 영역 중 어디에도 해당하지 않으므로 고위험이 아니며, 제50조의 투명성 규정이 적용됩니다. 그러나 같은 기술이라도 사용 목적에 따라 고위험이 될 수 있습니다. 예를 들어 다음과 같은 경우입니다.

제6조 제3항에 따르면 부속서 III에 해당하는 시스템이라도 중대한 위험을 초래하지 않는다면, 예를 들어 좁은 절차적 작업만 수행하거나 사람의 결정을 준비하는 데 그친다면 예외적으로 고위험이 아닙니다. 다만 자연인을 프로파일링하는 시스템은 언제나 고위험입니다. 이 예외를 원용하는 자는 그 평가를 문서화해야 합니다. 고위험 시스템에 대한 상세한 요구 사항은 부속서 III에 해당하는 경우 2027년 12월 2일부터 적용됩니다. 챗봇이 이런 결정에 가까워진다면, 개발에 앞서 분류를 변호사와 함께 명확히 해 두는 것이 좋습니다.

GDPR은 챗봇에 무엇을 요구합니까?

챗봇 대화에는 이름, 이메일 주소, 주문 번호, 불만 내용 같은 개인정보가 자주 포함됩니다. 이때 챗봇을 자사 고객 지원에 운영하는 회사는 일반적으로 컨트롤러이고, 언어 모델 제공업체는 일반적으로 데이터 처리자입니다. 집행위원회는 2025년 11월 19일 GDPR 개정도 제안했지만(COM(2025) 837), GDPR을 개정하는 법령은 아직 EU 관보에 게재되지 않았습니다(2026년 10월 17일 확인). 아래 내용은 현행 본문을 바탕으로 합니다.

법적 근거(제6조)

모든 처리 목적에는 제6조 제1항에 따른 법적 근거가 필요합니다. 챗봇에서 가장 흔한 것은 계약 이행(예: 주문 상태에 관한 답변), 정당한 이익(이익 형량을 거쳐), 동의(예: 뉴스레터 구독 시)입니다. 대화 내용을 나중에 분석이나 개발 같은 다른 목적에도 사용하려 한다면 이를 별도로 검토해야 합니다. 원래 목적과 양립할 수 없는 추가 처리에는 원래의 법적 근거로 충분하지 않기 때문입니다(제6조 제4항).

정보주체에 대한 안내(제13조)

개인정보를 수집할 때 정보주체에게 컨트롤러가 누구인지, 처리 목적과 법적 근거, 수령인, 개인정보의 제3국 이전 여부, 보관 기간, 정보주체의 권리, 그리고 감독기관에 민원을 제기할 수 있다는 사실 등을 알려야 합니다. 헝가리의 감독기관은 헝가리 국가 데이터 보호 및 정보 자유 당국(NAIH)입니다. AI Act에 따른 “AI가 답변합니다”라는 고지는 이를 대신하지 않습니다. 채팅 창에서 개인정보 처리방침도 볼 수 있게 해야 합니다.

데이터 최소화와 보관 기간 제한(제5조)

제5조에 따르면 목적에 필요한 데이터만, 그리고 목적에 필요한 기간 동안만 처리할 수 있습니다. 챗봇에서는 이것이 세 가지 구체적인 결정으로 이어집니다. 봇은 답변에 필요한 것보다 많은 데이터를 요구하지 않아야 하고, 모델에는 작업에 필요한 데이터만, 가능하면 가리거나 가명 처리해 전달해야 하며, 대화 로그에는 보관 기간과 삭제 절차가 있어야 합니다. 접근 권한 관리, 암호화, 로그 기록 같은 데이터 보안도 같은 조항에 포함됩니다.

AI 서비스 제공업체와의 데이터 처리 계약(제28조)

언어 모델 제공업체가 회사를 대신해 개인정보를 처리한다면, 그 제공업체와 서면 데이터 처리 계약을 맺어야 합니다. 제28조 제3항에 따르면 이 계약에는 데이터 처리자가 컨트롤러의 문서화된 지시에 따라서만 데이터를 처리하고, 비밀 유지와 보안을 보장하며, 허가를 받은 경우에만 하위 처리자를 이용하고, 정보주체의 요청 처리를 지원하며, 서비스가 끝나면 데이터를 삭제하거나 반환하고, 감사를 허용한다는 내용 등이 담겨야 합니다. 따라서 실무에서는 소비자용 채팅 앱이 아니라 제공업체의 비즈니스(API) 약관과 데이터 처리 부속 계약을 살펴봐야 합니다. 데이터를 어디에, 얼마나 오래 보관하는지, 그리고 모델 학습에 사용하는지가 그 대상입니다.

EU 밖으로의 개인정보 이전(제5장)

데이터가 EU 밖의 이른바 제3국에서 처리된다면 GDPR 제5장에 따른 근거가 필요합니다. 적정성 결정(제45조)이 있거나, 표준 데이터 보호 조항 같은 적절한 보호 조치(제46조)가 있어야 합니다. 미국의 경우 EU–미국 데이터 프라이버시 프레임워크에 관한 집행위원회의 이행 결정 (EU) 2023/1795가 적정성 결정에 해당하지만, 데이터 프라이버시 프레임워크 목록에 등재된 미국 조직에만 적용됩니다. 이 결정은 효력이 있습니다. 결정의 무효화를 구한 소송은 일반법원이 2025년 9월 3일 기각했으며, 그 판결에 대해서는 사법재판소에 상소가 계속 중입니다(C-703/25 P) (2026년 10월 17일 확인). 따라서 제공업체가 EU 내 데이터 저장이나 처리를 제공하는지도 확인하는 것이 좋습니다.

데이터 보호 영향 평가(제35조)

처리가, 특히 새로운 기술을 사용하는 경우, 정보주체의 권리에 높은 위험을 초래할 가능성이 있다면 영향 평가가 필요합니다. 제35조 제3항은 몇몇 경우에 이를 명시적으로 요구하며, NAIH는 자체 영향 평가 목록을 공개했습니다. 이 목록에는 프로파일링, 법적 효과를 낳는 자동화된 의사결정, 아동의 데이터를 프로파일링이나 마케팅에 사용하는 것, 서로 다른 출처의 데이터를 결합하는 것 등이 포함되어 있습니다. 제품 문의에 답하는 단순한 봇에는 영향 평가가 필요한 경우가 드뭅니다. 그러나 봇이 CRM의 고객 데이터를 결합하거나, 프로파일링을 하거나, 건강 데이터를 대규모로 처리한다면 필요할 가능성이 큽니다. 결과가 “필요 없음”이더라도 검토 내용을 서면으로 남겨 두는 것이 좋습니다.

자동화된 결정(제22조)

정보주체는 법적 효과를 낳거나 이와 유사하게 중대한 영향을 미치는, 오로지 자동화된 처리에만 근거한 결정의 대상이 되지 않을 권리가 있습니다. 예를 들어 챗봇이 불만 제기, 환불, 신청을 스스로 거절한다면 이 규정도 중요해집니다. 그러한 결정이 계약 이행에 필요하거나 명시적 동의에 근거한 경우에도, 최소한 사람의 개입을 받을 권리, 자신의 견해를 표명할 권리, 결정에 이의를 제기할 권리는 보장되어야 합니다. 가장 간단한 방법은 봇이 그러한 결정을 준비만 하고 직원이 결정을 내리는 것입니다.

실무 체크리스트

할 일이유근거 규정
첫 메시지와 채팅 창에서 AI가 답변한다는 사실을 알리기투명성AI Act 제50조 제1항 및 제5항
누가 제공자, 배포자, 컨트롤러, 데이터 처리자인지 명확히 하기책임 분담AI Act 제3조, GDPR 제28조
봇의 사용 목적과 위험 분류를 기록하기고위험의 배제 또는 관리AI Act 제6조, 부속서 III
목적별로 법적 근거를 정하기적법한 개인정보 처리GDPR 제6조
채팅 창에서 개인정보 처리방침을 볼 수 있게 하기정보주체에 대한 안내GDPR 제13조
필요한 데이터만 요청하고 모델에 전달하기데이터 최소화GDPR 제5조 제1항 (c)호
대화 로그에 보관 기간을 정하기보관 기간 제한GDPR 제5조 제1항 (e)호
AI 서비스 제공업체와 데이터 처리 계약을 맺기데이터 처리자 이용GDPR 제28조
EU 밖으로의 개인정보 이전 근거를 확인하기제3국으로의 이전GDPR 제5장
영향 평가가 필요한지 검토하고 문서화하기위험도가 높은 개인정보 처리GDPR 제35조, NAIH 목록
중대한 영향을 미치는 결정에 사람을 참여시키고, 요청 시 직원에게 넘기기자동화된 결정GDPR 제22조
봇을 운영하는 직원을 교육하기AI 리터러시AI Act 제4조

흔한 실수

자주 묻는 질문

AI가 답변한다는 사실을 알려야 합니까?

일반적으로 그렇습니다. AI Act 제50조 제1항에 따르면, 사람과 직접 소통하는 AI 시스템은 해당 당사자가 AI 시스템과 상호작용하고 있다는 사실을 알 수 있도록 설계되어야 합니다. 다만 합리적으로 정보를 갖춘 사람의 관점에서 이것이 명백한 경우는 예외입니다. 제5항에 따르면 이는 늦어도 첫 상호작용 시점에 명확하고 뚜렷하게 구별되도록 알려야 합니다. 따라서 고객 지원 채팅에서는 첫 메시지에서 알리는 것이 가장 안전합니다.

언제부터 의무입니까?

제50조는 2026년 8월 2일부터 적용되고 있으며, 개정 규칙 (EU) 2026/1744는 이를 바꾸지 않았습니다. 생성형 시스템 출력물의 기계 판독 가능한 표시(제50조 제2항)에 대해서는, 2026년 8월 2일 이전에 시장에 출시된 시스템의 제공자가 2026년 12월 2일까지 대비해야 합니다. AI 리터러시에 관한 제4조는 2025년 2월 2일부터 적용되고 있으며, 2026년 7월 27일부터는 완화된 문구로 적용됩니다.

고객 지원 챗봇은 고위험으로 분류됩니까?

일반적으로 그렇지 않습니다. 제품, 주문, 서비스에 관해 정보를 제공하는 챗봇은 AI Act 부속서 III의 영역에 해당하지 않으므로 투명성 규정이 적용됩니다. 그러나 예를 들어 입사 지원자를 선별하거나, 신용도를 평가하거나, 생명보험과 건강보험의 위험에 보험료를 책정한다면 고위험이 될 수 있습니다.

AI 서비스 제공업체에 개인정보를 넘겨도 됩니까?

네, 처리에 법적 근거가 있고, 정보주체가 이에 관해 정보를 제공받으며, 제공업체와 데이터 처리 계약이 체결되어 있고(GDPR 제28조), 데이터가 EU 밖으로 나간다면 그 이전에도 근거가 있는 경우(제5장)에는 넘길 수 있습니다. 작업에 필요한 만큼의 데이터만 넘기고, 제공업체가 그 데이터를 모델 학습에 사용하는지 확인하는 것이 좋습니다.

데이터 보호 영향 평가가 필요합니까?

처리가 정보주체의 권리에 높은 위험을 초래할 가능성이 있다면 필요합니다(GDPR 제35조). 단순한 정보 제공용 봇에는 드물게 필요합니다. 프로파일링, 법적 효과를 낳는 자동화된 결정, 아동 데이터의 프로파일링, 대규모로 처리되는 특수 범주의 개인정보, 여러 출처의 데이터 결합에는 필요할 가능성이 크며, 이러한 경우는 NAIH의 영향 평가 목록에도 나와 있습니다. 어느 쪽이든 결정을 서면으로 남겨 두는 것이 좋습니다.

저희는 어떻게 도와드립니까?

저희는 AI 챗봇과 AI 에이전트를 개발하며, 저희가 개발한 챗봇은 첫 메시지에서부터 AI 어시스턴트가 답변하고 있음을 알립니다. 언어 모델을 연결할 때는(AI 통합 페이지에서 설명합니다) 작업에 필요한 데이터만 모델에 전달되도록 하고, 제공업체의 데이터 처리 조건을 확인하며, 모델이 질문하는 사용자도 볼 수 있는 것만 보도록 하고, 대화를 추적할 수 있게 합니다. 기술적인 세부 사항은 챗봇입니까, AI 에이전트입니까? 글과 회사 자체 문서를 바탕으로 한 AI(RAG) 글에서 보실 수 있습니다.

이 글은 정보 제공을 위한 것이며 법률 자문이 아닙니다. 구체적인 개인정보 처리가 규정에 맞는지는 변호사나 데이터 보호 책임자에게도 확인하시는 것이 좋습니다. 첫 상담은 무료입니다. 챗봇을 계획하고 계시다면 연락처 페이지에 안내된 연락처로 메시지를 보내 주시기 바랍니다.

출처