Mesterséges Intelligencia Központ
메뉴

회사 시스템을 인공지능으로 어떻게 연결합니까?

부다페스트의 소프트웨어 개발 회사인 Mesterséges Intelligencia Központ Kft.는 언어 모델을 API를 통해 기존 업무 흐름에 넣는 방식으로 연결해야 한다고 봅니다. 시스템은 그대로 두고, 모델이 추출, 분류, 요약, 문장 작성을 맡습니다.

핵심: 기존 시스템을 바꿀 필요는 없습니다. 언어 모델은 프로그래밍 인터페이스를 통해 작업과 데이터를 받고, 그 결과는 사람들이 그것으로 일하는 곳, 즉 CRM, ERP, 이메일 프로그램으로 돌아갑니다. 측정하기 쉬운 작업 하나로 시작하고, 필요한 데이터만 전달하며, 실수가 금전적 손실로 이어지는 곳에서는 사람이 그 단계를 승인하는 것이 좋습니다.

실무에서는 무엇을 뜻합니까?

대규모 언어 모델(large language model, LLM)은 텍스트를 해석하고 생성합니다. 기업용으로 쓸 때 이는 직원들이 텍스트를 복사해 넣고 다시 복사해 가는 별도의 채팅 창이 아니라, 회사 자체 프로그램이 프로그래밍 인터페이스, 즉 API(application programming interface)를 통해 호출하는 서비스입니다. 모델은 작업에 필요한 데이터를 받아 언어 작업을 수행하고, 프로그램은 그 결과를 확인하고 기록하면서 알맞은 시스템으로 넘깁니다.

거의 모든 연동에 다음 다섯 가지 언어 작업이 등장합니다.

시스템이 답변만 하는 것이 아니라 스스로 여러 단계에 걸쳐 행동까지 해야 한다면 그것은 이미 AI 에이전트이며, 두 방식의 차이는 챗봇입니까, AI 에이전트입니까? 글에서 다룹니다. 모델이 회사 자체 문서를 바탕으로 답해야 한다면 그 방법은 RAG이며, 이는 별도의 글에서 소개합니다.

세 가지 연동 패턴

API와 웹훅

CRM, ERP, 온라인 쇼핑몰, 청구서 발행 프로그램, 이메일 등 대부분의 회사 시스템에는 API가 있어, 다른 프로그램이 이를 통해 데이터를 읽어 오거나 써 넣을 수 있습니다. 웹훅은 그 반대 방향입니다. 주문이나 이메일이 도착하는 것처럼 무언가가 일어나면 시스템이 스스로 미리 지정된 주소에 알립니다. 가장 단순한 AI 연동은 이 둘로 이루어집니다. 이벤트가 자체 서비스를 시작하고, 이 서비스가 언어 모델의 API를 호출해 결과를 확인한 다음, 대상 시스템의 API를 통해 기록합니다. 이 패턴에서 모델은 어떤 회사 시스템에도 직접 접근하지 않습니다. 모든 일은 저희 코드가 하며, 무엇이 모델에 전달되고 무엇이 돌아올 수 있는지는 바로 그곳에서 결정됩니다.

함수 호출(tool use)

함수 호출(Anthropic에서는 tool use, 즉 도구 사용이라고 부릅니다)은 모델이 언제 데이터나 작업이 필요한지 스스로 판단할 수 있게 합니다. 개발자가 사용할 수 있는 함수를 모델에 설명하면(예: “주문 상태 조회”), 모델은 질문을 바탕으로 필요한 매개변수를 담은 구조화된 호출을 돌려줍니다. 세 주요 서비스 제공업체의 문서 모두에 따르면 함수를 실행하는 것은 모델이 아니라 애플리케이션입니다. OpenAI 문서에서는 코드가 애플리케이션 쪽에서 실행되고, Anthropic에 따르면 자체 도구는 애플리케이션이 실행하며, Google Gemini 문서는 모델이 함수를 직접 실행하지 않는다고 명시합니다. 여기에서 가장 중요한 설계 원칙이 나옵니다. 권한 확인은 저희 코드 안에 있으며, 모델의 선의에 달려 있지 않습니다. OpenAI와 Anthropic은 호출의 매개변수가 주어진 스키마를 정확히 따르도록 보장하는 엄격(strict) 모드도 제공합니다. 다만 Anthropic의 문서는 정보가 빠져 있을 때 모델이 그럴듯해 보이는 값을 지어내는 경우가 있다고 경고하므로, 코드에서도 매개변수를 확인해야 합니다.

Model Context Protocol(MCP)

MCP는 개방형 프로토콜로, 사양에 따르면 언어 모델을 사용하는 애플리케이션이 외부 데이터 소스와 도구에 연결하는 표준 방식을 제공합니다. 세 가지 역할이 있습니다. 언어 모델을 사용하는 애플리케이션인 호스트(host), 그 안에서 실행되는 클라이언트, 그리고 데이터(resources), 지시문 템플릿(prompts), 호출할 수 있는 도구(tools)를 제공하는 서버입니다. 메시지는 JSON-RPC 2.0 형식이며, 사양의 현행 버전은 2026-07-28로 표시된 버전입니다(2026년 10월 17일 확인).

MCP의 장점은 한 시스템에 대해 서버를 한 번만 작성하면 여러 AI 애플리케이션이 이를 사용할 수 있다는 점입니다. Anthropic의 API, OpenAI의 API, Gemini API 모두 원격 MCP 서버에 연결할 수 있습니다(2026년 10월 17일 확인). 이 프로토콜이 모든 보안 문제를 해결하지는 않습니다. 사양의 보안 원칙에 따르면 호스트 애플리케이션은 도구를 호출하기 전마다 사용자의 명시적 동의를 받아야 하지만, 프로토콜 자체는 이를 강제할 수 없으므로 구현하는 쪽이 직접 넣어야 합니다. OpenAI는 또한 악의적인 서버가 모델의 컨텍스트에 들어간 민감한 데이터를 유출할 수 있다고 경고합니다. 따라서 기업 환경에서는 자체 서버나 신뢰할 수 있는 제공업체의 서버만 고려해야 합니다.

패턴적합한 용도주의할 점
API와 웹훅고정되고 예측 가능한 프로세스: 모든 이메일과 모든 청구서가 같은 경로를 따름오류 처리와 재시도를 포함해 모든 단계를 미리 설계해야 함
함수 호출모델이 질문에 따라 데이터를 가져오거나 작업을 시작해야 할 때함수의 범위와 권한, 모델이 잘못된 매개변수를 줄 수도 있음
MCP여러 AI 애플리케이션이 같은 시스템에 접근해야 할 때신뢰할 수 있는 서버만 사용, 도구 호출 전 승인

어디에 활용할 수 있습니까? 전형적인 작업

분야작업대표적인 패턴사람의 승인
문서청구서, 납품서, 계약서의 데이터 추출 및 주문과의 대조고정된 스키마로 출력하는 API불일치나 불확실한 추출이 있을 때
이메일수신 메일 분류와 전달, 답장 초안웹훅과 API답장을 보내기 전
CRM고객 이력 요약, 다음 단계 제안읽기 권한을 가진 함수 호출필요 없음(제안일 뿐이므로)
ERP일상적인 말로 데이터에 질문, 보고서 작성읽기 권한을 가진 함수 호출작업이 데이터를 변경하게 될 때
온라인 쇼핑몰상품 설명, 번역, 더 정확한 검색API텍스트를 게시하기 전
사내 지식규정과 매뉴얼을 바탕으로 한 질의응답RAG답변이 출처를 표시한다면 필요 없음

저희 서비스에 관해서는 AI 통합 페이지에서, 여러 시스템에 걸친 자동화된 프로세스에 관해서는 프로세스 자동화 페이지에서, ERP 및 CRM 시스템에 내장된 AI에 관해서는 업무용 소프트웨어 페이지에서 더 자세히 보실 수 있습니다.

데이터 흐름과 데이터 보호: 무엇이 어디로 갑니까?

AI 통합은 데이터 처리이기도 합니다. 따라서 첫 설계 단계는 간단한 데이터 흐름도입니다. 어떤 필드가 회사 시스템 밖으로 나가는지, 어느 서비스 제공업체로 가는지, 어느 리전에서 처리되는지, 서비스 제공업체가 얼마나 오래 보관하는지, 그리고 무엇이 돌아오는지를 그립니다. 서비스 제공업체의 약관은 자주 바뀝니다. 아래 내용은 서비스 제공업체 자체 문서를 바탕으로 합니다(2026년 10월 17일 확인).

서비스 제공업체들은 무엇이라고 말합니까?

GDPR 관점

개인정보가 모델에 전달된다면 그 처리에는 GDPR이 적용됩니다. 이때 모델 제공업체는 일반적으로 데이터 처리자이므로, 일반 데이터 보호 규칙 제28조 제3항에 따른 계약을 그 제공업체와 맺어야 합니다. 제5조는 데이터 최소화를 요구하고, 제25조는 설계 단계부터의 데이터 보호 수단의 예로 가명 처리를 언급합니다. 실무에서 이는 다음을 뜻합니다.

EU 밖으로의 데이터 전송, 투명성, AI Act에 관해서는 기업용 챗봇에 적용되는 AI Act와 GDPR 글에서 다룹니다. 이 내용은 정보 제공을 위한 것이며 법률 자문이 아닙니다.

사람의 승인은 어디에 필요합니까?

언어 모델은 틀릴 수 있으며, OpenAI의 평가 가이드에 따르면 같은 입력에도 항상 같은 출력을 내지는 않습니다. 따라서 모델의 실수가 피해를 일으키지 않도록 프로세스를 설계하는 것이 좋습니다. 저희는 세 가지 수준을 구분합니다.

경험 법칙은 이렇습니다. 실수가 금전적 손실로 이어지거나, 고객에게 영향을 주거나, 되돌릴 수 없는 곳(결제, 청구서, 계약, 고객에게 보내는 이메일)에서는 사람이 그 단계를 승인합니다. OWASP GenAI Security Project의 위험 목록도 과도한 행동 권한(Excessive Agency)에 관해 같은 말을 합니다. 모델은 작업에 필요한 도구만 가능한 한 가장 좁은 권한으로 받고, 영향이 큰 작업 전에는 사람이 승인하며, 작업은 사용자 자신의 권한으로 실행되고, 모든 단계가 기록되어야 합니다.

또 하나의 위험은 프롬프트 인젝션(prompt injection)입니다. 모델이 수신 이메일, 업로드된 문서, 웹 페이지 같은 외부 콘텐츠를 읽을 때, 그 안에 지시처럼 모델을 조종하려는 텍스트가 들어 있을 수 있습니다. OWASP는 이에 대응해 필요한 최소한의 권한, 권한이 큰 작업 전 사람의 승인, 그리고 외부 콘텐츠를 분리하고 신뢰할 수 없는 것으로 표시해 다루는 것을 권합니다.

테스트와 모니터링

AI 연동은 시연에서 설득력이 있어서가 아니라, 회사의 실제 자료에서 측정 가능하게 잘 작동하기 때문에 좋은 것입니다. OpenAI의 평가 가이드에 따르면 테스트 데이터에는 전형적인 사례, 극단적인 사례, 의도적으로 오도하는 사례가 모두 있어야 하며, 변경할 때마다 평가를 다시 실행해야 합니다. Anthropic은 구체적이고 측정 가능한 성공 기준과 실제 작업을 반영하는 테스트 세트를 권합니다. 저희는 이렇게 구성합니다.

모델은 영원히 쓸 수 있는 것이 아닙니다. Anthropic과 OpenAI 모두 오래된 모델의 지원을 정기적으로 종료하며, 이를 고객에게 미리 알립니다. 지원이 종료된 모델로 보낸 요청은 오류를 반환합니다. 그래서 모델을 별도의 계층에 두고, 모델 교체는 실제 운영에 반영하기 전에 같은 평가 세트로 측정합니다.

어떤 모델을 선택해야 합니까?

모든 작업에 똑같이 뛰어난 모델은 없으므로, 선택은 브랜드 충성도가 아니라 측정의 문제입니다. 저희의 기준은 다음과 같습니다.

하나의 시스템 안에서 여러 모델이 함께 일하는 경우도 흔합니다. 분류에는 더 빠르고 작은 모델을, 복잡한 텍스트에는 더 강력한 모델을 씁니다. 모델이 별도의 계층에 있으므로 이 결정은 나중에도 바꿀 수 있습니다.

비용은 무엇에 따라 달라집니까?

비용은 두 부분으로 이루어집니다. 개발 비용은 COSMIC 기능점수로 측정하는 기능 규모에서 나오며, 그 방법은 비용 산정 페이지에서 설명합니다. 실행 비용은 사용량 기반입니다. 서비스 제공업체는 처리하고 생성한 텍스트의 양, 즉 토큰 수에 따라 요금을 청구하며, Anthropic의 설명에 따르면 모델에 전달하는 도구 설명도 입력 토큰으로 계산됩니다. 실행 비용에 영향을 주는 요소는 다음과 같습니다.

실행 비용은 설계 단계에서 회사의 실제 샘플로 추정하며, 모델을 선택할 때도 함께 고려합니다.

단계별로: 이렇게 시작합니다

  1. 작업 하나 선택: 측정 가능한 목표를 가진, 자주 반복되는 언어 중심의 업무를 고릅니다. 예를 들어 접수된 불만 사항 분류입니다.
  2. 데이터 흐름 그리기: 데이터가 어디에서 오는지, 무엇이 모델로 가도 되는지, 결과가 어디로 가는지, 누가 승인하는지 그립니다.
  3. 샘플과 평가 세트: 기대하는 결과를 갖춘 익명화된 실제 예시를 준비합니다.
  4. 프로토타입: 실제 운영 시스템에 연결하기 전에 후보 모델을 샘플로 비교합니다.
  5. 연결: API, 웹훅, 함수 호출 또는 MCP를 권한, 오류 처리, 로그 기록과 함께 구축합니다.
  6. 시범 운영: 좁은 범위에서 모든 단계를 사람이 승인하며 운영하고, 수정 사항에서 배웁니다.
  7. 확장과 운영: 측정 결과가 뒷받침하는 곳에서는 승인 범위가 좁아지며, 모니터링과 모델 교체는 지속적으로 이루어집니다.

전형적인 실수

자주 묻는 질문

어떤 모델을 선택해야 합니까?

회사 자체 샘플에서 해당 작업에 측정상 가장 좋은 성과를 내면서, 요금이 적정하고 데이터 처리 조건이 적합한 모델입니다. 저희는 OpenAI, Anthropic, Google의 모델로 작업하고, 후보를 회사의 예시로 비교하며, 모델이 별도의 계층에 있으므로 결정은 나중에 바꿀 수 있습니다.

회사 데이터를 AI 서비스로 보내도 안전합니까?

적절히 설계하면 안전하지만, 저절로 그렇게 되지는 않습니다. 주요 서비스 제공업체의 비즈니스 API는 자체 문서에 따르면 기본적으로 제출된 데이터를 모델 학습에 사용하지 않지만(2026년 10월 17일 확인), 보관 기간과 장소는 제공업체와 설정에 따라 다릅니다. 필요한 데이터만 내보내고, 개인정보는 가능하면 가명 처리하며, 데이터 처리 계약을 맺고 처리 장소를 의식적으로 선택하는 것은 회사의 몫입니다. 이 내용은 정보 제공을 위한 것이며 법률 자문이 아닙니다.

기존 시스템을 교체해야 합니까?

아닙니다. 연동은 기존 시스템의 API, 웹훅, 데이터베이스 또는 파일 내보내기를 기반으로 하며, 결과는 지금까지 일하던 곳으로 돌아갑니다. 오래된 시스템에 프로그래밍 인터페이스가 없다면, 그 데이터에 안전하게 접근할 수 있는 방법을 검토합니다.

MCP란 무엇입니까?

Model Context Protocol은 언어 모델을 사용하는 애플리케이션을 외부 데이터 소스 및 도구와 표준 방식으로 연결하는 개방형 프로토콜입니다. 여러 AI 애플리케이션이 같은 시스템에 접근해야 할 때 유용합니다. 기업 환경에서는 신뢰할 수 있는 서버와, 도구 호출 전 승인을 갖춘 경우에만 사용하는 것이 좋습니다.

AI가 틀리면 어떻게 됩니까?

저희는 이를 전제로 하므로, 실수가 피해를 일으키지 않도록 프로세스를 설계합니다. 코드가 출력을 확인하고(스키마와 업무 규칙, 예를 들어 청구서 총액이 품목 금액의 합계와 일치하는지), 위험한 단계 전에는 사람이 승인하며, 불확실한 사례는 직원에게 넘어가고, 모든 것이 기록됩니다. 발견된 실수는 평가 세트에 추가되므로 수정 효과를 측정할 수 있습니다.

저희는 어떻게 도와드립니까?

저희는 인공지능으로 존재하는 모든 것을 연결합니다. OpenAI(ChatGPT), Anthropic(Claude), Google(Gemini)의 언어 모델을 기업의 기존 시스템에 연결합니다. 첫 상담은 무료이며, 개발 규모는 COSMIC 기능점수로 측정하고 이를 바탕으로 견적과 일정을 작성합니다. 요청하시면 비밀유지계약(NDA)을 체결하며, 인도 후에는 모델의 작동 상태 모니터링을 포함해 운영과 유지보수도 맡습니다. 소스 코드와 이용 권리는 계약으로 정합니다.

자세한 내용은 AI 통합 페이지에서 보실 수 있습니다. 인공지능으로 연결하고 싶은 프로세스가 있으시다면 연락처 페이지에 안내된 연락처로 메시지를 보내 주시기 바랍니다.

출처