사내 AI 챗봇, 자체 서버에 구축할 수 있습니다 — 회사 자료를 밖으로 보내지 않는 구성 기준

사내 AI 챗봇은 자체 서버에 구축할 수 있습니다. 구성을 가르는 기준은 「질문과 회사 문서가 어디로 가는가」입니다. 이 글은 세 가지 구성을 비교하고, 자료의 위치와 법적 확인 지점을 순서대로 짚습니다.

구성	자료가 머무는 곳	먼저 확인할 것
① 외부 AI API 연결	질문·문서가 외부 서버로 전송	전송 항목 범위, 저장·보관 조건
② 자체 서버(온프레미스) 직접 운영	사내 네트워크 내부	모델 사양, 동시 사용자 규모
③ 혼합(민감 자료만 사내)	민감 문서는 사내, 일반 질의만 외부	경계 분류 기준

① 외부 AI API를 쓰는 경우 — 무엇이 밖으로 나가나

OpenAI는 공식 문서(Data controls in the OpenAI platform)에서 2023년 3월 1일부터 API로 전송한 데이터를 이용자가 명시적으로 동의하지 않는 한 모델 학습·개선에 사용하지 않는다고 밝히고 있습니다. 다만 남용 모니터링 로그는 기본적으로 생성되며 최대 30일 보관되고(법이 더 긴 보관을 요구하는 경우 등은 예외), 이 로그에 질문과 답 같은 고객 콘텐츠가 포함될 수 있습니다. Anthropic도 상업용 제품(API, Claude for Work 등)의 입력·출력을 기본값에서 학습에 쓰지 않는다고 Privacy Center에 기재하되, 이용자가 피드백을 명시적으로 보낸 경우는 예외로 둡니다.

「학습에 쓰지 않는다」와 「저장되지 않는다」는 다른 문제입니다. 학습 배제 정책이 있어도 전송·모니터링·로그 보관 구간은 별도로 확인해야 합니다.

② 개인정보가 섞이는 경우 — 법에서 확인할 것

질문에 직원·고객 개인정보가 섞일 수 있다면 개인정보 보호법 관련 조문을 점검합니다. 제26조 제1항은 위탁 문서에 포함할 내용을 규정합니다: “개인정보처리자가 제3자에게 개인정보의 처리 업무를 위탁하는 경우에는 다음 각 호의 내용이 포함된 문서로 하여야 한다.” 각 호는 1. 위탁업무 수행 목적 외 개인정보의 처리 금지에 관한 사항, 2. 개인정보의 기술적ㆍ관리적 보호조치에 관한 사항, 3. 그 밖에 개인정보의 안전한 관리를 위하여 대통령령으로 정한 사항입니다. 같은 조 제4항은 위탁자가 수탁자를 교육하고 안전하게 처리하는지 감독할 의무를 둡니다.

외부 서비스에 처리를 맡기는 구조라면 위 조문이 적용되는지 검토 대상이 됩니다. 또한 챗봇 서버가 국외에 있으면 제28조의8 제1항을 확인합니다: “개인정보처리자는 개인정보를 국외로 제공(조회되는 경우를 포함한다)ㆍ처리위탁ㆍ보관(이하 이 절에서 “이전”이라 한다)하여서는 아니 된다.” 다만 정보주체의 별도 동의, 법률·조약의 특별 규정, 계약 이행을 위한 처리위탁·보관으로서 처리방침 공개 또는 통지, 보호위원회 고시 인증, 보호위원회가 동등 수준으로 인정한 국가 등 단서에 해당하는 경로가 있습니다.

③ 자체 서버에 두는 경우 — 무엇을 정하나

운영할 모델의 사양은 「쓸 모델의 크기와 동시에 쓰는 인원」에 따라 결정됩니다. 특정 GPU 숫자를 먼저 정하기보다, 응답 속도 목표와 동시 접속 인원, 모델 파라미터 규모를 함께 따져야 합니다.

부서별 열람 권한도 이 단계에서 설계합니다. 인사·재무·영업 문서를 같은 인덱스에 두면 특정 직원이 열람 범위를 넘는 답변을 받을 수 있습니다.

답에 근거를 붙이는 방식(RAG: Retrieval-Augmented Generation, 문서를 색인화해 질문과 관련 구절을 찾아 답변에 출처를 덧붙이는 구성)을 쓰면, 어느 부서의 어떤 문서에서 가져온 정보인지 사용자가 확인할 수 있습니다.

직접 구축하면 실제로 막히는 지점이 있습니다. 엑셀 시트·PDF 표·스캔 이미지처럼 문서 형식마다 읽는 방식이 다르고, 부서별 열람 범위를 답변 단계까지 일관되게 지켜야 합니다. 구성을 확정하기 전에 이 두 지점을 함께 검토하면 구축 뒤에 다시 만들 일이 줄어듭니다. → 구성 검토 문의

확인 순서

1. 사내 자료를 개인정보 포함 여부와 민감도 기준으로 분류합니다.
2. 외부로 전송해도 되는 자료와 사내에 둘 자료를 가릅니다.
3. 위 세 구성 중 하나를 선택하고, 외부 전송 시 저장·로그 조건을 벤더 문서에서 확인합니다.
4. 개인정보가 얽히면 개인정보 보호법 적용 여부를 법률 전문가와 검토합니다.

정리하면

대부분의 회사는 사내 문서를 기반으로 한 AI 챗봇을 자체 서버에 두는 구성으로 시작할 수 있습니다. 자료 위치와 권한 경계를 먼저 정하면, 이후 모델 교체나 확장도 같은 구조 안에서 진행할 수 있습니다.

---

사내 AI 챗봇 구성은 자료 위치 기준과 부서별 권한 설계에서 시작합니다.

보유 문서의 형식과 사용 부서를 공유해 주시면, 적합한 구성과 진행 범위를 제안해 드립니다. → 구성 검토 문의하기 · 해온 일 보기

참고자료

• 개인정보 보호법 제26조 제1항·제4항, 제28조의8 제1항 [확인 — 국가법령정보센터, 2026. 9. 11. 시행본]
• OpenAI, “Data controls in the OpenAI platform” [확인 — 공식 문서]
• Anthropic Privacy Center, “Is my data used for model training?” [확인 — 공식 문서]