웹 크롤링, 어디까지 되나 — 합법적으로 데이터 수집하는 기준 4가지

웹 크롤링은 합법적으로 할 수 있습니다. 대법원은 2021도1533 판결에서 경쟁사 앱 API 서버에서 정보를 수집한 행위에 대해 기소된 세 죄목 — 정보통신망법 위반, 컴퓨터등장애업무방해, 저작권법 위반 — 을 모두 무죄로 판단했습니다. 갈리는 자리는 대상과 방법 셋입니다.

갈래	근거 조문	설계에서 확인할 것
접근권한	정보통신망법 §48①	로그인·캡차 같은 보호조치, 이용약관에 수집 금지가 있는가
개인정보	개인정보보호법 §15①	이름·연락처가 섞이는가. 섞이면 근거부터 정한다
저작물·DB	저작권법 §16, §93①②	전부를 복제해 재가공하는가, 필요한 일부만 쓰는가

① 접근권한 — 제한된 곳에 들어갔는가

정보통신망법 제48조 제1항은 “정당한 접근권한 없이 또는 허용된 접근권한을 넘어 정보통신망에 침입“하는 것을 금지합니다.

어디까지가 “제한된 곳”인지는 대법원이 정해 두었습니다.

서비스제공자가 접근권한을 제한하고 있는지 여부는 보호조치나 이용약관 등 객관적으로 드러난 여러 사정을 종합적으로 고려하여 신중하게 판단하여야 한다.

— 대법원 2022. 5. 12. 선고 2021도1533

robots.txt 는 보호조치가 아닙니다. 표준(RFC 9309)이 스스로 “유효한 콘텐츠 보안 수단의 대체물이 아니다”라고 못 박습니다. 어겼다고 곧바로 위법이 되지도, 지켰다고 합법이 보장되지도 않습니다. 읽어서 지키되 그것만으로 안심하지 않습니다.

② 개인정보 — 사람에 관한 정보가 섞였는가

개인정보보호법 제15조 제1항은 수집·이용이 가능한 경우를 한정해 열거합니다(동의, 법률의 특별한 규정, 계약의 체결·이행 등).

이름·연락처·주소가 섞이면 크롤링 여부와 무관하게 별도 규제를 받습니다. 목적과 법적 근거를 먼저 정하고 시작합니다.

③ 저작물·DB — 얼마나 가져오는가

데이터베이스제작자는 “전부 또는 상당한 부분을 복제·배포·방송 또는 전송할 권리“를 가집니다(저작권법 §93①).

여기서 실무가 오해합니다. 개별 소재 하나는 “상당한 부분”이 아니지만, 조금씩 오래 긁으면 괜찮은 것은 아닙니다 — 반복적·체계적으로 해서 결국 상당한 부분을 복제한 것과 같은 결과가 되면 침해로 봅니다(§93②).

셋 밖에서 지킬 것

• 서버에 부담을 주지 않습니다 — 수집 주기를 사람이 쓰는 수준으로, 병렬 요청 수를 제한합니다. 몰아 보내면 제3자의 서비스를 방해하는 방식이 됩니다.
• 봇임을 숨기지 않습니다 — User-Agent에 목적과 연락처를 넣습니다.

확인 순서

1. 대상 사이트의 이용약관·robots.txt를 직접 읽습니다
2. 수집 대상이 개인정보인지, DB의 상당 부분인지 판별합니다
3. 사안이 얽혀 있으면 법률 전문가의 검토를 받습니다

1번이 먼저인 데는 이유가 있습니다. 법과 별개로 약관이 범위를 정해 두는 경우가 있습니다 — 특히 로그인해서 쓰는 판매자·점주용 시스템이 그렇습니다. 법적 판단에 앞서 계약의 문제이므로, 먼저 보면 나중에 다시 만들 일이 없습니다.

한 가지 덧붙입니다. 2021도1533은 형사사건입니다. 형사에서 무죄가 나왔다는 사실만으로 민사 책임까지 없다고 읽으시면 안 됩니다.

정리하면

대부분의 수집은 문제없이 할 수 있습니다. 대법원이 세 죄목을 모두 무죄로 판단한 것도 그 때문입니다 — 막아 둔 곳에 들어가지 않고, 개인정보를 건드리지 않고, 남의 데이터베이스를 통째로 옮기지 않고, 서버에 무리를 주지 않으면 됩니다.

막히는 것은 대개 「할 수 있는가」가 아니라 「어디까지인가」입니다. 그 선을 먼저 그어 두면 만든 뒤에 되돌릴 일이 없습니다.

직접 판단하실 때 실제로 걸리는 곳은 법 해석이 아니라 그다음입니다 — 약관에 명시가 없을 때, 로그인 뒤 화면이 대상일 때, 개인정보가 섞였는지 애매할 때. 이런 건은 조문만 봐서는 안 갈리고 수집 설계를 함께 놓고 봐야 판단이 섭니다. 수집 설계 검토를 문의하시면 대상별로 정리해 드립니다.

---

모으려는 사이트 주소만 있으면 됩니다.

무엇을 모으고 싶으신지 한 줄로 알려 주시면, 약관·robots.txt·개인정보 여부를 저희가 먼저 확인해 가능한지와 어디까지인지 정리해 드리겠습니다. 검토 뒤에 개발 착수를 정하시면 됩니다.

→ 수집 가능한지 문의하기 · 해온 일 보기

---

참고자료

• 정보통신망법 제48조 제1항 · 개인정보보호법 제15조 제1항 · 저작권법 제16조·제93조 제1항·제2항 [확인 — 국가법령정보센터]
• 대법원 2022. 5. 12. 선고 2021도1533 [확인 — 판결문 원문. 기소된 3개 죄명 전부 무죄]
• RFC 9309 Robots Exclusion Protocol [확인 — IETF, 2022]