허가 없이 브랜드명을 달고 팔리는 상품의 판매처를 찾아내는 수집

배경

재단이 만든 문화상품에는 브랜드가 있습니다. 그리고 그 브랜드명을 정식 허가 없이 달고 파는 상품이 온라인 쇼핑몰에 올라옵니다. 저작권과 상표를 보호하는 일은 그것이 어디서 팔리고 있는지 아는 것에서 시작합니다.

현장에서 본 것

쇼핑몰 검색 결과는 페이지로 끊겨 있고, 같은 판매처가 여러 상품으로 반복해서 나옵니다. 사람이 눈으로 훑으면 뒤 페이지로 갈수록 놓치고, 앞에서 이미 확인한 판매처를 다시 확인하게 됩니다. 검색 결과가 몇 페이지인지에 따라 확인의 질이 달라집니다.

정의한 문제

찾아야 하는 것은 상품이 아니라 판매처였습니다. 상품 단위로 세면 같은 곳이 여러 번 잡혀서, 실제로 조치해야 할 대상이 몇 곳인지 알 수 없습니다. 세는 단위를 바꾸는 것이 이 일의 핵심이었습니다.

만든 것

• 검색 결과 전 페이지 순회 — 브랜드명으로 검색하고 페이지당 40건씩 끝까지 넘깁니다
• 상품명 대조 — 상품명에 브랜드명이 실제로 들어간 건만 남깁니다
• 판매처 기준 중복 제거 — 같은 판매처는 한 번만 기록됩니다. 조치 대상의 수가 그대로 판매처 수가 됩니다
• 엑셀 출력 — 상품명, 판매처 주소, 검색 결과 내 위치를 함께 남겨 다시 찾아갈 수 있게 했습니다

막아 둔 것

• 쉬어 가며 넘깁니다 — 페이지를 넘길 때마다 대기 시간을 무작위로 둡니다. 몰아 보내면 상대 서버에 부담이 됩니다
• 끝까지 넘깁니다 — 검색 결과는 앞쪽이 아니라 뒤쪽에 정식 판매처가 아닌 곳이 몰려 있습니다. 앞 몇 페이지만 보면 찾아야 할 것을 못 찾습니다
• 중복은 판매처 단위로 걸러냅니다 — 한 곳이 상품 열 개를 올려도 한 번만 남습니다. 조치 대상의 수가 부풀지 않습니다

결과

발주 범위를 완료해 납품했습니다.

같은 방식으로 만든 다른 일은 웹 데이터 수집에 모아 두었습니다.