플랫폼마다 다르게 받고, 결과는 표 한 장으로 나옵니다

배경

시장조사에서 제품 리뷰는 원자료입니다. 그런데 리뷰가 있는 곳은 대부분 접근 조건이 가장 까다로운 대형 유통 플랫폼입니다. 조사 기획은 갖춰져 있어도 자료를 손에 넣는 단계에서 멈추는 일이 반복됐습니다.

현장에서 본 것

플랫폼마다 자료를 내주는 방식이 달랐습니다. 어떤 곳은 요청 간격에 민감하고, 어떤 곳은 접속 환경에 따라 응답이 달라지며, 어떤 곳은 리뷰 영역만 별도 API로 내려줍니다. 하나의 수집기로 전부를 상대하려 하면 어디서도 안정적이지 않습니다.

정의한 문제

플랫폼별로 다른 진입 방식을 쓰되, 그 뒤의 정제·병합·출력은 하나로 묶기로 했습니다. 수집이 멈추는 것은 개별 플랫폼의 문제이고, 결과물의 형식이 제각각인 것은 전체의 문제이기 때문입니다.

만든 것

• 플랫폼별 수집 엔진 — 미국·브라질의 주요 유통 플랫폼과 가전 브랜드 자사몰을 대상으로, 각 사이트가 자료를 내주는 방식에 맞춰 따로 붙였습니다
• 화면이 바뀌어도 값이 어긋나지 않습니다 — 일부 플랫폼은 겉모양을 읽는 대신 페이지가 이미 들고 있는 내부 데이터를 크롬 확장으로 직접 참조했습니다
• 요청 분산과 3단계 병렬 수집 — 한곳에서 몰아 보내지 않고 경로를 나눠 받습니다. 재현 가능하도록 설계를 문서로 남겼습니다
• 단일 출력 — 플랫폼이 무엇이든 같은 형식의 표로 떨어집니다

막아 둔 것

며칠씩 이어지는 수집에서 실제로 발생하는 일들을 코드로 다뤘고, 그것이 의도대로 동작하는지 검증 26건으로 확인했습니다.

• 중단 후 재개 — 저장해 둔 진행 지점과 실제로 쌓인 건수 중 작은 쪽에서 다시 시작합니다. 겹쳐 받는 비용보다 빠뜨린 자료를 나중에 발견하는 비용이 큽니다
• 병합 시 중복 제거 — 고유 식별자로 합칩니다. 이미 받은 자료는 그대로 남습니다
• 경로 전환 — 응답이 오지 않거나 형식이 깨진 응답이 오면 다른 경로로 바꿔 그 지점부터 계속합니다
• 모양이 어긋난 자료는 표에 쌓이지 않습니다 — 받아 온 값이 기대하는 형식과 다르면 그 자리에서 걸러 냅니다
• 병렬 수를 자동으로 제한 — 지정한 값이 과하면 스스로 낮춥니다. 몰아치지 않는 것이 며칠짜리 수집을 끝까지 가져가는 길입니다

결과

플랫폼이 열두 곳이어도 결과는 같은 형식의 표 한 장으로 나옵니다. 어디서 받아 온 자료인지에 따라 열이 달라지지 않기 때문에, 받은 것을 다시 맞춰 놓는 단계 없이 그대로 분석 자료로 씁니다. 대상이 한 곳 늘어도 늘어나는 것은 그 플랫폼의 진입 방식 하나이고, 그 뒤의 정제·병합·출력은 손대지 않습니다.

같은 방식으로 만든 다른 일은 웹 데이터 수집에 모아 두었습니다.