단지를 고르면 매물 상세가 엑셀로 정리되는 수집 프로그램

배경

관심 단지가 미리 정해져 있는 일이 있습니다. 여섯 곳을 정해 두고 그 단지에 지금 매물이 몇 건 나와 있는지, 조건이 어떤지, 어제와 무엇이 달라졌는지를 계속 봐야 합니다.

현장에서 본 것

매물 하나를 확인하려면 목록에서 눌러 상세를 열고, 필요한 항목을 눈으로 읽어 옮겨 적습니다. 단지가 여섯이면 여섯 번이 아니라 매물 수만큼입니다. 그리고 그 일은 다음 날 처음부터 다시 시작됩니다.

정의한 문제

모으는 것보다 끝까지 모으는 것이 문제였습니다. 매물을 빠르게 연달아 요청하면 중간에 응답이 끊깁니다. 한 번 끊긴 자리를 이어 붙이지 못하면 그날 수집은 절반짜리가 됩니다.

만든 것

• 단지 선택과 수집량 지정 — 등록된 단지 중 원하는 곳만 고르고, 가져올 매물 수를 1~1,000건 범위에서 정합니다
• 요청 간격 조절 — 매물 사이에 둘 대기 시간을 최소·최대(각 130초)로 정하면 그 사이에서 무작위로 쉽니다. 기본은 25초입니다. 몰아치지 않는 것이 결국 끝까지 모으는 길입니다
• 진행 상황을 화면에 — 전체 진행률, 지금 어느 단계인지, 몇 번째 매물인지, 그리고 한 건이 끝날 때마다 로그 한 줄. 오래 걸리는 작업은 진행이 보이지 않으면 멈춘 것과 구분되지 않습니다
• 실패가 이어지면 멈춥니다 — 연속 실패가 정해진 횟수를 넘으면 수집을 중단합니다. 빈 데이터를 계속 쌓는 것보다 낫습니다
• 엑셀 두 가지 — 바로 읽는 정리표와, 받아온 원본을 전부 펼친 표를 함께 냅니다. 정리표는 34개 항목으로 고정하고 빈 열과 중복 행을 걸러 냅니다. 펼친 표의 항목 수는 수집된 매물의 구성에 따라 달라집니다(납품 폴더에 남은 두 파일이 각각 428개와 696개)
• 설치 없이 실행 — 파이썬 설치나 명령줄 없이 실행파일 하나로 뜹니다. 실행하면 비어 있는 포트를 찾아 브라우저가 저절로 열립니다

결과

단지를 고르고 버튼을 누르면 매물이 한 건씩 수집되고, 끝나면 엑셀이 폴더에 쌓입니다. 화면의 「Excel 폴더 열기」가 그 폴더를 바로 엽니다.

같은 방식으로 만든 다른 일은 웹 데이터 수집에 모아 두었습니다.