손으로 옮겨 적던 일을 프로그램이 합니다

자료가 여러 사이트에 흩어져 있으면, 사람이 하나씩 열어 보고 엑셀에 옮겨 적게 됩니다. 그리고 그 일은 다음 날 처음부터 다시 시작됩니다.

공개 사례 12건 · 2024–2026

문제

어려운 것: 모으는 것보다 끝까지 모으는 것
판정: 같은 기준으로 셌는가

모으는 것보다 끝까지 모으는 것이 어렵습니다.

한 번 훑어 오는 것은 어렵지 않습니다. 문제는 그다음입니다. 중간에 응답이 끊기고, 화면 구조가 바뀌고, 사이트마다 항목 이름이 다릅니다. 끊긴 자리를 이어 붙이지 못하면 그날 수집은 절반짜리가 됩니다 — 그런데 절반인지 전부인지는 표만 봐서 알 수 없습니다.

몰아치지 않습니다

요청 사이에 간격을 두고, 연속으로 실패하면 정해진 횟수에서 멈춥니다. 빈 데이터를 계속 쌓는 것보다 멈추는 편이 낫습니다.
같은 기준으로 셉니다

사이트마다 항목 이름과 단위가 다릅니다. 모아 놓고 그대로 더하면 숫자가 서로 다른 것을 세게 됩니다. 기준을 먼저 맞추고 셉니다.
어디까지 했는지 남깁니다

오래 걸리는 수집은 진행이 보이지 않으면 멈춘 것과 구분되지 않습니다. 중간에 끊겨도 처음부터 다시 받지 않도록 자리를 남깁니다.
받는 사람이 바로 쓰게 만듭니다

결과는 엑셀이나 화면으로 냅니다. 도구는 파이썬을 설치하지 않고도 쓸 수 있도록 실행 파일로 넘깁니다.