게시판 19개를 훑어 공고를 모으고 제자리에 올리는 도구

배경

같은 성격의 공고가 여러 게시판에 따로 올라옵니다. 어디에 무엇이 올라왔는지 확인하려면 게시판을 하나씩 열어봐야 하고, 게시판이 열아홉 곳이면 열아홉 번을 반복해야 합니다. 새 공고는 계속 올라오므로 이 일도 계속됩니다.

현장에서 본 것

반복 그 자체보다 문제가 되는 것은 빠뜨려도 모른다는 점이었습니다. 사람이 열아홉 곳을 도는 동안 어느 한 곳을 건너뛰면, 건너뛰었다는 사실이 아무 데도 남지 않습니다. 그날 그 게시판의 공고는 그냥 없던 것이 됩니다.

정의한 문제

모으는 것만으로는 절반입니다. 모은 뒤에 어디에 올릴지까지 정해지지 않으면 사람이 다시 분류해야 하고, 그러면 반복 작업이 없어진 게 아니라 자리만 옮긴 셈입니다. 수집과 업로드를 한 화면에서 잇고, 빠진 것이 있으면 보이게 하는 것까지가 문제의 범위였습니다.

만든 것

• 게시판 단위 수집 — 전체를 훑거나 카테고리만 골라 훑습니다. 시작 페이지와 종료 페이지를 지정해 필요한 구간만 가져옵니다
• 네 개로 나눠 세기 — 총 게시판, 완료된 게시판, 발견된 게시물, 수집 완료를 따로 셉니다. 한 덩어리 진행률만 보여주면 어디서 빠졌는지 알 수 없습니다
• 게시판별 건수 — 어느 게시판에서 몇 건을 가져왔는지 나열합니다. 평소와 다른 숫자가 보이면 그 게시판만 다시 봅니다
• 카테고리를 정해 업로드 — 수집한 것을 지정한 카테고리로 올립니다. 전체를 한 번에 올리거나 카테고리별로 나눠 올립니다
• 오래된 데이터 정리 — 열흘이 지난 수집 데이터를 지웁니다. 쌓아 두면 느려지고, 쓰지 않는 자료를 계속 보관하는 것도 부담입니다

결과

약 2주 만에 만들어 납품했습니다. 게시판 19곳을 한 번의 실행으로 훑고, 발견한 318건을 빠짐없이 가져와 정한 카테고리로 올립니다.

같은 방식으로 만든 다른 일은 웹 데이터 수집에 모아 두었습니다.