掲示板19か所を巡回して求人を集め、所定の場所に掲載するツール

背景

同じ性質の求人が複数の掲示板に別々に掲載されます。どこに何が掲載されたかを確認するには掲示板を一つずつ開く必要があり、掲示板が19か所あれば19回の繰り返しが必要です。新着の求人は次々に掲載されるため、この作業も続いていきます。

現場で見たこと

繰り返しそのものよりも問題だったのは、取りこぼしても気づかないという点でした。人が19か所を順番に確認している間にどこか一つを飛ばしてしまうと、飛ばしてしまった事実はどこにも残りません。 その日のその掲示板の求人は、ただなかったことになります。

定義した問題

集めるだけでは半分にすぎません。集めた後にどこに掲載するかまで決まらなければ、人が再び分類する必要があり、それでは繰り返し作業がなくなったのではなく、場所が移っただけです。 収集とアップロードを一つの画面でつなぎ、抜けがあれば見えるようにすることまでが問題の範囲でした。

作ったもの

• 掲示板単位の収集 — 全体を巡回するか、カテゴリーだけを選んで巡回します。開始ページと終了ページを指定して、必要な区間だけを取得します
• 四つを別々に集計 — 掲示板の合計、完了した掲示板、発見した投稿、収集完了をそれぞれ集計します。ひとまとまりの進捗率だけを見せると、どこで抜けたのか分かりません
• 掲示板ごとの件数 — どの掲示板から何件取得したかを並べます。いつもと違う数字が見えたら、その掲示板だけを再確認します
• カテゴリーを指定してアップロード — 収集したものを指定したカテゴリーに掲載します。全体を一度に掲載するか、カテゴリーごとに分けて掲載します
• 古いデータの整理 — 10日を過ぎた収集データを削除します。溜めておくと遅くなり、使わないデータを保管し続けるのも負担です

結果

約2週間で作り、納品しました。掲示板19か所を一度の実行で巡回し、発見した318件を漏れなく取得して、定めたカテゴリーに掲載します。

同じ方式で作った他の事例はウェブデータ収集にまとめています。