求人情報の収集・掲載ツール

背景

同じ種類の求人情報が、複数の掲示板に別々に掲載されます。どこに何が掲載されたかを 確認するには掲示板を一つずつ開く必要があり、19か所あれば19回同じ作業を 繰り返すことになります。新しい求人は次々と掲載されるため、この作業に終わりはありません。

現場の状況

繰り返しそのものより問題だったのは、見落としても気づけないことでした。19か所を 順に確認する中で一つを飛ばしても、飛ばしたという事実はどこにも残りません。 その日、その掲示板に出た求人は、なかったことになってしまいます。

課題

集めるだけでは半分です。集めた後にどこへ掲載するかまで決まっていなければ、 結局人が分類し直すことになり、手作業はなくならず場所を移しただけになります。 収集から掲載までを一つの画面でつなぎ、漏れがあればすぐ分かるようにすることまでを 課題の範囲としました。

開発内容

• 掲示板単位で収集 — すべての掲示板を巡回するか、カテゴリーを選んで巡回します。開始ページと終了 ページを指定し、必要な範囲だけを取得できます
• 4つの数値を個別に集計 — 掲示板総数、完了した掲示板、検出した投稿、収集完了を それぞれ集計します。全体の進捗率だけでは、どこで漏れたのか分からないためです
• 掲示板ごとの件数 — どの掲示板から何件取得したかを一覧で表示します。いつもと違う 数字があれば、その掲示板だけを確認し直せます
• カテゴリーを指定して掲載 — 収集した求人を指定したカテゴリーに掲載します。すべてを一度に 掲載することも、カテゴリーごとに分けて掲載することもできます
• 古いデータの整理 — 10日を過ぎた収集データを削除します。データが溜まると動作が重くなり、 使わないデータを保管し続けることも負担になります

結果

約2週間で開発・納品しました。19か所の掲示板を1回の実行で巡回し、検出した318件を 漏れなく取得して、指定したカテゴリーに掲載します。

同じ方式のほかの事例はWebデータ収集でご覧いただけます。