Webデータ収集

Webデータ収集の主な事例です。

各事例について、導入前の状況と成果、モックデータで再現した実行画面をあわせてご紹介します。

このテーマについてよくある質問

• Webクローリング、どこまでできるか — 合法的にデータを収集するための4つの基準 結論から言えば、クローリングは合法的に行えます。基準は「サービス提供者がアクセス権限を制限しているか」です。
• ニュースモニタリングの自動化 — 自社名が出た記事をすぐに受け取る方法 結論から言えば、キーワードに関するニュースを自動で集めて通知する仕組みは十分に作れます。選ぶことは3つ、決めることは4つです。
• Excelへの転記作業は自動化できます — 見極めるための3つの基準 結論から言えば、ルールが決まっていて繰り返し発生する作業は、すべて自動化の対象です。特殊に見えるのは、たいていルールがまだ文書になっていないからです。

VROFは、漏れのない収集を基準にしています。

収集の過程では、応答が途切れたり画面の構造が変わったりするうえ、サイトごとに項目名も異なります。 中断した位置から収集を再開し、 途中までしか収集できていない結果が、完了した結果として納品されないようにしています。

• リクエスト間隔の調整

  リクエストの間に間隔を空け、失敗が続いた場合は決められた回数で収集を止め、空のデータがたまらないようにします。

• 基準をそろえてから集計

  サイトごとに異なる項目名や単位を一つの基準にそろえてから集計します。

• 進捗状況の記録

  収集の進捗を記録しているため、途中で途切れても最初からやり直さずに続きから収集します。

• すぐに使える成果物

  結果はExcelや画面でお渡しし、ツールはPythonをインストールせずに使える実行ファイルで提供します。

収集の範囲と基準

対象サイトの利用規約と個人情報の保護を優先し、収集する項目と範囲は お客様と事前に協議して決めます。 事例の画面でも、お客様や個人を特定できる情報は伏せています。

アプリでのみ提供されているデータは、 アプリクローリング のサービスで収集します。

データ収集代行の料金は収集範囲に応じて4段階で設定しており（税別）、社内の稟議資料としてそのままご利用いただけます。

• 基本

  15万ウォン

  ログイン不要の1画面からデータを1回抽出し、整理したファイルでお渡しします。

• 簡易

  29万ウォン

  基本の内容に加え、ログイン不要の環境でページ送りや複数画面の移動を伴うデータ収集を行います。

• 標準

  49万ウォン

  簡易の内容に加え、ログインが必要な画面の収集と、2か所以下のデータソースの統合・クレンジングを行います。

• 定期

  99万ウォン

  標準の内容に加え、決まった周期でデータを収集する自動実行と、異常発生時の通知の仕組みを構築します。

上記の金額は難易度ごとの基準で、構造がシンプルなサイトは基準より低くなる場合があります。サイトのURLをお知らせいただければ、1営業日以内に該当する区分をご案内します。

定期プランは月額3万〜5万ウォン（税別）の運用費がかかり、自動実行環境の維持と毎日の稼働状況の点検が含まれます。

3か所以上を同時にご発注の場合、10%を追加で割引します。作業範囲は契約時に明記し、サイトの構造変更や無償サポート終了後の修正は1時間あたり5万ウォンの実費で対応します。

Webデータ収集は、VROFにご相談ください。

必要なサイトと項目をお知らせいただければ、収集できるかどうかと成果物の形式を検討してご案内します。

1営業日以内に返信