グローバルレビュー統合収集ツール

背景

市場調査において、製品レビューは一次データです。しかしレビューが集まっているのは、 アクセス条件の厳しい大手ECプラットフォームがほとんどです。調査の設計が整っていても、 データを入手する段階で止まってしまうことが繰り返されていました。

現場の状況

データの提供方法は、プラットフォームによって異なっていました。リクエストの間隔に敏感なところ、 接続環境によって応答が変わるところ、レビュー部分だけを別のAPIで返すところもあります。 一つの収集ツールですべてに対応しようとすると、どこでも安定して動きません。

課題

データの取得方法はプラットフォームごとに変え、その後の整形・統合・出力は一本化することにしました。 収集が止まるのは個々のプラットフォームの問題ですが、成果物の形式がばらばらになるのは 全体の問題だからです。

開発内容

• プラットフォーム別の収集エンジン — 米国・ブラジルの主要ECプラットフォームと 家電ブランドの公式オンラインストアを対象に、各サイトのデータ提供方法に合わせて個別に構築しました
• 画面が変わっても値がずれません — 一部のプラットフォームでは、表示内容を読み取る代わりに、 ページが内部に保持しているデータをChrome拡張機能から直接参照しました
• リクエストの分散と3段階の並列収集 — 1か所から集中して送らず、経路を分けて取得します。 再現できるよう、設計内容をドキュメントにまとめました
• 統一形式での出力 — どのプラットフォームのデータも、同じ形式の表で出力されます

リスク対策

数日間にわたる収集で実際に起こる事態をあらかじめコードで処理し、意図どおりに 動作することを26件の検証で確認しました。

• 中断後の再開 — 保存しておいた進行位置と、実際に蓄積された件数のうち小さい方から 再開します。重複して取得するコストより、取りこぼしたデータに後から気づくコストの方が大きいためです
• 統合時の重複排除 — 一意の識別子をもとに統合します。取得済みのデータはそのまま残ります
• 経路の切り替え — 応答がない場合や、形式の崩れた応答が返ってきた場合は別の経路に切り替え、 その時点から収集を続けます
• 形式の合わないデータは表に入りません — 取得した値が想定と異なる形式であれば、 その場で除外します
• 並列数を自動で制限 — 指定した値が多すぎる場合は自動で引き下げます。アクセスを集中させない ことで、数日に及ぶ収集を最後まで完了できます

結果

対象が12か所あっても、結果は同じ形式の1つの表で出力されます。 取得元によって 列の構成が変わらないため、データを整え直す工程を挟まず、そのまま分析に 使えます。対象を1か所追加する場合も、増えるのはそのプラットフォームの取得処理だけで、 その後の整形・統合・出力には手を加えません。

同じ方式のほかの事例はWebデータ収集でご覧いただけます。