プラットフォームごとに異なる方式で受け取り、結果は表一枚になります

背景

市場調査において製品レビューは一次資料です。ところがレビューが存在する場所のほとんどは、アクセス条件が最も厳しい大手流通プラットフォームです。調査の企画が整っていても、資料を手に入れる段階で止まってしまうことが繰り返されました。

現場で見たこと

プラットフォームによってデータの提供方式が異なりました。ある場所はリクエスト間隔に敏感で、ある場所は接続環境によって応答が変わり、ある場所はレビュー領域だけを別の APIで返します。一つの収集機で全てを相手にしようとすると、どこでも安定しません。

定義した問題

プラットフォームごとに異なる進入方式を使いつつ、その後の整形・統合・出力は一つにまとめることにしました。収集が止まるのは個別プラットフォームの問題であり、成果物の形式がバラバラなのは全体の問題だからです。

作ったもの

プラットフォーム別収集エンジン — 米国・ブラジルの主要流通プラットフォームと家電ブランドの自社サイトを対象に、各サイトがデータを提供する方式に合わせて個別に接続しました
画面が変わっても値がずれません — 一部のプラットフォームでは外見を読む代わりに、ページがすでに保持している内部データをChrome拡張機能で直接参照しました
リクエスト分散と3段階の並列収集 — 一か所から集中して送らず、経路を分けて受け取ります。再現できるよう設計を文書に残しました
単一出力 — プラットフォームが何であっても同じ形式の表で出力されます

防止したこと

数日間に及ぶ収集で実際に起こる事象をコードで扱い、それが意図どおりに動くかを 検証26件で確認しました。

中断後の再開 — 保存済みの進行位置と実際に蓄積された件数のうち小さい方から再開します。重複して受け取るコストより、取り損ねた資料を後から見つけるコストの方が大きいからです
統合時の重複除去 — 一意の識別子で結合します。すでに受け取った資料はそのまま残ります
経路の切り替え — 応答が来ない、または形式が壊れた応答が来た場合は別の経路に切り替えて、その位置から続行します
形のずれた資料は表に積み上がりません — 受け取った値が期待する形式と異なれば、その場でふるい落とします
並列数を自動的に制限 — 指定した値が過大なら自ら引き下げます。集中して送らないことが、数日かかる収集を最後までやり抜く道です

結果

プラットフォームが12か所でも、結果は同じ形式の表一枚で出力されます。 どこから受け取った資料かによって列が変わらないため、受け取ったものを再度整える段階なしで、そのまま分析資料として使います。対象が一か所増えても増えるのはそのプラットフォームの進入方式だけであり、その後の整形・統合・出力には手を付けません。

同じ方式で作った他の仕事はウェブデータ収集にまとめてあります。