手で書き写していた仕事をプログラムが行います
資料が複数のサイトに散らばっていると、人が一つずつ開いてExcelに書き写すことになります。そして、その作業は翌日また最初から始まります。
公開事例 14件 · 2024–2026
集めることより、最後まで集めることのほうが難しいです。
一度ざっと取得するのは難しくありません。問題はその先です。途中で応答が途切れ、画面の構造が変わり、サイトごとに項目名が違います。 途切れたところをつなげられなければ、その日の収集は半分だけのものになります — でも、半分なのか全部なのかは表だけ見ても分かりません。
-
一度に送り込んだりしません
リクエストの間に間隔を空け、連続で失敗したら決めた回数で止まります。空のデータを積み続けるより、止まるほうがましです。
-
同じ基準で集計します
サイトごとに項目名と単位が違います。集めたものをそのまま足すと、数字は別々のものを数えることになります。基準を先に合わせてから集計します。
-
どこまで進めたかを残します
時間のかかる収集は、進み具合が見えなければ止まっているのと区別できません。途中で途切れても最初から取り直さないよう、場所を残します。
-
受け取る人がすぐ使えるようにします
結果はExcelや画面で出力します。ツールはPythonをインストールしなくても使えるよう、実行ファイルでお渡しします。
お作りしたもの。
各事例について、依頼前の状況と結果、そして実際の画面を併せて掲載しました。
-
クリエイターを目分量で選ばせない収集・採点システム
インフルエンサーのプロフィールを自動で集め、定量指標だけで点数をつけて等級に分けます。選ぶ人の勘ではなく、基準が判断します。
クリエイターの選別 指標を人が比較 から 定量4項目の合算・等級算定 まで
-
プラットフォームごとに異なる方式で受け取り、結果は表一枚になります
グローバルリサーチ企業の依頼で、北米・中南米の主要流通プラットフォームと家電ブランドの自社サイト合わせて12か所から製品レビューを集めました。プラットフォームごとにデータの提供方式が異なるため、一つの収集機で全てを相手にせず、場所ごとに異なる方式で受け取り、同じ形式の表にまとめました。
レビュー資料の確保 プラットフォームごとに別々の方式で から 12か所が同じ形式の表一枚に まで
-
毎日手で検索していたニュースモニタリングをなくした通知プラットフォーム
担当者が直接検索して選別していたキーワードニュースを自動で集め、カカオトークとメールですぐに知らせるプラットフォームを構築しました。
ニュースの確認方法 担当者が直接検索 から 発生と同時に自動通知 まで
-
番組表が変わってもグラフを作り直しません
番組表を手作業で集めてエクセルでグラフを作っていた作業を、自動で収集して画面上でそのまま確認できる仕組みに移しました。番組表が変わるたびに最初から作り直していた作業が、4時間以上から1分以内になりました。
手作業の時間 4時間以上 から 1分以内 まで
-
5つのプラットフォームに散らばったインフルエンサーの成果を、広告主レポート1枚に
他社がPythonデスクトップアプリとして作りかけて頓挫したものを、ユーザー自身がログインしたブラウザ内で動くChrome拡張として作り直しました。値が取れなかった5つのプラットフォームがすべて取得できるようになりました。
正常に収集できるプラットフォーム 5つのうち1つ から 5つ まで
-
検索エンジンが読める状態か、8つのサイトを1日3回点検します
サイトごとに最大12項目を確認し、昨日と結果が変わったものだけを選んで報告します。必須項目の未充足を24件から16件に減らし、残る16件も人が集計するのではなくツールが集計します。
検索エンジンが読める状態 — 未充足項目 24건 (2026-08-12) から 16건 (2026-08-23) まで
-
許可なくブランド名を冠して販売されている商品の販売店を探し出す収集
公共文化財団の著作権・商標保護業務のため、オンラインショッピングモールで財団のブランド名を冠して販売されている商品の販売店を自動で収集しました。商品ではなく販売店単位で集計します。
販売店の確認 検索結果の個別確認 から 全ページの自動収集 まで
-
クーパン・ネイバー・カフェ24に散らばった販売状況を一つの画面に
店舗ごとに個別にログインして受け取っていた注文データを、三つのプラットフォームから自動で集め、同じ基準で集計して一つの画面にまとめました。
販売状況の確認 プラットフォーム3か所・店舗ごとに個別 から 一つの画面・自動収集 まで
-
団地を選ぶと物件詳細がExcelに整理される収集プログラム
物件を1件ずつ開いて書き写していた作業を、関心のある団地を選んで実行すると物件詳細が自動で集まり、Excelの2種類に出力されるようにしました。Pythonをインストールしなくても、実行ファイル1つで動きます。
団地の物件詳細の確認 物件ごとに画面を開いて確認 から 団地選択後、実行1回・Excel整理 まで
-
掲示板19か所を巡回して求人を集め、所定の場所に掲載するツール
複数の場所に散らばって掲載される求人を自動で集め、定めたカテゴリーで自社サイトに掲載します。どの掲示板から何件取得したかが画面に残ります。
求人の集約 掲示板19か所を直接確認 から 発見318件を全件収集 まで
-
証券会社ごとに分散した派生結合証券の公表資料を、比較できる表一枚に
証券会社ごとのELS・ELB商品情報を自動で収集し、文章で書かれた商品構造を満期・周期・早期償還条件の列に分解して、一枚の表にまとめます。
商品比較 証券会社ごとに個別に確認 から 一枚の表で条件ごとに まで
-
政府支援事業の公募を1日3回まとめ、キーワードで知らせます
散在する公共機関4か所の公募を自動で集め、登録したキーワードに該当するものだけを選んで通知します。締め切りが過ぎてから気づくことをなくすために作りました。
支援事業公募の確認 機関サイトを巡回して直接探す から 1日3回の自動収集・キーワードに該当すれば通知 まで
-
収集が途中で途切れても、最初から取得し直すことはありません
2019年から積み上がった週単位の記録を、5年分まとめて一度に取得する必要がありました。リクエストを一気に送ると途中で応答が途切れ、その日の収集は半分だけになりますが、途切れた箇所から続きを取り、全区間を埋めました。
収集区間 途中で停止 から 2019–2024の全区間 まで
-
インド政府投資ポータルのプロジェクト19,889件を41項目に
インド全土の投資プロジェクトが掲載される政府ポータルから全プロジェクトを集め、散らばっていた詳細情報を41項目の表一枚にまとめました。担当者が使えるよう実行ファイルで引き渡しました。
収集件数 プロジェクト個別の照会 から 19,889件・41項目 まで
このトピックによくある質問
しないこと。
対象サイトの利用規約と個人情報保護が最優先です。何をどこまで取得するかは ご依頼いただいた方と先に決めます。 このページの事例でも、顧客や個人を特定できる部分は隠し、何を隠したかを各画面の説明に記しています。
必要な資料がウェブではなくアプリの中にしかない場合もあります。そのときは アプリクローリング の分野です。
お問い合わせいただかなくても価格が明確にわかるよう提示しています。社内稟議や予算申請にそのままご活用いただけるよう、収集範囲と基準料金を明示しています。
-
基本
15万ウォン
ログイン不要の単一画面からデータを1回抽出し、整形済みのファイル形式で納品します。
-
簡易
29万ウォン
上記に加え、ログイン不要な環境下でのページネーション（改ページ）や複数画面遷移を伴うデータ収集を行います。
-
標準
49万ウォン
上記に加え、ログインが必要な画面の収集と、2か所以下のデータソースの統合・クレンジングを行います。
-
定期
99万ウォン
上記に加え、指定された周期でデータを収集する自動実行環境と、異常発生時の通知体制を構築します。
上記の金額は難易度別の基準であり、構造がシンプルなサイトは基準金額より低く設定される場合があります。どの区分に該当するかをご自身で悩む必要はありません。サイトのURLを1行お送りいただくだけで、1営業日以内に適切な区分を判定いたします。
定期構築プランに限り、月額3万〜5万ウォン（税別）の運用保守費が発生します。自動実行環境の維持および日々の稼働状況点検が含まれます。
3箇所以上を同時にご発注いただく場合、10%の追加割引が適用されます。作業範囲はご契約時に明記し、サイトの構造変更や無償サポート終了後の修正は実費（1時間あたり5万ウォン）にて承ります（過去の実績では、修正費用が5万ウォンを超えたケースはほとんどありませんでした）。