未授权品牌商家采集器

背景

基金会开发的文化商品有自己的品牌，而未经正式授权、冒用该品牌名销售的商品不断出现在在线购物平台上。保护著作权和商标，首先要掌握这些商品在哪里销售。

现场所见

购物平台的搜索结果分页显示，同一商家会以多件商品反复出现。人工浏览时，越往后翻越容易遗漏，还会重复核查前面已经确认过的商家。搜索结果有多少页，直接影响核查质量。

问题所在

要找的不是商品，而是商家。按商品统计，同一商家会被重复计入，无法知道实际需要处理的对象有几家。改变统计单位，是这项工作的核心。

解决方案

• 遍历全部搜索结果 —— 以品牌名搜索，每页 40 条，一直翻到最后一页
• 比对商品名 —— 只保留商品名中确实包含品牌名的条目
• 按商家去重 —— 同一商家只记录一次，需要处理的对象数即为商家数
• Excel 输出 —— 同时记录商品名、商家地址及其在搜索结果中的位置，便于再次查找

风险防范

• 控制翻页节奏 —— 每次翻页随机等待一段时间。不集中请求，才能顺利翻到最后一页
• 翻到最后一页 —— 非正规商家往往集中在搜索结果的后部，而非前部。只看前几页，就找不到真正要找的对象
• 按商家去重 —— 一家商家即使上架十件商品也只保留一条，需要处理的对象数量不会虚高

结果

已完成委托范围内的全部工作并交付。

更多同类案例请见网页数据采集。