找出未经授权使用品牌名销售的商品卖家并予以收集
为公共文化基金会的著作权、商标保护工作,自动收集了在线购物商城中以基金会品牌名销售的商品之销售方。统计单位不是商品,而是销售方。
销售方确认
以前
逐条核对搜索结果
以后
全页自动收集
背景
基金会制作的文化商品拥有品牌。而未经正式许可使用该品牌名销售的商品,会出现在 在线购物商城中。保护著作权与商标的工作,始于了解它们在哪里销售。
现场看到的情况
商城搜索结果按页分页,同一销售方会以多个商品的形式反复出现。人用肉眼浏览时, 越到后面的页面越容易漏看,也会重复确认前面已经查看过的销售方。搜索结果有多少页, 核对的品质就随之不同。
定义的问题
需要找的不是商品,而是销售方。按商品计数时,同一处会被多次计入,无法得知实际 需要采取措施的对象究竟有几处。改变计数单位,正是这项工作的核心。
做的事
- 遍历搜索结果全页 — 以品牌名搜索,每页 40 条,直到翻完最后一页
- 比对商品名 — 只保留商品名中确实包含品牌名的条目
- 按销售方去重 — 同一销售方只记录一次。需要采取措施的对象数即为销售方数
- 输出 Excel — 同时保留商品名、销售方地址、搜索结果中的位置,以便事后回溯
预先防范的事
- 间歇翻页 — 每次翻页都加入随机等待时间。不集中请求,才能不断页地翻到后面的页面
- 翻到底 — 搜索结果中,非正式销售方的条目集中在后面而非前面。只看前几页, 会漏掉要找的对象
- 按销售方去重 — 一处即使上架十个商品也只保留一次。需要采取措施的对象数不会虚增
结果
已完成委托范围内的全部工作并交付。
同主题的其他工作收录在网页数据收集中。
事实出处
收集脚本