招聘公告采集与发布工具

背景

同类公告会分别发布在多个版块上。要了解哪里发布了什么，就得逐个打开查看；版块有 19 个，就要重复 19 次。新公告不断发布，这项工作也就没有尽头。

现场所见

比重复本身更大的问题是遗漏了也无从察觉。人工依次查看 19 个版块时，如果跳过了其中一个，不会留下任何记录。那天那个版块的公告就等于不存在。

问题所在

只做采集只解决了一半。如果采集后发布到哪里没有确定，仍需人工重新分类，重复劳动并没有消失，只是换了地方。将采集与上传在同一个界面中衔接起来，并让遗漏一目了然，才是这次要解决的问题。

解决方案

• 按版块采集 —— 可全量扫描，也可只选定分类扫描。指定起止页码，只采集需要的区间
• 四项分别统计 —— 版块总数、已完成版块、发现帖子数、已采集数分别统计。只显示一个总进度，就看不出哪里有遗漏
• 按版块显示条数 —— 列出每个版块采集到的条数。发现数字与平时不同，只需重新检查该版块
• 按分类上传 —— 将采集内容发布到指定分类，可一次性全部上传，也可按分类分批上传
• 清理旧数据 —— 删除超过十天的采集数据。数据堆积会拖慢速度，长期保存不再使用的资料也是负担

结果

约 2 周完成开发并交付。一次运行即可扫描 19 个版块，将发现的 318 条全部采集，并发布到指定分类。

更多同类案例请见网页数据采集。