扫描 19 个公告栏收集招聘公告并按分类发布到指定位置的工具

背景

性质相同的公告会分别发布在多个公告栏。要确认哪里发布了什么，就得逐个打开公告栏查看，公告栏有十九个，就要重复十九次。新的公告不断发布，这件事也就一直持续。

在现场看到的情况

比起重复本身，更成问题的是漏掉也无从知晓。人按顺序查看十九个地方时，如果漏掉了某一处，这个遗漏不会在任何地方留下痕迹。 那天的公告就这么当作不存在了。

定义的问题

只收集只算完成了一半。收集之后如果发布到哪里没有确定下来，人还得再次分类，那样重复操作并没有消失，只是换了位置。把采集与上传在同一个画面里衔接起来，并让缺失可见，这才是问题的范围。

做出来的东西

• 按公告栏采集 —— 可以全部扫描，也可以只挑分类扫描。指定开始页面和结束页面，只取所需区间
• 四项分别统计 —— 公告栏总数、已完成公告栏、发现的帖子、采集完成分别统计。只显示一个整体进度条的话，看不出漏在哪里
• 各公告栏数量 —— 列出每个公告栏取回了几条。看到与平时不同的数字，就只重新查看那个公告栏
• 按分类上传 —— 把采集到的内容发布到指定分类。可以一次性全部发布，也可以按分类分批发布
• 旧数据清理 —— 删除超过十天的采集数据。堆积起来会变慢，一直保留不用的数据也是负担

结果

大约用了 2 周时间做成并交付。一次运行扫描 19 个公告栏，把发现的 318 条一条不落地取回，并发布到设定好的分类。

用同样方式做的其他工作收录在网页数据采集里。