选择小区后房源详情自动整理成 Excel 的采集程序

背景

有些工作从一开始就定好了关注的小区。定下六个小区，持续关注这些小区目前有几套房源、条件如何、与昨天相比有哪些变化。

在现场看到的情况

要确认一套房源，就得从列表点开详情，用眼睛读出所需项目并抄录下来。小区有六个，那就不只是六次，而是房源条数那么多次。而且这项工作第二天又要从头开始。

定义的问题

问题不在采集，而在采集到底。如果连续快速请求房源，响应会在中途断开。断掉之后无法接续，当天的采集就成了半成品。

做出来的东西

• 小区选择与采集量设定 —— 从已登记的小区中勾选想要的，并在 1~1,000 套范围内设定要采集的房源数量

• 请求间隔调节 —— 在房源之间设定两个等待时间的最小值和最大值（各 1~30 秒），然后在其间随机休息。默认为 2~5 秒。不一窝蜂地猛拉，才是最终能采集到底的路
• 进度实时显示在画面上 —— 整体进度、当前处于哪个阶段、第几套房源，以及每完成一套就输出一行日志。耗时的任务如果看不到进度，就无法与卡死区分开来
• 连续失败则停止 —— 连续失败超过设定次数就中止采集。这总好过继续堆积空数据
• 两种 Excel —— 同时产出可直接阅读的整理表和把收到的原始数据全部展开的明细表。整理表固定为 34 个字段，并过滤掉空列和重复行。明细表的字段数随采集到的房源结构而变化（交付文件夹中留存的这两个文件分别为 428 个与 696 个字段）
• 免安装运行 —— 无需安装 Python，也无需命令行，一个可执行文件即可启动。运行时自动找到空闲端口，浏览器自动打开

结果

选择小区并按下按钮，房源就会逐条被采集，结束后 Excel 会累积到文件夹中。画面上的「打开 Excel 文件夹」会直接打开那个文件夹。

以同样方式做的其他工作收录在网页数据采集中。