小区房源 Excel 采集器

背景

有些业务需要长期关注固定的几个小区。例如选定六个小区后，要持续掌握这些小区目前有多少套房源、条件如何、与昨天相比有哪些变化。

现场所见

查看一套房源，需要在列表中点开详情，逐项阅读并誊录所需信息。六个小区意味着的不是六次，而是有多少套房源就要做多少次。第二天，这项工作又要从头再来。

问题所在

难点不在采集，而在于完整采集。短时间内连续请求房源，响应会在中途中断。如果无法从中断处续接，当天的采集就只完成了一半。

解决方案

• 选择小区与设定采集量 —— 从已登记的小区中勾选所需小区，并在 1~1,000 套范围内设定采集房源数

• 请求间隔调节 —— 设定房源之间等待时间的最小值和最大值（各 1~30 秒），程序在此范围内随机等待，默认为 2~5 秒。不集中发送请求，才能完整采集
• 在界面上显示进度 —— 显示总进度、当前阶段和正在处理第几套房源，每完成一套即记录一行日志。耗时较长的任务若看不到进度，就无法分辨是在运行还是已经停止
• 连续失败时自动停止 —— 连续失败超过设定次数即中止采集，避免持续积累空数据
• 两种 Excel —— 同时输出可直接查看的汇总表和完整展开原始数据的明细表。汇总表固定为 34 个字段，并剔除空列和重复行。明细表的字段数随所采集房源的结构而变化（交付文件夹中的两个文件分别为 428 个和 696 个）
• 免安装运行 —— 无需安装 Python，也无需使用命令行，一个可执行文件即可启动。运行后自动寻找空闲端口并打开浏览器

结果

选择小区并点击按钮后，程序逐条采集房源，完成后 Excel 文件保存到指定文件夹。点击界面上的「打开 Excel 文件夹」即可直接打开。

以同样方式完成的其他项目，请见网页数据采集。