把散落在 5 个平台上的达人效果,汇成一张给广告主的报告
别家公司用 Python 桌面应用做到一半便停手的项目,我们改用在用户本人已登录的浏览器内部运行的 Chrome 扩展重新制作。原先取不到数值的五个平台现已全部打开。
可正常采集的平台
以前
5 个中仅 1 个
以后
5 个
背景
这是一桩接手时已经做成一次的委托。前一家公司交付了仅限 Windows 的桌面程序,而发包方整理寄来的不是使用感想,而是问题清单。五个平台中,标为「无问题」的只有一处。
在现场看到的情况
把问题清单逐条当作各平台的 bug 来看,要修的地方超过十处。但把清单摊开来看,卡住的地方几乎相同。
- 一处是「因 Cloudflare 认证无法访问帖子」
- 一处是正文、评论、缩略图整个取不到
- 一处是评论作者显示的是
@user而非真实姓名
前面的程序用 Python 另外新开一个浏览器,以未登录状态访问。平台一旦判定那个浏览器不是人,之后的代码无论做什么都只能取到空值。这不是 bug,而是访问方式的问题。
定义的问题
决定不去修采集器,而是挪动它运行的位置。发包方本就已经用自己的账号登录着各个平台。如果是运行在那个浏览器内部的 Chrome 扩展,就无需重新突破认证。它读取的是人正在看的界面本身。
这是放弃 Python 桌面应用、从头重做的决定,因此先向发包方说明为什么不接着做下去,然后才着手开工。

扩展不新建认证。它直接读取负责人员已登录的状态,只把登录已失效的平台显示出来,引导其自行登录。
做出来的东西
- 5 类平台采集器 —— 韩国国内使用的 3 处与华语圈 2 处。认证方式与数据形态各不相同,因此分别制作。不读取界面结构,而是引用页面本身已携带的内部数据。其中一处是正规通道被堵死、界面样式还时常变化的地方。界面变化也能定位数值 —— 因为读取的不是外观,而是该界面本身已经携带的值
- 浏览器内的数据库 —— 采集到的资料原样留在负责人员的浏览器内。没有服务器,广告主数据不会外流
- 同一作者的多个帖子 —— 前面的程序会用后采集的数据覆盖先采集的数据。改为以帖子唯一值为基准,按帖子为单位累积
- 提交给广告主的报告 —— 将按平台汇总、反响最高的内容、按时间段的变化趋势合成一页。发包方列出的第一项就是「用于交给广告主,但显得很简陋」
- Excel 导出 —— 不再用会损坏的 CSV,改为导出 Excel 文件
- 一并记录采集时间点 —— 同一帖子的指标按时间点留存。像发布后不久的反响速度这类只确认一次无法得知的值,可以在事后查看
结果
问题清单中原本只有一处正常的平台,变成了五处。 留下了按项确认五个平台评论采集的验证记录(2026-02-08)。
用同样方式完成的其他工作整理在网页数据采集中。
同一主题的其他工作整理在数据分析中。
事实出处
韩国专家平台 认证交易评价 (정OO)