监控网页变化

Posted by Supertramp on January 27, 2019

To know when a website changes its content, you have to go to that website and check it frequently and manually. This doesn’t sound like much work, unless it comes to an e-commerce site or a news website where web content changes happen quickly and suddenly. In such a case, you should leave it to web content monitoring tools. by Ashutosh KS

网页内容监控的需求

随着互联网的快速发展,需要系统地监控网页内容变化的场景也越来越多,如:购物网站的价格变动、新闻类的报道、竞争公司新品发布等 在搜索引擎搜索相关关键词,会发现有很多类似的服务,有面向个人的,也有面向企业的。 本文将列出我使用过的一些工具,它们涵盖了PC/Mac/iOS平台。

Distill -Chrome插件

监控网页或源以获取变更。在侦测到变更时接收短信或电子邮件通知。 Distill 在您的浏览器上运行,检查监控的页面有无变更。在侦测到变更时立即发出通知。

Distill是一款Chrome/Opera插件,可以运行在安装了Chrome/Opera浏览器的PC/Mac上,它的特色亮点是可以自己选择监控网页的任意部分,随意设置页面刷新 间隔时长,支持短信,电子邮件,弹窗推送,高亮显示变更内容。其缺点是依赖本地浏览器,当关闭电脑或是断网后无法收到推送提醒。

Distill

Aotol -PC/Web/iOS

Aotol在自定义设置方面没有Distill那么繁杂,将需要监控的网页填好后,就只有简单的几项设置。

Aotol settings

但是它不需要依赖本地浏览器,通过网页、电脑、手机端APP配置好后,所有的监测动作都是在远端服务器进行的。 当然它设置了积分系统,每天使用需要消耗一定积分,积分用完后需要充值才能继续使用。

积分

Web checker -iOS

Web Checker是一款运行在iOS平台的App,除此之外我再也找不到提供类似服务的其他App了。

App store

Web checker

它的界面较为简洁,45元内购激活专业版后可以将云端监测间隔时长设置为最低一分钟。 当网页内容发生变化后,App通过iOS推送通知来提醒,不能设置邮箱提醒。 实际使用中发现尽管设置来一分钟的监测间隔时长,仍会出现推送不及时的问题。 且由于是个人开发者,通过抓包发现所有的配置信息等连同个人id明文保存在服务器上,很容易就可以通过遍历id抓取整个站点的数据。 更严重的问题是本地请求的数据包更改为其他用户的ID后将可以绕过验证机制更新别人的配置信息。

Feed43 -RSS

RSS是什么?

RSS是一种用于共享新闻和其他Web内容的数据交换规范,就是将订户订阅的内容传送给他们的通讯协同格式(Protocol)。是站点用来和其他站点之间共享内容的一种简易方式(也叫聚合内容),在Blog开始盛行的时候得到广泛的应用。 RSS文件(或称做摘要、网络摘要、或频更新,提供到频道)包含了全文或是节录的文字,再加上发用者所订阅之网摘布数据和授权的元数据。网络摘要能够使发行者自动地发布他们的数据,同时也使读者能更够定期更新他们喜欢的网站或是聚合不同网站的网摘。

Feed43就是一个将任意网页变成RSS订阅源的工具,其免费版可以满足大部分日常使用。 具体使用教程可以查看少数派文章:《利用 Feed43,将任意网页制作成 RSS 订阅源 | 一日一技》