今天介绍一个npm包 Puppeteer
他的功能有很多
支持分布式爬取
实现了深度优先和广度优先算法
支持csv和json line格式导出
插件式的结果存储,比如支持redis
自动插入jquery,可以使用jquery语法进行结果处理
支持截图作为爬取证据
支持模拟不同的设备
今天我们来实现一个demo 自动化测试
首先需要安装一下 Puppeteer
他的包很大100MB 应为他带了 Chromium
puppeteer 截的图