欢迎光临散文网 会员登陆 & 注册

nodeJS爬虫框架puppeteer初识

2022-02-28 10:45 作者:-千里马-  | 我要投稿

昨天我刷b站时无意看到了人工智能方面的应用展示视频,感觉十分的优美如果可以应用在游戏开发会有哪些成果呢?正好我也是游戏研发者


这是一个计算机图形处理的技术名字叫GAN算法技术,但是我对人工智能没有一点基础,不过程序互通程序还是可以做到,走近人工智能的第一步就是高等数学然后Python然后机器学习...后面还有一大堆,然后我就看见百度飞浆人工智能这方面最终感觉自己还是难以应用,所以退而求其次先研究通网络爬虫,大数据方面,然后再进入人工智能领域。


所以先开始研究网络爬虫,我比较擅长前端开发JavaScript node JS开发,我曾经也研究过爬虫不过爬虫对于一部分网站爬取能力有限,


左右想一想还是写爬虫在我目前的能力范围内而且掌握爬虫有什么优点呢,可以直接把互联网的海量数据存储然后运算,比如有一些想要保存的大量资料,以及利用资料优化对当前自己工作流程提升能力。


相当于是可以收集大众的智慧为自己所用,当年我编程能力也不够强大,现在我再重新开始研究。


然后我无意中发现了puppeteer爬虫框架,而且技术还是node JS的,所以就开始了puppeteer应用研究。


这是一个模拟操作类型的爬虫系统,模拟一个用户的正常行为操作,自然网站也没办法查杀,这是这个框架puppeteer最大特点,避免被反爬虫,只要程序操作足够像一个正常用户就可以,我看到puppeteer的api里面几乎有一半都是关于模拟操作的功能。


同时我可以直接利用我开发的兔宝世界工具箱再进行一些骚操作,其中就包括非常多实用性基础性质功能封装。具体的puppeteer应用我会放在下一篇里面,经过2天差不多时间的研究已经基本掌握了puppeteer的大体应用并且已经成功测试,那么期待下一篇吧



nodeJS爬虫框架puppeteer初识的评论 (共 条)

分享到微博请遵守国家法律