欢迎光临散文网 会员登陆 & 注册

N2_新的一周

2020-12-14 19:48 作者:第五邪月  | 我要投稿

哈喽,各位,好久不见!

距离上次投稿已经过去了一个星期。真的不是我想鸽,主要是上一周我把辞职的想法和我们组长讲了,然后做了一些的工作上的交接,累的半死。所以这个专栏就推迟了一段日子。

Q&A

先回答一下粉丝的问题(虽然目前就一位),我认为爬虫是一种自动化、大量快速获取网页数据的一种技术,常用Python语言去编写。Python语言去写爬虫的优点在于Python提供了大量的库,能用2、3行代码去快速的完成页面访问。当然以上都是我个人的理解,更专业的话就要去问下度娘了。

爬虫技巧

不知道各位在编写爬虫的时候,尤其是遇到POST请求的页面会不会抓狂

恨不得给后台一巴掌

那一长串的data数据让我们这些小爬虫们瑟瑟发抖。

那么,有没有啥快速的方法去自动实现POST请求的拼接呢?

给各位爬虫推荐一个git  https://curl.trillworks.com/

这个非常好用,在想爬取的页面按F12,呼出调试窗口,点击Copy as cURL(bash)

F12调试

然后将复制内容粘贴到 https://curl.trillworks.com 上,等待一下,就可以得到完整的请求了。

右侧就是完整的POST请求

这样就把工作简化了。

关于工作

现在我是和原来的组长协商,调入了别的部门,原来手上的工作也陆续的进行交接。新的岗位目前来说是比较清闲的,正好适合我去整理一下过去的代码,思考下一份工作去哪。

写在最后

首先还是感谢各位赏脸看完,文笔不好,请多见谅。今后的爬虫技术可能不会在B站上写了,因为代码什么的贴起来会比较麻烦。今后更多的会把这个专栏当做日记去写,或者是分享一些我从P站上爬取的图片。

N2_新的一周的评论 (共 条)

分享到微博请遵守国家法律