通常爬取网页,在构造http请求的时候,都需要加上一些额外信息,什么Useragent,cookie等之类的信息,或者添加代理服务器。往往这些都是一些必要的反爬机制。
requests库
简介:
requests库调用是requests.get方法传入url和参数,返回的对象是Response对象,打印出来是显示响应状态码。