博斌教育 python爬虫就业班

爬虫的矛盾
反爬机制

• 门户网站,可以通过相应的策略或者技术手段,防止爬虫程序进行网页数据的爬取
  反反爬策略

• 爬虫程序可以通过制定相关的策略或技术手段,破解门户网站中具备的反爬机制,从而可以获取门户网站的数据;
  robots.txt协议:

• 君子协议.规定了网站中哪些数据可以被爬虫程序抓取哪些不可以;