(1) 启动Robots协议。
(2)以设置阈值的方式挑选非正常访问。
(3)增加登录以限制。
(4)AJAX动态加载数据。
(5)以谋略取胜。例如:投毒。
6. 选择一门语言
爬虫可以用各种语言写, C++, Java都可以, 为什么要Python?
首先用C++搞网络开发的例子不多(可能是我见得太少),然后由于Oracle收