黑马博学谷【月度黄金会员】Python+大数据

Python 爬虫 scrapy 框架  

Scrapy 是利用 Python 语言编写的网络爬虫框架。一个目的为了爬取网站内容，提取结构性数据而编写的开源爬虫应用框架。可以运用在包括数据挖掘，信息处理或者存储历史数据等一系列的程序中。Scrapy 最初的设计目的是页面抓取，也可以是用来获取各种 API 返回的数据。在 scrapy 项目中，只需写入定制的爬虫规则、运行即可快速获得所需要的数据信息。爬取网页内容代码如下: 

def s_requests（self）：

url = 'http：//weburl：port' 

headers = {