Python与mysql保存豆瓣电影Top250笔记
保存爬虫的数据多种多样,唯我mysql最香(对我来说)。

环境:
1,windows 10;
2,python3.8.3;
3,pycharm;
4,WAMP集成LAMP环境;

用到的python库:
1,requests,请求数据;
2,parsel,解析数据;
3,pymysql,python的mysql组件;

代码:

解释:
大多的解释在代码中注释了。

主记:
1,python与mysql的步骤:首先是创建数据库,编码很重要(phpmyadmin控制面板编码为utf8_general_ci,navicat为utf8 -- UTF-8 Unicode,或者直接在代码中创建,语句为:CREATE DATABSE [IF NOT EXISTS] 数据库名 CHARACTER SET 编码);其次是连接数据库并选取数据表(没有就创建);第三是获取数据库游标;第四是利用游标进行数据库的增删改查操作;第五是提交数据库更改(如果是查询,则不需要);第六是关闭数据库连接;
2,构造插入sql语句的方法,详见代码,一种是占位符,还一种是format,但是format直观很多。如果数据类型不同一,那么占位符要多很多代码,而且很容易出错。
3,可以在爬取的同时直接插入数据库。思路更直观。
打完收工。