欢迎光临散文网 会员登陆 & 注册

Python与mysql保存豆瓣电影Top250笔记

2022-11-05 12:18 作者:码夫破石  | 我要投稿

保存爬虫的数据多种多样,唯我mysql最香(对我来说)。

环境:

1,windows 10;

2,python3.8.3;

3,pycharm;

4,WAMP集成LAMP环境;

用到的python库:

1,requests,请求数据;

2,parsel,解析数据;

3,pymysql,python的mysql组件;

代码:

解释:

大多的解释在代码中注释了。

主记:

1,python与mysql的步骤:首先是创建数据库,编码很重要(phpmyadmin控制面板编码为utf8_general_ci,navicat为utf8 -- UTF-8 Unicode,或者直接在代码中创建,语句为:CREATE DATABSE [IF NOT EXISTS] 数据库名 CHARACTER SET 编码);其次是连接数据库并选取数据表(没有就创建);第三是获取数据库游标;第四是利用游标进行数据库的增删改查操作;第五是提交数据库更改(如果是查询,则不需要);第六是关闭数据库连接;

2,构造插入sql语句的方法,详见代码,一种是占位符,还一种是format,但是format直观很多。如果数据类型不同一,那么占位符要多很多代码,而且很容易出错。

3,可以在爬取的同时直接插入数据库。思路更直观。

打完收工。

Python与mysql保存豆瓣电影Top250笔记的评论 (共 条)

分享到微博请遵守国家法律