欢迎光临散文网 会员登陆 & 注册

SparkSQL可以支持写入MySQL吗?如何写入?

2023-03-23 16:21 作者:ingemar-  | 我要投稿

读取JDBC是需要有驱动的,我们读取的是jdbc:mysql:// 这个协议,也就是读取的是mysql的数据。

既然如此,就需要有mysql的驱动jar包给spark程序用。

如果不给驱动jar包,会提示:No suitable Driver

驱动包在资料中:

对于Windows系统(使用本地解释器)(以Anaconda环境演示)

将jar包放在:Anaconda3的安装路径下\envs\虚拟环境\Lib\site-packages\pyspark\jars

对于Linux系统(使用远程解释器执行)(以Anaconda环境演示)

将jar包放在:Anaconda3的安装路径下/envs/虚拟环境/lib/python3.8/site-packages/pyspark/jars,也可以将mysql驱动包放在spark的jars目录下.


写出

注意:

· jdbc连接字符串中,建议使用 useSSL=false 确保连接可以正常连接(不适用SSL安全协议进行连接)

· jdbc连接字符串中,建议使用 useUnicode=true 来确保传输中不出现乱码

· save()不要填参数,没有路径,是写出数据库

· dbtable属性:指定写出的表名


读取:

注意:

· 读出来是自带schema,不需要设置schema,因为数据库就有schema

· load()不需要加参数,没有路径,从数据库中读取的

· dbtable是指定读取的表名


SparkSQL可以支持写入MySQL吗?如何写入?的评论 (共 条)

分享到微博请遵守国家法律