欢迎光临散文网 会员登陆 & 注册

“数据清洗” 能力暴涨100倍!原来就是靠着这16个Pandas函数!

2021-03-24 16:55 作者:爱数据分析社区  | 我要投稿

以下文章来源于数据分析与统计学之美 ,作者黄伟呢

你有没有这样一种感觉,为什么到自己手上的数据,总是乱七八糟?


作为一个数据分析师来说,数据清洗是必不可少的环节。有时候由于数据太乱,往往需要花费我们很多时间去处理它。因此掌握更多的数据清洗方法,会让你的能力调高100倍。

本文基于此,讲述Pandas中超级好用的str矢量化字符串函数,学了之后,瞬间感觉自己的数据清洗能力提高了。


数据集是黄同学精心为大家编造,只为了帮助大家学习到知识。数据集如下:

结果如下:

观察上述数据,数据集是乱的。接下来,我们就用16个Pandas来对上述数据,进行数据清洗。

① cat函数:用于字符串的拼接

结果如下:

② contains:判断某个字符串是否包含给定字符

结果如下:

③ startswith/endswith:判断某个字符串是否以…开头/结尾

结果如下:

④ count:计算给定字符在字符串中出现的次数

结果如下:

⑤ get:获取指定位置的字符串

结果如下:

⑥ len:计算字符串长度

⑦ upper/lower:英文大小写转换

结果如下:

⑧ pad+side参数/center:在字符串的左边、右边或左右两边添加给定字符

结果如下:

⑨ repeat:重复字符串几次

结果如下:

⑩ slice_replace:使用给定的字符串,替换指定的位置的字符

结果如下:

⑪ replace:将指定位置的字符,替换为给定的字符串

结果如下:

⑫ replace:将指定位置的字符,替换为给定的字符串(接受正则表达式)

  • replace中传入正则表达式,才叫好用;

  • 先不要管下面这个案例有没有用,你只需要知道,使用正则做数据清洗多好用;

结果如下:

⑬ split方法+expand参数:搭配join方法功能很强大

结果如下:

⑭ strip/rstrip/lstrip:去除空白符、换行符

结果如下:

⑮ findall:利用正则表达式,去字符串中匹配,返回查找结果的列表

  • findall使用正则表达式,做数据清洗,真的很香!

结果如下:

⑯ extract/extractall:接受正则表达式,抽取匹配的字符串(一定要加上括号)

结果如下:

今天的文章,黄同学就为你讲述到这里,希望能够对你有所帮助。


更多数据分析相关资讯

数据工具/职场资讯/求职技巧

尽在数据分析



“数据清洗” 能力暴涨100倍!原来就是靠着这16个Pandas函数!的评论 (共 条)

分享到微博请遵守国家法律