“数据清洗” 能力暴涨100倍!原来就是靠着这16个Pandas函数!

以下文章来源于数据分析与统计学之美 ,作者黄伟呢
你有没有这样一种感觉,为什么到自己手上的数据,总是乱七八糟?

作为一个数据分析师来说,数据清洗是必不可少的环节。有时候由于数据太乱,往往需要花费我们很多时间去处理它。因此掌握更多的数据清洗方法,会让你的能力调高100倍。
本文基于此,讲述Pandas中超级好用的str矢量化字符串函数,学了之后,瞬间感觉自己的数据清洗能力提高了。


数据集是黄同学精心为大家编造,只为了帮助大家学习到知识。数据集如下:
结果如下:

观察上述数据,数据集是乱的。接下来,我们就用16个Pandas来对上述数据,进行数据清洗。
① cat函数:用于字符串的拼接
结果如下:

② contains:判断某个字符串是否包含给定字符
结果如下:

③ startswith/endswith:判断某个字符串是否以…开头/结尾
结果如下:

④ count:计算给定字符在字符串中出现的次数
结果如下:

⑤ get:获取指定位置的字符串
结果如下:

⑥ len:计算字符串长度
⑦ upper/lower:英文大小写转换
结果如下:

⑧ pad+side参数/center:在字符串的左边、右边或左右两边添加给定字符
结果如下:

⑨ repeat:重复字符串几次
结果如下:

⑩ slice_replace:使用给定的字符串,替换指定的位置的字符
结果如下:

⑪ replace:将指定位置的字符,替换为给定的字符串
结果如下:

⑫ replace:将指定位置的字符,替换为给定的字符串(接受正则表达式)
replace中传入正则表达式,才叫好用;
先不要管下面这个案例有没有用,你只需要知道,使用正则做数据清洗多好用;
结果如下:

⑬ split方法+expand参数:搭配join方法功能很强大
结果如下:

⑭ strip/rstrip/lstrip:去除空白符、换行符
结果如下:

⑮ findall:利用正则表达式,去字符串中匹配,返回查找结果的列表
findall使用正则表达式,做数据清洗,真的很香!
结果如下:

⑯ extract/extractall:接受正则表达式,抽取匹配的字符串(一定要加上括号)
结果如下:

今天的文章,黄同学就为你讲述到这里,希望能够对你有所帮助。
更多数据分析相关资讯
数据工具/职场资讯/求职技巧
尽在数据分析
