Pandas数据分析之字符串处理_Mr_Darcy8

持续创作，加速成长！这是我参与「掘金日新计划 · 10 月更文挑战」的第8天，点击查看活动详情

✔个人主页：Mr.Darcy8的掘金主页

🎉欢迎关注👀点赞👍收藏⭐留言📝以及交流人生哲理🎈学习心得🎁

引入

前段时间我们了解了pandas数据分析工具的一些函数妙用，并学习了如何制作一些简单的图表。

但细心的同学不难发现我们一直是在针对数字进行处理，这要求我们在统计获取数据之初就对数据进行编码。

但是实际生活中会出现很多无法统一标准的数据。

就拿当今最火的某电商平台为例，我们之前做过的数据分析是基于用户行为的，这些数据是有固定情况的（如当时我们用0代表浏览，1代表购买，2代表收藏，3代表加入购物车），此类数据只需要这样编码一下，赋予每种行为一个代数即可进行统计分析

而商品的款式呢？颜色呢？此类数据存在难以计数的情况，且可能实时更新，比如商家今天上新一个“雾霾蓝”的雨伞，明天上新一个“普鲁士蓝”的帽子……

难道你要每新增一个商品就多加一个编码吗？每天数不清的商品新增，最终你是否需要为这些编码准备一个数据库，分析的时候查询一下这个编码代表的是什么商品吗？

显然不现实。我们需要对此类数据直接进行字符串的处理。今天就不妨让我们一起来看看吧~

一、字符数据导入与基本了解

我们这里采用某大数据平台提供的电商平台商品数据当然，是带有不规则字符串的

用文件的打开方式打开csv文件。

Tip：其实CSV文件本质上可以理解成是文本文件了，这个与xlsx等Excel带格式的文件不一样哈。

我们用len()函数看看一共有多少条记录

用a.columns()查看有多少个columns。可以理解成就是有多少个列，把这些列的名字列出来。

从这里，细心的伙伴们可能就发现了，可以查看columns，那这个a是不是dataframe类型的数据啊~

答案是肯定的~我们仍旧可以用dataframe的操作方法来应用在这里导入的csv字符串文件上。

我们在之前已经提到过，有许多商品的信息特征是空值具体有多少空值我们是需要进行了解的，以免之后的处理遇到未知的问题——可以把这步视作数据清洗的前摇了： a.isnull().sum()#查看各个column有多少空值 isnull函数记录是否为空值。sum()用于统计。

注意isnull运行过后，返回值是原dataframe同大小的一个新dataframe，每个单元格里是布尔型的数据

sum是在统计每个column中为True的个数

为什么sum统计的是每个column的True的个数呢？ - sum()函数默认竖向统计，因为通常情况下这样更有意义（比如这里竖向统计的是各个信息栏对应的空缺值，来看看哪个信息许多商家都没填写，从而为今后设置哪些必填信息提供决策参考。横向的每条数据一般都是单位商品，如果统计的话就是看看各个商品都有哪些信息没填，这样统计起来数据量非常大，相当于大数据分析完了还是大数据。）如果你还是希望横向统计每行的True的个数，可以设置sum的参数axis=1，这样结果就是横向统计了。