如何处理偏态数据？
16lz
2021-01-22
在了解何为偏态数据前，要先从正态数据说起。
正态分布
正态分布是自然界中广泛存在的，我们都知道它是两头低，中间高，整个形态呈现对称钟形的一个分布，之所以叫正态分布，是因为在大量连续数据测量的情况下，我们比较希望看到这种状态，一个标准的正态分布是u（均值）=0，σ（标准差）=1。
从下图可以看出，横坐标代表随机变量X的一个取值，在均值（u=0）附近概率密度最大，越偏离均值，概率密度减小，不在(u-3σ,u+3σ)范围内的数据就属于统计学意义上的异常值了。
偏态分布
但是现实生活中总是会存在不是正态分布的情况，非正态分布，那就是偏态分布了，有两种，左偏（负偏态）和右偏（正偏态），可以用偏度来描述，偏度>0，则频数分布的高峰向左偏移，呈右（正）偏态分布；偏度<0，则频数分布的高峰向右偏移，呈左（负）偏态分布；|偏度|>1，呈高度偏态，0.5<|偏度|<1，呈中等偏态。
偏态分布的数据如何处理
对于偏态分布的数据，我们需要做一些处理使其变换为正态分布，常用的变换方式有
对数变换：适用于相乘关系的数据、高度偏态的数据
平方根变换：适用于泊松分布（方差与均数近似相等）的数据、轻度偏态的数据
反正弦变换：适用于百分比的数据、中度偏态的数据
倒数变换1/x：适用于两端波动较大的数据
记得上上小节泰坦尼克数据分析中的fare字段吗，从偏度可以看出是一个很明显的右偏分布的数据
绘制直方图观察也是如此，这时就可以使用对数变换。
双击纵坐标，在弹出的【设置坐标轴格式】中选择对数刻度即可，比之前的右偏好多了。
总结
1 偏态是针对正态而言的
2 描述偏态的有偏度系数这个指标
3 偏态数据通常转换为正态分布的数据，用的较多的转换方式有对数和平方根
更多相关文章
- 数据分析都有哪些岗位？
- 什么是好的数据指标：精益数据分析
- 在剪贴板上读取/写入数据，太方便了吧！
- 44万条数据揭秘：如何成为网易云音乐评论区的网红段子手？
- 2000万条直播数据，揭秘斗鱼主播生存现状
- 破解X眼电影字体动态加密|凹凸玩数据
- Python爬取上万条大众点评数据，解读一线快餐品牌背后的秘密
- 放大招！耗时一个月，早起做了一个Python数据可视化APP？
- 收藏这些API，获取网易云音乐数据超轻松