数据处理不等式：Data Processing Inequality
16lz
2021-03-25
我是在差分隐私下看到的，新解决方案的可用性肯定小于原有解决方案的可用性，也就是说信息的后续处理只会降低所拥有的信息量。
那么如果这么说的话为什么还要做特征工程呢，这是因为该不等式有一个巨大的前提就是数据处理方法无比的强大，比如很多的样本要分类，我们做特征提取后，SVM效果很好 ，但是如果用DNN之类的CNN、AuToEncoder，那么效果反而不如原来特征。这样就能理解了，DNN提取能力更强，那么原始就要有更多的信息，在新特征下无论怎么提取，信息就那么多。
信息量越多越好么？肯定不是，否则为什么PCA要做降噪和去冗余呢？我们的目的是有效的信息最大化。
另外一种理解就是从互信息不为0（信息损失）来解释。
从而
那么如何在处理过程中不丢失有效信息呢？这时候就需要数学上的充分统计量，也就是g是y的充分统计量。
更多相关文章
- 什么是Python，如何安装使用Python
- ui设计要学插画吗？
- 码农要失业了，微软开源了 Sketch2Code 教你 AI 编程
- kubesphere中Metrics Server故障排查
- 如何在Safari中删除Cookie？
- Acrobat Reader小技巧：简单设置，让你的眼睛在阅读PDF 文件时更舒适
- 苹果Mac全自动时间跟踪器：Qbserve
- Pr如何更改剪辑的持续时间和速度？
- 短信营销推广如何降低成本？