p-hacking的精辟解释, 保证你一辈子都忘不了！

凡是搞计量经济的，都关注这个号了

稿件：econometrics666@126.com

所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.

各位，还记得这个①“工具变量精辟解释, 保证你一辈子都忘不了”，②“断点回归设计RDD精辟解释, 保证你一辈子都忘不了”吗？今天，我们引荐一个与p值相关的问题，p-hacking。关于p值，可以看看：①DID和IV操纵空间大吗? 一切皆为P-hacking，②美国宣布禁用p值，原来p值很危险，如何取代p值？，③美国统计学会关于ｐ值的声明，④科学家倡议P值需要0.005，显著性判断才成立，⑤800名科学家联合呼吁, 停止使用统计学上的P值。
p-hacking在学术圈里被称作P值篡改，只要掌握一些数据操作的技巧，就可以让数据虚高，得出一个在统计学上显著且有意义的结果。进而，造成了经济学等社科领域出现复制性危机，参考“社会科学空前大危机,堪比08年金融危机”，为应对这场危机，采取的措施包括“AER史上最严关于论文数据和代码可得性政策，应对实证论文的复制性危机！”

如果难以理解上述解释，下面由美国Sam教授关于p-hacking的精辟解释会让你柳暗花明：
p-hacking：指一个孩子向多个父母（在这里指父亲或母亲）寻求许可，直到得到肯定答复的过程。
下面是来自各位学者的精彩comments:
Sam: 不用说，我告诉我的孩子们预先注册他们的设计。
Vineet: 贝叶斯推断：很好地了解你的父母，你知道确切地去问谁来得到你想要的，以及家庭银行账号。
Ken: 我的朋友告诉她四岁的女儿，不行，她不能带着小猫一起去家庭旅行。几分钟后，她拖着一只手提箱从卧室里走出来，宣布说:“猫不在手提箱里。
Mine: 在我们家里你甚至不需要多个父母。一遍又一遍地问同一个家长，直到他们同意就可以。
Raymond: 原假设是，请求父母获得允许和根本不请求是没有区别的。
Quackack: 这就是为什么一夫多妻制会毁了很多家庭。一旦有太多的变量，孩子们就可以通过p-hack得到任何东西。我们的冰淇淋会被吃光的。如此，如果你有无数个父母，那么你就永远不会面对答案的错误。
Saya: 老实说，我只需要我的父亲在那里，脸上带着喜悦泪水的我就能找到我想要的答案。
Kristen: 我的父母在我们还没有大到可以问这个问题的时候就谈到了这件事。我们先问妈妈再问爸爸，爸爸就会说：你妈妈说了什么? 又挫败了我这扬起眉毛的脸。
Dakota: 在法律上我们称这种为挑选法院(forum shopping)，并产生电路分裂。
William: D-blocking——你妈妈说了什么？5秒钟后，一个小人物转弯抹角地解释之后，我要去问她：你确定她说的是什么吗？
Manuel: 如果一夫多妻制更普遍的话，这将成为一个典型的例子。
Keshav: 以前，我是一名p-hacking专家。
June: 由于这种繁殖危机，父母可能需要坚持独立复制。
Marci: 滴、滴、滴，我们称之为水刑。
Amir: 这就是为什么他们称之为“多重比较谬误”(有人说过这个双关语吗?)
Joe: 疲倦：折磨数据，兴奋：唠叨数据。
Will: 这是纠正“婚姻比较”的好习惯。
Douglas: 我以为那是网络钓鱼。
Pink: Grubbs test: 忽略你孩子咬人的那一次。
Rod: 我可能得把这个加到我的简历里。
Scotty: 如果我没记错的话，先做祖父母们的基础工作通常效果会更好。
Tom：这就是为什么引起无限响应递归是我们的默认响应。在孩子组织一次面对面的家庭会议之前，对请求许可的回应应该是询问另一位家长。
Lavinia: 这里经常发生。有时甚至会有老奶奶参与(这通常意味着肯定的肯定）。
Yannick: 如果需要的话，父母们会对研究产生偏见。不要让你的孩子接受零假设。
Saman: Mum-hack: 在P1说“不”之后再问P2，这是一种惩罚。
Anthony: 第二种观点在我们家花费了1英镑的代价。
Israel: 我知道p-DoS，当一个孩子多次请求许可，防火墙就会崩溃，得到他们想要的任何结果。
Pajamazon: 在一夫多妻制家庭中尤其具有挑战性。
Daniel: 在这种情况下寻求处理时，必须进行BonBonferroni矫正。
Caitlyn: 长大的问题被推迟到父母双方都出席的晚饭时间。我猜我的父母对这种p-hacking早在它很酷之前就知道了。
Sandra: 我爸爸总是会说：“问问你妈妈吧。”
Kaiser：哦，不，p-hacking在年轻人中根深蒂固，而且可能是遗传而来的。
Horowitz: 我的3岁孩子使用蛮力p-hacking。在这个问题上，他反复地、越来越尖锐地问同一个家长。
Eghlidi: p < 0.025?
Joyce: 当你知道孩子要去问爸爸妈妈的时候，试着大声喊“隐形导弹来袭”作为你的密码。
你记住p-hacking了吗？
最近计量社群里有讨论与p-hacking相关的内容，各位可以参看一下：

拓展性阅读：

①关于各种因果识别方法的120份经典实证文献汇总”，②哈佛大学新修订完成的因果推断经典大作免费下载！附数据和code，③因果推断的统计方法总结, 177份文献，④政策评估的计量方法综述, 包括最新因果推断方法，⑤在教育领域使用IV, RDD, DID, PSM多吗? 使用具体文献，⑥看完顶级期刊文章后, 整理了内生性处理小册子，⑤工具变量精辟解释, 保证你一辈子都忘不了，⑦DID, 合成控制, 匹配, RDD四种方法比较, 适用范围和特征，⑧关于双重差分法DID的32篇精选Articles专辑！⑨关于(模糊)断点回归设计的100篇精选Articles专辑！⑩匹配方法(matching)操作指南, 值得收藏的16篇文章等，⑪MIT广为流传的政策"处理效应"读本，⑫DID的研究动态和政策评估中应用的文献综述，⑬最新政策效应评估的四种方法，⑭政策效应评估的基本问题。

下面这些短链接文章属于合集，可以收藏起来阅读，不然以后都找不到了。
2.5年，计量经济圈近1000篇不重类计量文章，

可直接在公众号菜单栏搜索任何计量相关问题,

Econometrics Circle

更多相关文章

随机推荐