{"id":1017,"date":"2026-03-16T13:27:36","date_gmt":"2026-03-16T11:27:36","guid":{"rendered":"https:\/\/blog.uclm.es\/miguelangeltarancon\/?p=1017"},"modified":"2026-03-16T13:27:36","modified_gmt":"2026-03-16T11:27:36","slug":"el-pescador-de-p-valores-specification-search-y-la-trampa-del-005","status":"publish","type":"post","link":"https:\/\/blog.uclm.es\/miguelangeltarancon\/2026\/03\/16\/el-pescador-de-p-valores-specification-search-y-la-trampa-del-005\/","title":{"rendered":"El pescador de p-valores: \u00abspecification search\u00bb y la trampa del 0,05."},"content":{"rendered":"\n
\"\"<\/figure>\n\n\n\n

El comienzo: \u00bfpara qu\u00e9 sirve un modelo estad\u00edstico?<\/strong><\/p>\n\n\n\n

Imagina que quieres saber si el nivel de educaci\u00f3n de una persona influye en su salario. Tienes datos de 200 trabajadores: su salario y sus a\u00f1os de estudios. Calculas una regresi\u00f3n y obtienes un coeficiente: por cada a\u00f1o adicional de estudios, el salario sube en media 1.200 euros al a\u00f1o.
Pero ah\u00ed surge una pregunta inc\u00f3moda: \u00bfese resultado es real, o podr\u00eda haber aparecido por puro azar? Aunque educaci\u00f3n y salario no tuvieran ninguna relaci\u00f3n verdadera, en una muestra concreta de 200 personas siempre habr\u00e1 algo de correlaci\u00f3n espuria, simplemente por la variabilidad aleatoria de los datos. \u00bfC\u00f3mo distinguimos una relaci\u00f3n real de una coincidencia?
Para eso existe el contraste de hip\u00f3tesis, y dentro de \u00e9l, el p-valor<\/strong>.<\/p>\n\n\n\n

\u00bfQu\u00e9 es el p-valor? Una garant\u00eda muy concreta.<\/strong><\/p>\n\n\n\n

El punto de partida del contraste es asumir provisionalmente que no hay ninguna relaci\u00f3n: que el coeficiente verdadero es cero.<\/strong> Eso se llama la hip\u00f3tesis nula<\/strong> (H\u2080). Luego, se pregunta: si la hip\u00f3tesis nula fuera cierta, \u00bfcu\u00e1l ser\u00eda la probabilidad de obtener una estimaci\u00f3n del coeficiente al menos tan diferente de cero como la que he obtenido, simplemente por azar<\/strong>?
Esa probabilidad es el p-valor.
Si el p-valor de tu coeficiente de educaci\u00f3n es 0,03, significa: \u00absi de verdad la educaci\u00f3n no tuviera ning\u00fan efecto sobre el salario, la probabilidad de que mis datos mostraran una relaci\u00f3n tan fuerte como esta (o m\u00e1s fuerte) por pura casualidad ser\u00eda solo del 3%\u00bb.
Como esa probabilidad es peque\u00f1a, el investigador concluye: \u00abes muy improbable que este resultado sea fruto del azar, as\u00ed que probablemente la relaci\u00f3n es real\u00bb y rechaza la hip\u00f3tesis nula.<\/strong>
El umbral que convencionalmente se usa para tomar esa decisi\u00f3n es p < 0,05<\/strong>, es decir, menos del 5% de probabilidad de que sea azar. Si el p-valor est\u00e1 por debajo de ese umbral, el resultado se considera estad\u00edsticamente significativo.<\/p>\n\n\n\n

Lo que ofrece ese umbral del 5%\u2026 y lo que esconde.<\/strong><\/p>\n\n\n\n

Cuando un investigador adopta el umbral p < 0,05 antes de ver los datos, tiene una garant\u00eda concreta: si la hip\u00f3tesis nula es verdadera (si no hay ning\u00fan efecto real), la probabilidad de que sus datos le lleven err\u00f3neamente a concluir que s\u00ed hay efecto es del 5%. En estad\u00edstica esto se llama error de tipo I, o tasa de falsos positivos.<\/strong>
Un 5% parece razonable. Significa que si repiti\u00e9ramos el experimento 100 veces con datos donde no hay ning\u00fan efecto (de la educaci\u00f3n sobre el salario), solo en 5 de ellas concluir\u00edamos err\u00f3neamente que s\u00ed lo hay.
Pero esa garant\u00eda viene con una condici\u00f3n que rara vez se menciona:<\/strong> el investigador tiene que haber decidido qu\u00e9 modelo estimar antes de \u00abjugar\u00bb con los datos.<\/strong> Si no es as\u00ed, la garant\u00eda se rompe. Y aqu\u00ed es donde empieza el problema.<\/p>\n\n\n\n

La moneda trucada.<\/strong><\/p>\n\n\n\n

Imagina que tienes 20 monedas y quieres demostrar que una de ellas est\u00e1 trucada \u2014sale \u00abcara\u00bb con m\u00e1s frecuencia de lo normal\u2014. Las lanzas todas a la vez diez veces cada una y miras los resultados. Por puro azar, es casi seguro que alguna de las 20 monedas habr\u00e1 salido cara 8 o 9 veces de 10. La coges, la muestras, y dices: \u00ab\u00a1esta moneda est\u00e1 trucada, la probabilidad de obtener este resultado con una moneda justa es solo del 3%!\u00bb. Y matem\u00e1ticamente tienes raz\u00f3n\u2026 para esa moneda, analizada en solitario. Pero has ignorado que probaste 19 monedas m\u00e1s antes de encontrarla<\/strong>.<\/p>\n\n\n\n

Con el p-valor ocurre lo mismo: si pruebas 20 especificaciones y reportas solo la que da p < 0,05, no est\u00e1s presentando un test con garant\u00eda del 5%. Est\u00e1s presentando al ganador de un concurso con 20 participantes, como si hubiera competido solo.<\/p>\n\n\n\n

De un modo m\u00e1s formal. Si se hacen k<\/em> tests independientes, la probabilidad de obtener al menos un falso positivo es:<\/p>\n\n\n\n

P(al menos un falso positivo) = 1 \u2212 (1 \u2212 0,05)^k <\/em><\/p>\n\n\n\n

Los n\u00fameros que arroja esta f\u00f3rmula son reveladores: con solo 10 especificaciones la probabilidad de encontrar al menos un falso positivo supera el 40%; con 55, ronda el 65% en teor\u00eda \u2014y m\u00e1s del 54% en la simulaci\u00f3n emp\u00edrica que describiremos m\u00e1s adelante\u2014. En el l\u00edmite, con 200 modelos probados, la probabilidad te\u00f3rica de encontrar \u00abalgo significativo\u00bb es pr\u00e1cticamente del 100%, aunque los datos sean puro ruido.<\/p>\n\n\n\n

El pescador que siempre vuelve con algo.<\/strong><\/p>\n\n\n\n

Imaginemos ahora un pescador que sale al mar sin haber explorado antes la zona de pesca. No sabe exactamente d\u00f3nde est\u00e1n los peces, pero tiene una cosa bien clara: no puede volver al puerto con las manos vac\u00edas. As\u00ed que lanza la red una y otra vez, en distintos lugares, con distintas mallas, a distintas profundidades. Cuando por fin saca algo \u2014aunque sea una bota vieja\u2014, la limpia y la presenta como el fruto de su pericia marinera.<\/p>\n\n\n\n

En Estad\u00edstica y Econometr\u00eda existe un pescador igualmente obstinado. Se llama specification search<\/strong><\/em>, y su red es el p-valor. Lanza modelos al mar de los datos una y otra vez \u2014cambia variables, transforma, a\u00f1ade, quita, reordena\u2014 hasta que alg\u00fan coeficiente arroja un p-valor por debajo de 0,05. Entonces se detiene, sonr\u00ede, y escribe: \u00abel coeficiente es estad\u00edsticamente significativo al 5%\u00bb. El problema es que ese 0,05 ya no significa lo que deber\u00eda significar.<\/strong><\/p>\n\n\n\n

\u00bfD\u00f3nde est\u00e1 el problema?<\/strong><\/p>\n\n\n\n

Una reflexi\u00f3n importante: la inmensa mayor\u00eda de los investigadores que practican specification search<\/em> no son deshonestos. Lo que ocurre es m\u00e1s sutil y m\u00e1s peligroso. El proceso suele ser as\u00ed (un ejemplo):<\/p>\n\n\n\n

    \n
  1. El investigador tiene una hip\u00f3tesis: el gasto en I+D aumenta la productividad.<\/li>\n\n\n\n
  2. Estima un modelo. El coeficiente sale con p-valor = 0,12. No es significativo.<\/li>\n\n\n\n
  3. Piensa: \u00abquiz\u00e1s deber\u00eda controlar tambi\u00e9n por el tama\u00f1o de la empresa\u00bb. Lo a\u00f1ade. Ahora el p-valor = 0,08. Todav\u00eda no.<\/li>\n\n\n\n
  4. \u00abVoy a usar el logaritmo de la productividad, que tiene una distribuci\u00f3n m\u00e1s sim\u00e9trica\u00bb. Ahora p = 0,04. \u00a1Significativo!<\/li>\n\n\n\n
  5. Escribe el art\u00edculo reportando solo ese modelo, justificando que el logaritmo era m\u00e1s apropiado metodol\u00f3gicamente.<\/li>\n<\/ol>\n\n\n\n

    Cada decisi\u00f3n tiene una justificaci\u00f3n aparentemente razonable. Pero el p-valor de 0,04 ya no tiene la garant\u00eda que promete.<\/p>\n\n\n\n

    Otros factores que alimentan el problema son el sesgo de confirmaci\u00f3n<\/em> \u2014el investigador se detiene cuando encuentra lo que quer\u00eda\u2014, el HARKing<\/em> \u2014\/Hypothesizing After Results are Known<\/em>, es decir, presentar una hip\u00f3tesis formulada a posteriori<\/em> como si fuera a priori<\/em>\u2014, y la presi\u00f3n de publicaci\u00f3n<\/em>, dado que las revistas publican resultados significativos con mucha m\u00e1s probabilidad que resultados nulos.<\/p>\n\n\n\n

    El segundo problema: el coeficiente ganador siempre miente sobre su tama\u00f1o.<\/strong><\/p>\n\n\n\n

    Hay un segundo efecto del p-hacking<\/em> que es menos conocido pero igual de grave: la maldici\u00f3n del ganador <\/strong>(winner’s curse<\/em>).<\/p>\n\n\n\n

    Entre todas las especificaciones que prueba el investigador, \u00bfcu\u00e1les tienen m\u00e1s probabilidades de arrojar un p-valor bajo? Las que, por azar, han producido un coeficiente grande. Un coeficiente grande tiene un estad\u00edstico t grande, y un estad\u00edstico t grande tiene un p-valor peque\u00f1o. Por lo tanto, el proceso de seleccionar el modelo con menor p-valor es tambi\u00e9n, inevitablemente, el proceso de seleccionar el modelo con el coeficiente m\u00e1s grande.<\/p>\n\n\n\n

    Como consecuencia, podemos apuntar que el coeficiente que publica el investigador no solo puede ser un falso positivo; sino que adem\u00e1s es una sobreestimaci\u00f3n del efecto.<\/strong> Si el efecto real existiera pero fuera peque\u00f1o, el coeficiente publicado lo har\u00eda parecer grande. Cuando otros investigadores intentan replicar el estudio y obtienen coeficientes mucho m\u00e1s peque\u00f1os, no es porque hayan hecho algo mal: es porque el coeficiente original estaba inflado<\/strong> por el proceso de selecci\u00f3n.<\/p>\n\n\n\n

    El experimento: datos sin se\u00f1al, modelos con ilusi\u00f3n.<\/strong><\/p>\n\n\n\n

    Para demostrar todo esto de forma consistente, el experimento de laboratorio que hemos ideado parte de una premisa radical: los datos no contienen ninguna relaci\u00f3n real. La variable dependiente y<\/strong><\/em> es puro ruido aleatorio. Las diez variables candidatas x\u2081\u2013x\u2081\u2080<\/em><\/strong> tambi\u00e9n son puro ruido aleatorio, completamente independiente de y<\/em><\/strong> y entre s\u00ed. No hay ning\u00fan efecto que descubrir. Cualquier resultado \u00absignificativo\u00bb que aparezca ser\u00e1, por definici\u00f3n, un error.<\/p>\n\n\n\n

    Luego se simulan 5.000 veces dos comportamientos distintos:<\/p>\n\n\n\n

    El investigador honesto<\/strong>: estima un \u00fanico modelo prefijado antes de ver los datos (y<\/em><\/strong> en funci\u00f3n de x\u2081<\/em><\/strong>, sin m\u00e1s). Su tasa de falsos positivos ser\u00e1 cercana al 5% nominal: la garant\u00eda funciona porque no ha habido b\u00fasqueda.<\/p>\n\n\n\n

    El investigador pescador<\/strong>: prueba sistem\u00e1ticamente las 10 regresiones simples de y<\/em><\/strong> en funci\u00f3n de cada una de las x<\/em><\/strong>, y las 45 regresiones de y<\/em><\/strong> en funci\u00f3n de cada combinaci\u00f3n de dos variables x<\/em><\/strong> (55 modelos en total). Se queda con el que tiene el p-valor m\u00e1s bajo y lo reporta.<\/p>\n\n\n\n

    Los resultados mostrar\u00e1n dos cosas: que el investigador pescador encontrar\u00e1 un resultado \u00absignificativo\u00bb en torno al 54% de las ocasiones buscando entre 55 modelos, aunque los datos sean ruido puro; y que el coeficiente que reporta el pescador es sistem\u00e1ticamente m\u00e1s grande en valor absoluto que el del investigador honesto.<\/p>\n\n\n\n

    Resultados: lo que los n\u00fameros revelan.<\/strong><\/p>\n\n\n\n

    La inflaci\u00f3n de la tasa de error tipo I.<\/em><\/p>\n\n\n\n

    Recordemos la f\u00f3rmula que vimos antes:<\/p>\n\n\n\n

    P(al menos un falso positivo) = 1 \u2212 (1 \u2212 0,05)^k<\/em><\/p>\n\n\n\n

    La Tabla 1 recoge los valores que resultan de aplicarla para distintos n\u00fameros de modelos probados, junto con la tasa emp\u00edrica obtenida en la simulaci\u00f3n para los dos escenarios del experimento:<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    La columna de tasa simulada confirma la predicci\u00f3n te\u00f3rica: con 55 especificaciones sobre datos de ruido puro, m\u00e1s de la mitad de los experimentos arrojan un resultado \u00absignificativo\u00bb que en realidad no existe.<\/p>\n\n\n\n

    La Figura 1A muestra la distribuci\u00f3n de los p-valores m\u00ednimos obtenidos en las 5.000 simulaciones. Con 10 modelos simples, la tasa de falsos positivos simulada alcanza el 40,6%, ocho veces m\u00e1s que el 5% nominal. Con 55 modelos la tasa sube al 54,4%.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Dicho de otra manera: si un investigador prueba 55 especificaciones con datos completamente aleatorios, encontrar\u00e1 \u00absignificatividad estad\u00edstica\u00bb en m\u00e1s de la mitad de los casos. La \u00abestrellita\u00bb de \u00abp < 0,05\u00bb se convierte en papel mojado.<\/p>\n\n\n\n

    La correcci\u00f3n de Bonferroni: existe el ant\u00eddoto.<\/em><\/p>\n\n\n\n

    La correcci\u00f3n de Bonferroni <\/em>divide el umbral \u03b1<\/em> (significaci\u00f3n estad\u00edstica establecida) entre el n\u00famero de tests realizados. Con 10 modelos el umbral pasa a 0,0050; con 55, a 0,0009. La Tabla 2 muestra el efecto dram\u00e1tico de esta correcci\u00f3n:<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Con la correcci\u00f3n aplicada, las tasas de falsos positivos caen al 4,7% y 2,0% respectivamente, recuperando pr\u00e1cticamente la garant\u00eda nominal del 5%. El problema es que casi ning\u00fan investigador que practica specification search <\/em>aplica esta correcci\u00f3n<\/strong>, entre otras razones porque hacerlo requerir\u00eda admitir cu\u00e1ntas especificaciones se probaron antes de encontrar \u00abla buena\u00bb.<\/p>\n\n\n\n

    La maldici\u00f3n del ganador.<\/em><\/p>\n\n\n\n

    La Figura 1B ilustra el sesgo en los coeficientes. El coeficiente honesto tiene una distribuci\u00f3n centrada en cero \u2014como debe ser, puesto que no hay efecto real\u2014. El coeficiente pescado tiene colas mucho m\u00e1s pesadas y est\u00e1 claramente separado del cero: los valores seleccionados por su bajo p-valor son tambi\u00e9n, por construcci\u00f3n, los m\u00e1s extremos.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    La Tabla 3 cuantifica el sesgo: el coeficiente pescado es 2,6 veces mayor en valor absoluto que el honesto.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Este sesgo tiene implicaciones directas en la pol\u00edtica econ\u00f3mica y en la inferencia: cuando publicamos el coeficiente ganador, estamos sobreestimando sistem\u00e1ticamente el tama\u00f1o del efecto.<\/strong> Un meta-an\u00e1lisis que agregue estudios producidos con specification search<\/em> acumular\u00e1 ese sesgo, y las revisiones de la literatura llegar\u00e1n a conclusiones m\u00e1s extremas que la realidad.<\/p>\n\n\n\n

    Lecciones para el analista (y para quien lee sus resultados).<\/strong><\/p>\n\n\n\n

      \n
    1. El p-valor solo es v\u00e1lido si el modelo fue especificado antes de ver los datos.<\/strong> La inferencia frecuentista asume que el test se define a priori. En cuanto el investigador usa los datos para elegir qu\u00e9 testear, la garant\u00eda te\u00f3rica desaparece.<\/li>\n\n\n\n
    2. La tasa de error real depende del n\u00famero de tests realizados, no del n\u00famero reportado.<\/strong> Si probaste 30 especificaciones y reportas solo 1, tu tasa de error tipo I no es 5%: es potencialmente mucho mayor. Reportar todos los modelos probados \u2014o al menos declarar cu\u00e1ntos se probaron\u2014 es una pr\u00e1ctica de transparencia metodol\u00f3gica b\u00e1sica.<\/li>\n\n\n\n
    3. El coeficiente \u00absignificativo\u00bb encontrado por b\u00fasqueda sistem\u00e1tica es un coeficiente sesgado.<\/strong> La winner’s curse <\/em>garantiza que los coeficientes seleccionados por su p-valor bajo son, en promedio, m\u00e1s grandes en valor absoluto que el verdadero efecto. La simulaci\u00f3n cuantifica ese sesgo en un factor de 2,6\u00d7.<\/li>\n\n\n\n
    4. Las correcciones existen y deben usarse.<\/strong> <\/em>Bonferroni <\/em>es conservadora pero simple. Benjamini-Hochberg <\/em>controla la tasa de falsos descubrimientos (FDR) y es m\u00e1s potente cuando hay muchos tests. En Econometr\u00eda, los criterios AIC<\/strong>\/BIC aplicados a un conjunto de modelos predefinidos son preferibles a buscar el modelo de menor p-valor.<\/strong><\/li>\n<\/ol>\n\n\n\n

      Conclusi\u00f3n: la estad\u00edstica no es una red de arrastre.<\/strong><\/p>\n\n\n\n

      El p-valor es una herramienta poderosa cuando se usa como lo que es: la probabilidad de obtener datos tan extremos como los observados si la hip\u00f3tesis nula fuera cierta, en un experimento dise\u00f1ado antes de ver los datos. Cuando se convierte en el objetivo de una b\u00fasqueda sistem\u00e1tica \u2014cuando el investigador lanza la red una y otra vez hasta que la bota que saca parece un at\u00fan\u2014, deja de medir lo que promete medir.<\/p>\n\n\n\n

      Nuestro experimento de laboratorio lo demuestra sin ambig\u00fcedad: con datos de puro ruido, la specification search<\/em> produce \u00abresultados significativos\u00bb en m\u00e1s del 40% de los casos con solo 10 modelos probados, y en m\u00e1s del 54% con 55 modelos. La \u00abestrella\u00bb de \u00abp < 0,05\u00bb que adorna tantos art\u00edculos acad\u00e9micos no es garant\u00eda de que algo real haya sido descubierto.<\/strong> A veces es solo el resumen de una tarde de pesca.<\/p>\n","protected":false},"excerpt":{"rendered":"

      El comienzo: \u00bfpara qu\u00e9 sirve un modelo estad\u00edstico? Imagina que quieres saber si el nivel de educaci\u00f3n de una persona influye en su salario. Tienes datos de 200 trabajadores: su salario y sus a\u00f1os de estudios. Calculas una regresi\u00f3n y obtienes un coeficiente: por cada a\u00f1o adicional de estudios, el salario sube en media 1.200 […]<\/p>\n","protected":false},"author":78,"featured_media":0,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[23],"tags":[],"class_list":["post-1017","post","type-post","status-publish","format-standard","hentry","category-error-estandar"],"_links":{"self":[{"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/posts\/1017","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/users\/78"}],"replies":[{"embeddable":true,"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/comments?post=1017"}],"version-history":[{"count":7,"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/posts\/1017\/revisions"}],"predecessor-version":[{"id":1031,"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/posts\/1017\/revisions\/1031"}],"wp:attachment":[{"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/media?parent=1017"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/categories?post=1017"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/blog.uclm.es\/miguelangeltarancon\/wp-json\/wp\/v2\/tags?post=1017"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}