Cuando me involucré en el desarrollo de productos, me enfurecieron terriblemente los diseñadores pragmáticos, los que intentaban hacer todo solo sobre la base de la investigación estadística.
Así que quiero que el botón sea verde, solo porque me gusta más. Y el diseñador dice: “no importa, las pruebas AB han demostrado que se hace clic con un 0,2% más de frecuencia en el botón de un color de diarrea”. Señor, amigo, has estado bombeando tu gusto y experiencia durante diez años, ¿y qué? ¿Para que nuestro producto parezca caca de pájaro? Pero los negocios dicen: dado que hay números, cubriremos todo con ellos.
Entiendo que la gente quiere ganar dinero. No quieren confiar en su gusto cuando se trata de la satisfacción del público. Pero ahora sé que el problema puede no estar en números, sino en personas que no saben cómo usar las pruebas estadísticas.
La semana pasada en nuestro podcast estuvo Andrey Akinshin, PhD en Física y Matemáticas y experto en análisis de desempeño. Nos dijo por qué a él también le bombardean las estadísticas matemáticas modernas.
. — .
, . « ». , , , . – . , , , .
« » — . . , , P-value, . P-value , , . , ( « » ).
- , . — . - . . P-value , . , .
, -, , . , – , : , , , . , ! .
– 0,05. ? , 30- , , – , — . 20 , , , .
0,05. — , . Qwerty, , . Qwerty .
. 80- , , . – . , , - , , – «false positive». . , , – «false negative».
0.2. . : «, , , , . – 0.05. ». , , 0.2 – , , .
: «, , , , , . , , 0.2, ». , . , . -, . , ?
, , - .
. , , , , , . . .
, – . , . P-value. – P-value , 0.05. 0.049 0.051, : «! !».
0.9, , . «» , 20 , P-value , . , .
, . , – -, , . , . - , , , .
— -. — , -.
: ? -, -, P-value . : «, - , , ». , . , – .
– , .
, , , .
, : « ?» ( ), : « !».
– 0 1. . , . , , , , , . . – . : « » « - » — .
. — ? -, , . ; , – P-value – .
, .
, , - — « , . ». , . . . — -, , . , , P-value, — , ! - .
, . , , .
, , . , . . « - , , , , ».
— -, , . , . , — - .
Harlow, Lisa L., Stanley A. Mulaik, and James H. Steiger, eds. What if there were no significance tests? Routledge, 2016.
Cohen, Jacob. "The earth is round (p<. 05)." In What if there were no significance tests?, pp. 69-82. Routledge, 2016.
Amrhein, Valentin, Fränzi Korner-Nievergelt, and Tobias Roth. "The earth is flat (p> 0.05): significance thresholds and the crisis of unreplicable research." PeerJ 5 (2017): e3544.
Wasserstein, Ronald L., Allen L. Schirm, and Nicole A. Lazar. "Moving to a world beyond “p< 0.05”." (2019): 1-19.
Winder, W. C. "What you always wanted to know about testing but were afraid to ask." American dairy review (1973).
Grieve, Andrew P. "How to test hypotheses if you must." Pharmaceutical statistics 14, no. 2 (2015): 139-150.
Krawczyk, Michał. " La búsqueda de significación: algunas peculiaridades en la distribución de los valores P en la literatura de psicología experimental ". PloS uno 10, no. 6 (2015).
Y un discurso más de Andrey, donde habla del problema con más detalle: