Trampa psicológica en análisis de datos
El cerebro humano tiene una capacidad asombrosa para encontrar patrones en todo ... pero estos patrones generalmente tienen poco en común con la realidad. Podemos ver la imagen de un conejo en una nube o la cara de Elvis en papas fritas.
¿Ves el conejo y el perfil de Elvis?
Piense en la prueba de Rorschach: a las personas se les muestran diferentes manchas y se les pregunta qué ven. No creerá cuán voluntariamente nuestra mente encuentra interpretaciones falsas de conjuntos de datos aleatorios.
¿Murciélago? ¿Mariposa? ¿Una mancha ordinaria? Este es uno de los 10 mapas de la prueba de Rorschach, creada en 1921.
Los psicólogos tienen un hermoso nombre para este fenómeno: apofenia. Dele a las personas al menos algún incentivo y lo encontrarán no solo caras y mariposas, sino también una razón para asignar un presupuesto para su proyecto favorito o lanzar un sistema de inteligencia artificial.
Sobre el autor: Cassie Kozyrkov es una estadística y estadística sudafricana. Ella fundó Decision Intelligence en Google, donde es la científica principal.
La mayoría de los conjuntos de datos tienen mucha información aleatoria. ¿Cuál es la probabilidad de que su análisis no sea propenso a la apofenia? ¿Puedo confiar en mi interpretación de los datos?
Nuestra mente hace lo mismo con los datos que con los borrones.
Cuantas más formas de fragmentar estos conjuntos de datos y cuanto más complejos sean, más vagos son los incentivos. Prácticamente le ruegan que reconozca imágenes falsas en ellos.
Los conjuntos de datos complejos están prácticamente rogando ver en ellos algo que realmente no existe.
¿Estás seguro de que tu último conjunto de datos no está oculto?
Hay otra palabra maravillosa: pareidolia , una especie de apofenia (para encontrar cosas familiares en vagos estímulos sensoriales). Japón incluso tiene un museo de piedras que parecen caras. Vivimos en tiempos increibles.
Mentiras, mentiras descaradas y análisis
Sé que suena sombrío, pero aún no he terminado. Si toma cursos de análisis de datos, puede agregarle combustible al fuego. Los estudiantes están acostumbrados a esperar un valor real de cada estudio de datos. Cada tarea de investigación exploratoria tiene un tesoro escondido. Solo unos pocos profesores se atreven a enviarte en busca de lo inalcanzable (¡por tu propio bien!). Calificar las tareas sin una respuesta precisa es más difícil, por lo que los estudiantes generalmente no les prestan mucha atención.
Los estudiantes están acostumbrados a la verdad detrás de cada conjunto de datos.
La narración de los datos es simplemente una desviación de las mentiras que usan directamente los datos. Dejemos de lado la cuestión de si los patrones son reales. Hablemos de múltiples interpretaciones. Si ve la imagen de un murciélago en una mancha, esto no significa que no haya mariposa, huesos pélvicos o un par de zorros. Si no hubiera mencionado a los zorros, ¿los habrías visto? Probablemente no. Los mecanismos psicológicos responsables de la motivación y la atención están jugando en tu contra. Se necesita una habilidad especial para dejar de ver el murciélago y comenzar a ver solo una superposición de valores.
Una vez que las personas se aferran a su imagen favorita, les resulta difícil no verla.
El problema es que tan pronto como las personas se aferran a su imagen favorita, les resulta difícil verla y ver otras imágenes. Es muy probable que las personas crean la interpretación que atrajo su atención en primer lugar. Cada nuevo valor encontrado reduce la motivación para continuar buscando. Hacer malabarismos con múltiples historias potenciales sin volver a evaluar su historia favorita es mucho trabajo mental. Por desgracia, no todos los analistas son lo suficientemente disciplinados para esto. De hecho, muchos analistas están interesados en "probar" solo un lado de la historia a través de la minería de datos. ¿Por qué desarrollar habilidades que evitan que su billetera se reponga?
¿De qué color es tu sable de luz?
Hay varias formas de probar la historia utilizando datos: honesto y completo. Mi artículo sobre fragmentación de datos le dará más información sobre esto. El análisis exploratorio de datos no es uno de estos métodos. La exploración de datos que no implica un valor real es como la pesca. El color de su sable láser depende del cebo que use.
Si te unes al lado oscuro, estarás enganchado a la evidencia para apoyar tu teoría. Ya "sabes" que ella es fiel (por lo que puedes venderla a una víctima ingenua). Es posible que ni siquiera se dé cuenta de que su sable láser es rojo si cree sinceramente en la objetividad de los datos y su propia imparcialidad.
La exploración de datos que no implica un valor real es como la pesca.
Si tiene un conjunto de datos bastante complicado (vago), encontrará un patrón que puede ajustar para probar su historia favorita. Esta es la belleza de la prueba de Rorschach. Desafortunadamente, los datos son peores que las manchas. Cuanto más matemático sea su método, más convincente le suena a quienes no entienden nada al respecto.
Imagen satelital de una "cara en Marte" que mucha gente percibe como prueba de la existencia de extraterrestres.
Los que se niegan a tomar el lado oscuro también van a pescar. Pero captan algo más: la inspiración. Buscan patrones que puedan ser interesantes y convincentes, pero no los toman como evidencia porque son inteligentes. En cambio, se involucran en análisis imparciales e intentan notar tantas interpretaciones diferentes como sea posible en sus cabezas.
Los mejores analistas intentan encontrar tantas interpretaciones como sea posible.
Esto requiere un buen ojo y una mente modesta e imparcial. Los buenos analistas no intentan que las partes interesadas vean solo un lado de la historia. En cambio, piensan creativamente para convertir los mismos datos en múltiples historias. Presentan sus hallazgos de tal manera que inspiran a todos a seguir sin provocar que sus líderes muevan montañas por exceso de confianza.
La imparcialidad le da al análisis de datos la oportunidad de tener algún significado.
Una disciplina desarrollada para buscar múltiples interpretaciones es el arma secreta del analista. Le permite tener a la vista los verdaderos tesoros escondidos en los datos. Si te distrae la información falsa en la que crees debido al sesgo, es difícil prestar atención a la evidencia que apunta en una dirección diferente. ¿Por qué molestarse en analizar algo si las conclusiones están predeterminadas de antemano? La imparcialidad te da la oportunidad de asegurarte de que todos los esfuerzos no sean en vano.
Este sándwich de queso a la parrilla fue subastado por $ 28,000 porque presenta a la Virgen María. que ves aquí?
Contrata a un gran analista
Rasgos que probablemente desee buscar en una buena analítica:
- No sacan conclusiones que van más allá de los datos que examinan.
- Son herramientas de procesamiento de datos fáciles de manipular y pueden ver rápidamente grandes cantidades de datos.
- Tienen el conocimiento de dominio necesario, por lo que es menos probable que pierdan el tiempo de los interesados en las pequeñas cosas.
- Entienden que su trabajo es encontrar inspiración.
- Visualizan los datos de una manera conveniente y comprensible para el cerebro, por lo que la inspiración llega rápidamente.
- Saben lo que necesitan para seguir de cerca cualquier información potencial que encuentren (y a quién recurrir para obtener ayuda).
Además de todo lo anterior, este artículo lo invita a prestar atención a estas características:
- Saben que la mente encuentra significado donde no existe, por lo que tratan de no ceder ante interpretaciones falsas y no tienen prisa por sacar conclusiones.
- , . , .
- , . , . , -.
Finalmente, si usted es un líder, asegúrese de dar a sus empleados los incentivos correctos. ¿Estás buscando un analista o manipulador de datos? Tienen diferentes pensamientos y habilidades. Elija al analista sabiamente y recompense por el comportamiento correcto.
¡Olvídate de las papas fritas! Este museo japonés con piedras en forma de cara sobresalió.
Publicación científica: ¡ La papa frita realmente se parece a Elvis! Características neuronales del procesamiento conceptual asociado con la búsqueda de formas novedosas subjetivamente significativas
Aprenda los detalles de cómo obtener una profesión buscada desde cero o subir de nivel en habilidades y salario, tomando cursos en línea pagados de SkillFactory:
- Curso de aprendizaje automático (12 semanas)
- Aprendizaje de ciencia de datos desde cero (12 meses)
- (9 )
- «Python -» (9 )