Preprocesamiento de datos

¡Hola! Soy un desarrollador web y llevo varios años interesado en el aprendizaje automático. Porque en mi parque de trabajo del día a día, tengo que resolver problemas que me son menos interesantes, no relacionados con el aprendizaje automático, de vez en cuando olvido lo que alguna vez leí o usé. Para crear un memo para mí, fortalecer mis conocimientos y compartirlo con otros, decidí escribir esta serie de artículos sobre aprendizaje automático. Empezaré con el preprocesamiento de datos.

En este artículo hablaré sobre qué problemas ocurren con los datos, cómo resolverlos y también sobre los métodos más utilizados para preparar datos antes de alimentarlos a diferentes modelos.

Salta

Considere el siguiente conjunto de datos. Honestamente se me ocurrió, y más adelante en este artículo me referiré a él.

, . . — , . , .

, "" , . , , .

— , - , . , "" "" . , , - - . : , , , .

. , . .

, . , . : , . — , .

:

• "".

• .

, :

• .

, " " 1 .

• . , .

, . , , . , "" . — ( ).

, , , , . :

$$

$$IQR = Q_3 - Q_1,$$

$$$Q_1$ — — , 25% . $$$Q_3$ — — , 75% .

, , , : :

$$

$$[ Q_1 -1.5IQR, Q_3 + 1.5IQR ]$$

.

— . , [0, 1]. , . , . (, , ) .

. , , . , .

$$

$$x_{new} = \frac{ x_{old} - x_{min}} {x_{max} - x_{min}}$$

Z-. Z- :

$$

$$(-3σ[X], 3σ[X]),$$

$$$σ[X]$ — X.

Z- .

$$

$$x_{new} = \frac{x_{old} - M[X]} {σ[X]}$$

M[X] — X.

, Z- , .

One-hot encoding

. . , " " - . : . . . ( ).

, , ? . , " " 1, "" — 2. . , , . , . .

, , . , "" 4 :

, , .

, . . , , . . , .

Gracias por leer o navegar hasta aquí. No he descrito todos los métodos de preprocesamiento y este artículo no es útil para los científicos de datos profesionales. Sin embargo, si es un principiante y no sabe qué hacer con sus datos, puede volver aquí de forma segura. ¡Buena suerte con tu aprendizaje y tareas interesantes!

Lista de fuentes

No soy un científico y este artículo no pretende ser científico. Por lo tanto, no elaboraré fuentes de acuerdo con GOST. Por favor discúlpeme por esto.

1. Conferencia del curso de Yandex y HSE "Introducción al aprendizaje automático" en el cursor.
2. Estandarización, o eliminación de medias y escalado de varianza - documentación de la biblioteca de sklearn
3. Tareas avanzadas de preparación de datos de aprendizaje automático - Microsoft