Análisis de vacantes mediante clustering

Este artículo proporciona un método para analizar las vacantes para la consulta de búsqueda "Python" utilizando el modelo de agrupación Gaussian Mixture Model (GMM). Para cada grupo seleccionado, se mostrarán las habilidades y el rango salarial más solicitados.



¿Cuál fue el propósito de este estudio? Quería saber:

• En que aplicaciones se usa Python
• Qué conocimientos se requieren: bases de datos, bibliotecas, marcos
• Cuánta demanda de especialistas en cada área
• Que sueldos se ofrecen

Cargando datos

Puestos de trabajo descargado desde el sitio hh.ru , mediante la API: dev.hh.ru . A pedido de "Python", se subieron 1994 vacantes (región de Moscú), que se dividieron en suites de capacitación y pruebas, en la proporción de 80% y 20% . El tamaño del conjunto de entrenamiento es 1595 , el tamaño del conjunto de prueba es 399 . El conjunto de prueba solo se utilizará en las secciones de habilidades Top / Antitop y Clasificación de puestos.

Señales

Según el texto de las vacantes subidas, se formaron dos grupos de los n-gramas de palabras más comunes :

• 2 gramos en cirílico y latino
• 1 gramo en latín

En las vacantes de TI, las habilidades y tecnologías clave generalmente se escriben en inglés, por lo que el segundo grupo incluyó palabras solo en latín.



Después de seleccionar n-gramos, el primer grupo contenía 81 2 gramos y el segundo 98 1 gramos:



Se decidió dividir las vacantes en grupos de acuerdo con los siguientes criterios en orden de prioridad:



La determinación de a qué grupo de criterios pertenece el n-grama, y ​​qué peso asignarle, ocurrió en un nivel intuitivo. Aquí hay un par de ejemplos:

1. A primera vista, "Docker" se puede atribuir al segundo grupo de criterios con una ponderación de 4 a 6. Pero la mención de "Docker" en la vacante probablemente significa que la vacante será para el puesto de "ingeniero DevOps". Por lo tanto, "Docker" cayó en el primer grupo y recibió un peso de 7.
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

Para los cálculos, cada vacante se transformó en un vector con una dimensión de 179 (el número de características seleccionadas) de números enteros de 0 a 9, donde 0 significa que el i-ésimo n-gramo está ausente en la vacante, y los números del 1 al 9 significan la presencia del i-ésimo n - gramos y su peso. Más adelante en el texto, un punto se entiende como una vacante representada por dicho vector.

Ejemplo:

digamos que una lista de n-gramos contiene solo tres valores:

No.	norte	n-gramo	Peso	Vacantes
1	2	en python	ocho	258
2	2	comprensión de los principios	ocho	221
3	1	sql	cinco	490

Luego, para una vacante con texto.



Requisitos:

• Más de 3 años de experiencia en el desarrollo de Python .
• Buen conocimiento de sql

el vector es igual a [8, 0, 5].

Métrica

Para trabajar con datos, es necesario que los comprenda. En nuestro caso, me gustaría ver si hay grupos de puntos, que consideraremos como grupos. Para hacer esto, utilicé el algoritmo t-SNE para traducir todos los vectores al espacio 2D. 



La esencia del método es reducir la dimensión de los datos, manteniendo al máximo las proporciones de las distancias entre los puntos del conjunto. Es bastante difícil entender cómo funciona t-SNE a partir de las fórmulas. Pero me gustó un ejemplo que se encuentra en algún lugar de Internet: digamos que tenemos bolas en un espacio tridimensional. Conectamos cada bola con todas las demás bolas mediante resortes invisibles que no se cruzan de ninguna manera y no interfieren entre sí al cruzar. Los resortes actúan en dos direcciones, es decir resisten tanto la distancia como el acercamiento de las bolas entre sí. El sistema está en un estado estable, las bolas están estacionarias. Si tomamos una de las bolas y la tiramos hacia atrás, y luego la soltamos, volverá a su estado original debido a la fuerza de los resortes. A continuación, tomamos dos platos grandes y exprimimos las bolas en una capa delgada,sin interferir con las bolas para moverse en el plano entre las dos placas. Las fuerzas de los resortes comienzan a actuar, las bolas se mueven y finalmente se detienen cuando las fuerzas de todos los resortes se equilibran. Los resortes actuarán de manera que las bolas que estaban cerca una de la otra permanecerán relativamente juntas y planas. También con las bolas eliminadas, se eliminarán entre sí. Con la ayuda de resortes y placas, convertimos el espacio tridimensional en bidimensional, ¡conservando la distancia entre los puntos de alguna forma!También con las bolas eliminadas, se eliminarán entre sí. Con la ayuda de resortes y placas, convertimos el espacio tridimensional en bidimensional, ¡conservando la distancia entre los puntos de alguna forma!También con las bolas eliminadas, se eliminarán entre sí. Con la ayuda de resortes y placas, convertimos el espacio tridimensional en bidimensional, ¡preservando la distancia entre los puntos de alguna forma!



Utilicé el algoritmo t-SNE solo para visualizar un conjunto de puntos. Ayudó a elegir una métrica, así como a seleccionar los pesos para las características.



Si usamos la métrica euclidiana que usamos en nuestra vida diaria, entonces la ubicación de las vacantes se verá así:





La figura muestra que la mayoría de los puntos se concentran en el centro y hay pequeñas ramas a los lados. Con este enfoque, los algoritmos de agrupación en clúster que utilizan las distancias entre puntos no producirán nada bueno.



Hay muchas métricas (formas de determinar la distancia entre dos puntos) que funcionarán bien con los datos que está explorando. Elegí la distancia Jaccard como medida , teniendo en cuenta los pesos de n-gramos. La medida de Jaccard es fácil de entender, pero funciona bien para resolver el problema en consideración.

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

Se calculó la matriz de distancias entre todos los pares de puntos, el tamaño de la matriz es 1595 x 1595. En total, 1,271,215 distancias entre pares únicos. La distancia media resultó ser 0,96, entre 619 659 la distancia es 1 (es decir, no hay ninguna similitud). El siguiente gráfico muestra que, en general, hay poca similitud entre los trabajos:





Usando la métrica de Jaccard, nuestro espacio ahora se ve así:





Aparecieron cuatro áreas de densidad distintas y dos pequeños grupos con baja densidad. ¡Al menos así ven mis ojos!

Clustering

Se eligió el modelo de mezcla gaussiana (GMM) como algoritmo de agrupación . El algoritmo recibe datos en forma de vectores como entrada, y el parámetro n_components es el número de grupos en los que se debe dividir el conjunto. Puedes ver cómo funciona el algoritmo aquí (en inglés). Usé una implementación de GMM lista para usar de la biblioteca scikit-learn: sklearn.mixture.GaussianMixture .



Tenga en cuenta que GMM no usa una métrica, sino que separa los datos solo por un conjunto de características y sus pesos. En el artículo, la distancia de Jaccard se utiliza para visualizar datos, calcular la compacidad de los grupos (tomé la distancia promedio entre los puntos del grupo para determinar la compacidad) y determinarel punto central del grupo (vacante típica) - el punto con la distancia promedio más pequeña a otros puntos del grupo. Muchos algoritmos de agrupación utilizan exactamente la distancia entre puntos. La sección Otros métodos discutirá otros tipos de agrupamiento que se basan en métricas y también dan buenos resultados.



En la sección anterior, se determinó visualmente que lo más probable es que haya seis grupos. Así es como se ven los resultados del agrupamiento con n_components = 6:







En la figura con la salida de los conglomerados por separado, los conglomerados están ordenados en orden descendente del número de puntos de izquierda a derecha, de arriba a abajo: el conglomerado 4 es el más grande, el 5 es el más pequeño. La compacidad de cada grupo se indica entre paréntesis.



En apariencia, la agrupación resultó no ser muy buena, incluso si consideramos que el algoritmo t-SNE no es perfecto. Al analizar los conglomerados, el resultado tampoco fue alentador.



Para encontrar el número óptimo de clústeres n_componentes, usaremos los criterios AIC y BIC, sobre los que puede leer aquí . El cálculo de estos criterios está integrado en el método sklearn.mixture.GaussianMixture . Así es como se ve el gráfico de criterios:





Cuando n_components = 12, el criterio BIC tiene el valor más bajo (mejor), el criterio AIC también tiene un valor cercano al mínimo (mínimo cuando n_components = 23). Dividamos las vacantes en 12 grupos:







Los clústeres son ahora más compactos, tanto en apariencia como en términos numéricos. Durante el análisis manual, las vacantes se dividieron en grupos característicos para comprender a una persona. La figura muestra los nombres de los grupos. Los clústeres numerados 11 y 4 están etiquetados como <Papelera 2>:

1. En el grupo 11, todas las características tienen aproximadamente los mismos pesos totales.
2. El clúster 4 está dedicado a Java. Sin embargo, hay pocas vacantes para el puesto de desarrollador de Java en el clúster, por lo que a menudo se requiere conocimiento de Java ya que "será una ventaja adicional".

Clusters

Después de eliminar dos grupos no informativos numerados 11 y 4, el resultado es 10 grupos:





Para cada grupo, hay una tabla de características y 2 gramos que se encuentran con mayor frecuencia en las vacantes del grupo.



Leyenda:



S - la proporción de vacantes en las que se encuentra el rasgo, multiplicada por el peso del rasgo

% - el porcentaje de vacantes en las que se encuentra el rasgo / 2-gramo Vacantes

típicas de clúster - vacante, con la menor distancia promedio a otros puntos del clúster

Analista de datos

Número de trabajos: 299 Trabajo



típico: 35,805,914

Desarrollador C ++

Número de trabajos: 139 Trabajo

típico: 39,955,360

Ingeniero Linux / DevOps

Número de puestos vacantes: 126 Trabajo

típico: 39.533.926

Desarrollador Python

Número de puestos vacantes: 104 Trabajo

típico: 39,705,484

Científico de datos

Número de trabajos: 98 Trabajo

típico: 38 071218

Desarrollador Frontend

Número de trabajos: 97 Trabajo

típico: 39,681,044

Desarrollador backend

Número de trabajos: 93 Trabajo

típico: 40,226,808

Ingeniero de DevOps

Número de trabajos: 78 Trabajo

típico: 39634258

Ingeniero de datos

Número de trabajos: 77 Trabajo

típico: 40,008,757

Ingeniero de QA

Número de trabajos: 56 Trabajo

típico: 39630489

Sueldos

Los sueldos se indican solo en 261 (22%) vacantes de 1,167 en los conglomerados.



Al calcular los salarios:

1. Si se especificó el rango "de ... a ...", se utilizó el valor promedio
2. Si solo se indicó "desde ..." o solo "hasta ...", este valor se tomó
3. Los cálculos utilizaron (o se les dio) salario después de impuestos (NET)

En el gráfico:

1. Los grupos se clasifican en orden descendente de salario medio
2. Barra vertical en caja - mediana
3. Cuadro: rango [Q1, Q3], donde Q1 (25%) y Q3 (75%) son percentiles. Aquellos. 50% de los salarios caen dentro de la caja
4. El "bigote" incluye los salarios del rango [Q1 - 1.5 * IQR, Q3 + 1.5 * IQR], donde IQR = Q3 - Q1 - rango intercuartil
5. Los puntos individuales son anomalías que no caen en el bigote. (Hay anomalías no incluidas en el diagrama)

Habilidades Top / Antitop

Los gráficos se elaboraron para todas las vacantes cargadas de 1994. Los sueldos se indican en 443 (22%) vacantes. Para el cálculo de cada función, se seleccionaron las vacantes donde esta función está presente, y en base a ellas se calculó el salario medio.

Clasificación de Trabajo

La agrupación podría ser mucho más fácil sin recurrir a modelos matemáticos complejos: compilar los títulos de los puestos principales y dividirlos en grupos. Luego, analice cada grupo en busca de n-gramas superiores y salarios promedio. No es necesario resaltar características y asignarles ponderaciones.



Este enfoque funcionaría bien (hasta cierto punto) para una consulta "Python". Pero para la solicitud "Programador 1C", este enfoque no funcionará, porque para los programadores de 1C, las configuraciones de 1C o las áreas aplicadas rara vez se indican en los nombres de las vacantes. Y hay muchas áreas donde se usa 1C: contabilidad, cálculo de salarios, cálculo de impuestos, cálculo de costos en empresas industriales, contabilidad de almacenes, presupuestos, sistemas ERP, comercio minorista, contabilidad de gestión, etc.



Para mí, veo dos tareas para analizar las vacantes:

1. Entender dónde se usa un lenguaje de programación del que sé poco (como en este artículo).
2. Filtrar nuevos trabajos publicados.

La agrupación en clústeres es adecuada para resolver el primer problema, para resolver el segundo: una variedad de clasificadores, bosques aleatorios, árboles de decisión, redes neuronales. Sin embargo, quería evaluar la idoneidad del modelo elegido para el problema de clasificación de puestos.



Si usa el método predict () integrado en sklearn.mixture.GaussianMixture , no pasa nada bueno. Atribuye la mayoría de las vacantes a grandes grupos, y dos de los primeros tres grupos no son informativos. Usé un enfoque diferente: 

1. Tomamos la vacante que queremos clasificar. Lo vectorizamos y conseguimos un punto en nuestro espacio.
2. Calculamos la distancia desde este punto a todos los grupos. Debajo de la distancia entre un punto y un grupo, tomé la distancia promedio desde este punto a todos los puntos del grupo.
3. El grupo con la distancia más pequeña es la clase prevista para la vacante seleccionada. La distancia al grupo indica la confiabilidad de tal predicción.
4. Para aumentar la precisión del modelo, elegí 0,87 como distancia de umbral, es decir, si la distancia al conglomerado más cercano es superior a 0,87, el modelo no clasifica la vacante.

Para evaluar el modelo, se seleccionaron al azar 30 vacantes del conjunto de prueba. En la columna de veredicto:



N / a: el modelo no clasificó el puesto (distancia> 0,87)

+: clasificación correcta

-: clasificación incorrecta  



Total: 12 vacantes sin resultado, 2 vacantes - clasificación errónea, 16 vacantes - clasificación correcta. Completitud del modelo: 60%, precisión del modelo: 89%.

Lados débiles

El primer problema: tomemos dos vacantes:

Vacante 1 - "Programador principal de C ++"

"Requisitos:

• Más de 5 años de experiencia en desarrollo de C ++.
• El conocimiento de Python será una ventaja adicional ".

Puesto vacante 2: "Programador principal de Python"

"Requisitos:

• Más de 5 años de experiencia en desarrollo de Python.
• El conocimiento de C ++ será una ventaja adicional "

Desde el punto de vista del modelo, estas vacantes son idénticas. Traté de ajustar los pesos de las características según el orden en que aparecían en el texto. Esto no condujo a nada bueno.



El segundo problema es que GMM agrupa todos los puntos en un conjunto, como muchos algoritmos de agrupación. Los clústeres no informativos no son un problema por sí mismos. Pero los grupos informativos también contienen valores atípicos. Sin embargo, esto se puede resolver fácilmente eliminando los grupos, por ejemplo, eliminando los puntos más atípicos que tienen la mayor distancia promedio al resto de los puntos del grupo.

Otros metodos

La página de comparación de conglomerados demuestra bien los distintos algoritmos de agrupamiento. GMM es el único que dio buenos resultados.

El resto de los algoritmos no funcionaron o dieron resultados muy modestos.



De los implementados por mí, los buenos resultados fueron en dos casos:

1. Se seleccionaron puntos con alta densidad en un determinado vecindario, ubicados a una distancia distante entre sí. Los puntos se convirtieron en los centros de los grupos. Luego, sobre la base de los centros, comenzó el proceso de formación de grupos: la unión de puntos vecinos.
2. La agrupación aglomerativa es una fusión iterativa de puntos y agrupaciones. La biblioteca scikit-learn presenta este tipo de agrupamiento, pero no funciona bien. En mi implementación, cambié la matriz de combinación después de cada iteración de la combinación. El proceso se detuvo cuando se alcanzaron algunos parámetros de límite; de ​​hecho, los dendrogramas no ayudan a comprender el proceso de fusión si se agrupan 1500 elementos.

Conclusión

La investigación que hice me dio las respuestas a todas las preguntas al comienzo del artículo. Obtuve experiencia práctica con la agrupación en clústeres al implementar variaciones de algoritmos conocidos. Realmente espero que el artículo motive al lector a llevar a cabo su investigación analítica y de alguna manera ayude en esta emocionante lección.