El método de revisión de desempeño 360 también se usa en X5 Retail Group. Hoy vamos a contarte sobre las mejores prácticas de BigData X5 para el análisis de recursos humanos en profundidad.
Obviamente, la precisión de dicho método, aunque aumenta al promediar opiniones diferentes, todavía depende de la apertura y el entusiasmo con el que las personas llenen los cuestionarios, de su comprensión de la escala, de la fortaleza del equipo, de la atmósfera en el equipo y mucho más.
Un aspecto importante del funcionamiento de dicho sistema es la interacción con el llenado de cuestionarios. Si una persona sin pensar le da a todo el mundo cinco, necesita trabajar con él, explicarle la importancia del proceso. En Rusia, hay una cierta actitud hacia las calificaciones sobre la base de una escala de cinco puntos, según la cual un estudiante C es un personaje regular, uno bueno es normal, pero un estudiante excelente es alguien que trabaja bien, eso es un elogio. Los perdedores permanecen por segundo año, y de hecho, “no hay muchos, y nunca los he visto en nuestra empresa”, así es como los gerentes suelen responder sobre su equipo. "En algún lugar", pero no aquí. Entonces, si crees que el empleado es bueno, le das un cuatro, porque una C ... bueno, hay una C, y si son amigos, entonces puedes poner un cinco, no lo dudes. Esto conduce a calificaciones sesgadas, a un alto porcentaje de cinco en la encuesta,que degenera en casi dos puntos: con cuatro y cinco.
Enseñar a los evaluadores es un proceso lento y triste (bueno, no siempre triste) que incluye explicaciones: cómo funciona el instrumento; cómo evaluar correctamente a una persona, sin admirar los resultados de una sola interacción ni ser negativos por los resultados de una carta grosera; cómo se ve una escala de calificaciones, diferente a la que se usa en la escuela; una descripción general de los errores típicos de los revisores, etc. Es muy importante relajar a las personas, alejarse de su percepción del proceso como una herramienta más aburrida, para deshacerse del temor de que la evaluación afecte los resultados financieros de un colega. Es fundamentalmente importante aquí no tomar decisiones de personal apresuradas y no ajustar el personal de mando en pistas nuevas.
La declaración del proceso analítico desde el punto de vista del empleado de recursos humanos está bien establecida en el texto.de Avito, que recomiendo mucho leer. Los chicos observaron un fuerte sesgo hacia el bien, el número de cuatro ("por encima de las expectativas") fue similar al número de triples ("cumple con las expectativas"). También encontramos argumentos sobre "el bien y el mal", aunque usamos una escala de nuestro propio diseño.
Además, las voces estaban divididas. O es un equipo amistoso fuerte o una de dos cosas. Por lo tanto, lanzamos rápidamente una segunda revisión en un equipo diferente
y nos aseguramos de que a veces, incluso sin trabajo adicional para aclarar la escala y calibrar las estimaciones, podamos obtener datos con una alta variación. Es decir, es necesario trabajar con personas y tener en cuenta la propensión orgánica a realizar evaluaciones "objetivas". O tal vez se trata de un desacuerdo dentro del equipo, que, en general, también es útil conocer.
El puntaje 360 se usa generalmente para dos propósitos: desarrollo de empleados y análisis de desempeño. Es importante comprender que el resultado puede diferir según el nivel de preparación y apertura de quienes brindan la retroalimentación. Cuando creamos una herramienta para potenciar el desarrollo de los empleados, es importante que proporcionemos comentarios anónimos de diversas fuentes para ayudarlo a comprender sus fortalezas y debilidades, bombear habilidades y desarrollar las cualidades que faltan. La encuesta se centra en las competencias o comportamientos estrechamente relacionados con el desempeño de las responsabilidades laborales y los valores de la organización. Cuando lancemos una herramienta de este tipo, hay que dejar claro a los participantes que somos noUsaremos los resultados para decisiones de personal. Nuestra historia tratará sobre el uso del método de revisión 360 para desarrollar empleados.
Los datos de desarrollo de los empleados son necesarios para evaluar las fortalezas y las áreas de desarrollo, no para tomar decisiones sobre bonificaciones o talentos. También es importante que una empresa comprenda cómo los valores de una persona se correlacionan con los de la empresa. Los resultados 360 siempre se comparten con el empleado y su gerente.
Las puntuaciones y los resultados de las encuestas 360 son un tesoro de datos que se pueden utilizar para proporcionar información y análisis. Estos datos son necesarios para calcular factores de "corrección" que ayudarán a obtener un resultado más confiable, así como para agrupar a los empleados por competencias, habilidades, compilar un "perfil" de equipos individuales y mucho más. Todos estos cálculos requieren potencia y marcos adicionales, que decidimos mover a un microservicio separado. Por lo tanto, hemos separado lógicamente la parte que ve el usuario (del departamento de recursos humanos) de la parte "analítica", en la que se realizan todos los cálculos analíticos adicionales. Este enfoque permite que estos servicios se desarrollen de forma independiente y permite una separación adicional de los cálculos.El servicio analítico no cuenta con base de datos propia, todos los cálculos se realizan en base a los datos que se encuentran en la base de datos del servicio principal, e interactúa usando la REST-API.
El servicio analítico es un servidor independiente escrito en Flask, y el servicio principal se implementa en NodeJS con una base de datos PostgreSQL. Este esquema de interacción indudablemente difícil se presenta a continuación:
Considere un ejemplo de evaluación de encuestas en otros equipos, llamémoslos equipo A y equipo B. Imagine una situación en la que en el equipo A los empleados son amigables, se tratan bien entre sí y, en consecuencia, la puntuación promedio puede ser bastante alto. En contraste con el Equipo A, suponga que el Equipo B está compuesto por personas más críticas que honestamente otorgan puntajes altos solo a aquellos empleados que realmente se desempeñan bien.
¿Cómo comparamos a dos empleados del Equipo A y del Equipo B? Para comparar empleados de diferentes equipos, utilizamos una calibración especial de "equipo" para obtener la puntuación de un empleado en relación con la puntuación media de su equipo. No puede prescindir de una fórmula aquí.
Supongamos que tenemos un empleado x con una puntuación de 0,9 del equipo A, cuya puntuación media es 0,85, y hay un empleado y con una puntuación de 0,65 del equipo B, cuya puntuación media es 0,5. Después de restar las puntuaciones medias de los equipos, obtenemos las puntuaciones "calibradas" de los empleados:
así, vemos que el empleado y tiene una puntuación calibrada más alta que la puntuación calibrada del empleado x.
El mismo ejemplo se aplica a la normalización en equipo. Todos los empleados son diferentes y tienden a evaluar a sus colegas también de manera diferente. Por ejemplo, hay un empleado x que trata muy bien a todos los colegas y les da a todos una puntuación media de 0,8, y hay un empleado y que mira más críticamente a los demás y les da una media de 0,5 a los demás empleados. Cuando los empleados xey califican al empleado z, pueden calificarlo igualmente bueno (o igualmente malo), pero en su propio sistema de valores, por lo que al promediar el puntaje promedio dentro del equipo, restamos el promedio de cada empleado, que se calcula a partir de datos históricos. Suponga que el empleado x calificó al empleado z en 0.9, y el empleado y en 0.7, la puntuación promedio será igual.Sin
embargo, si restamos las calificaciones de los autores históricamente promedio, obtenemos
Luego de esta calibración, obtenemos una métrica que toma en cuenta el “sistema de valores” de cada empleado y, por lo tanto, es más “honesta”.
Lo importante es que a la hora de definir el perfil de una persona podemos ponderar las valoraciones de los revisores con diferentes coeficientes. Existe mucha evidencia de que los gerentes tienden a ser más precisos e imparciales al evaluar a las personas (de hecho, esta es también la razón por la que terminaron donde estaban), probablemente debido a una mayor experiencia.
Los valores por defecto de las ponderaciones son 0,25, es decir, en la versión actual no damos preferencia a ninguna de las categorías de encuestados, pero como se decía en una antigua anécdota, “la herramienta está ahí”.
En otras palabras, habiendo recopilado estimaciones calibradas por los autores, intentamos llevarlas a un “sistema de coordenadas” global para poder extraer información correcta de los datos. De lo contrario, debido a evaluaciones sesgadas, podemos descubrir alguna regularidad asombrosa que realmente no existe, y qué bueno, comenzaremos a desarrollar al empleado en la dirección opuesta a su perfil.
Que tengamos éxito y hemos recopilado vectores que representan el perfil de competencias del empleado. Además, existen vectores recibidos de compañeros, directivos, subordinados y autoestima. Recopilamos todo esto en un cubo (para ser precisos, un paralelepípedo, pero además usaré el término cubo por analogía con cubos OLAP).
Pero ahora, diseccionando el cubo a lo largo de diferentes ejes, podemos obtener varias dependencias analíticas. Por ejemplo, arreglemos la competencia y veamos su distribución en toda la organización como un todo o entre equipos dentro de la organización. O tome la columna de la derecha de las calificaciones de los gerentes y observe internamente la variación de las calificaciones para ver si hay hallazgos sorprendentes.
Desarrollando esta lógica, es posible obtener diagramas de comparación de empleados, tanto dentro del equipo como pertenecientes a diferentes departamentos, la llamada telaraña; pero es posible, en el mismo diagrama, dar los valores promedio de competencias en un equipo y comprender para una persona específica dónde está eliminado en relación con el equipo y en qué dirección; puede tomar otro equipo en lugar del en el que se encuentra el empleado y comparar sus competencias promedio con las competencias de una persona. Por qué, si haces swing, puedes comparar al equipo con respecto a otro equipo, eso es lo que puede resultar un juego divertido.
Los grupos de ciertos tipos dentro de una organización también pueden analizarse para encontrar personas que quizás sean comunicadores efectivos o expertos que sean conocidos por su enfoque profundo para la resolución de problemas.
También son posibles hallazgos analíticamente más simples, aunque no menos interesantes. En particular, una alta variación en las calificaciones de uno de los empleados al ser encuestado entre colegas puede indicar una percepción polarizada de sus colegas.
¿Qué pasa si la varianza es alta al comparar las calificaciones de los colegas y del gerente? ¿Los colegas y un gerente evalúan a un empleado de manera muy diferente? Quizás aquí pueda preguntarse qué tipo de líder es y si es demasiado estricto con los miembros de su equipo (bueno, o viceversa, acrítico). O saque una conclusión sobre la superobjetividad fundamental de los gerentes en la organización, si un patrón similar se repite para otros equipos.
Es probable que una gran cantidad de evaluaciones faltantes para cualquiera de los empleados indique que la persona tiene poco compromiso con sus colegas. Al mismo tiempo, para algunos equipos en X5 esto es un modus operandi bastante, y no hay nada sorprendente aquí, pero es obvio que para algunos equipos esto servirá como un indicador de la necesidad de cambios en el proceso de trabajo.
En el futuro, queremos formular preguntas más sutiles en forma de investigación para eliminar el sesgo en las calificaciones en esta etapa, evitando el trabajo manual con los usuarios del servicio y las interminables explicaciones sobre cómo elegir las calificaciones correctas y lo que significan. Tenemos varias ideas, están en proceso de verificación y definitivamente compartiremos los resultados con usted. También queremos aplicar técnicas más astutas al cubo de datos, además de cortar a lo largo de los ejes y agrupar. Aquí probamos varios autocodificadores, lineales y no lineales, buscando enlaces cruzados entre vistas a lo largo de diferentes ejes de coordenadas. En general, hay mucho trabajo, los datos son desobedientes y configurar el sistema no es fácil :)
Autores:
Evgeny Makarov
Valery Babushkin
Svyatoslav Oreshin
Daniil Pavlyuchenko
Evgeny Molodkin