Reconocimiento de emociones en grabaciones telefónicas

La tecnología para reconocer emociones en el habla se puede utilizar en una gran cantidad de tareas. En particular, esto permitirá automatizar el proceso de seguimiento de la calidad del servicio al cliente en los centros de llamadas.





Determinar las emociones de una persona por su discurso ya es un mercado relativamente saturado. Revisé varias soluciones de empresas del mercado ruso e internacional. Intentemos averiguar cuáles son sus ventajas y desventajas.





1) Empatía





2017 Empath. Web Empath, , Smartmedical. , .





, , . . , , , , , . , , .





. [1]. , , .





2)





Smart Logger II QM Analyzer, , , . QM Analyzer : , , , [2]. , , , , [3].





, . .





3) Neurodata Lab





Neurodata Lab , , , , , . Neurodata Lab RAMAS — , 12 : , , , — . , [4].





RAMAS Neurodata Lab -, . , , . : , .





, . , , [1].





, . .









Empath









Neurodata Lab













-





+





+





+





-





-









+





+





-





+





-





+





- IT- .





.





Diagrama de flujo de procesamiento de llamadas
-

:





  1. RNNoise_Wrapper





  2. pyAudioAnalysis





  3. vosk-api





  4. dostoevsky





, .





. , , . , . , . Librosa.





:





  • - (MFCC)









  • -









  • (Tonnetz)





3 - . Emo-DB, .





scikit-learn:





  • SVC





  • RandomForestClassifier





  • GradientBoostingClassifier





  • KNeighborsClassifier





  • MLPClassifier





  • BaggingClassifier





- Emo-DB 79%. , 23%. , .





- 55%.

























Emo-DB





4





408





MLPClassifier





79.268%/22.983%





MCartEmo-admntlf





7





324





KNeighborsClassifier





49.231%





MCartEmo-asnef





5





373





GradientBoostingClassifier





49.333%





MCartEmo-pnn





3





421





BaggingClassifier





55.294%





. .





- MCartEmo-pnn. .





62.352%.





-, 566. . 66.666%. , .





Gráfico de historial de aprendizaje y matriz de errores recibidos por CNN
CNN

, , . , , .





Gateway API JSON Web Token -, , .





24. . 24 . REST API 24, OAuth 2.0, . ( ), ( ) OnVoximplantCallEnd, CRM-. .









, - , CNN. 66.66%.

-, , , .

, 24.



" " . X " " .



, , .









  1. , . : / . , . , . // " 2011.". – 2011. – . 178–185.





  2. Smart Logger II. . [ ]. — : http://www.myshared.ru/slide/312083/.





  3. Smart Logger-2 está despierto. Las emociones de los operadores de call center y de los clientes bajo control [Recurso electrónico]. - Modo de acceso: https://piter.tv/event/_Smart_logger_2_ne_drem/ .





  4. Perepelkina, O. RAMAS: Corpus ruso multimodal de interacción diádica para estudiar el reconocimiento de emociones / O. Perepelkina, E. Kazimirova, M. Konstantinova // PeerJ Preprints 6: e26688v1. - 2018.








All Articles