Análisis de los sentimientos. Definimos mensajes emocionales sobre Habré

El análisis de sentimientos (o análisis de sentimientos) es una de las tareas con las que trabajan los especialistas en ciencia de datos. Con la ayuda de dicho análisis, puede estudiar la variedad de mensajes y otros datos y determinar cómo están coloreados emocionalmente: positivos, negativos o neutrales.





Veamos cómo funciona: analicemos una serie de artículos basados ​​en el conjunto de datos de Linis Crowd. Proponemos determinar qué modelos son más prometedores, por ejemplo, para el desarrollo de todo tipo de servicios de monitorización. Como área temática, seleccionaremos artículos de carácter técnico (por ejemplo, sobre Habré), que pueden ser útiles para implementar la recogida automática de opiniones.





La tonalidad es la identificación del vocabulario emocionalmente coloreado en los textos, así como una valoración emocional de las opiniones expresadas por los autores. 





, , “” . , ( ). , , .





, -. , , . 





: . – 70-80%, , .





:





  • . () . , .





  • , . . , , .





, . – . , IT- , . :





-1





:





0





:





1





:





2 :





  • . , , Linis Crowd.





  • , . python, .





  • -, Flask, - .





  • nltk - . , .





  • Fasttext. Word2Vec , , . . 500 , .





Fasttext ():

























– , .





1)

, , , , . , . .













, :





alpha = 0.3; fitprior = True; classprior = None





2)

, .





:





  • samplesize, . , .





  • max_features ( — ).





  • ( ). , , ( ). , , , . 









, : 





nestimators = 200; maxdepth = 3; random_state = 0





3)  

, . 





Embedding, 64- , LSTM (128 ) Dense (10 ).









Linis Crowd, 29 . .





  .





, . fasttext , 5 - 10 CPU. GPU 0.7 – 1.





  :





  • 60%. 





  • 20% 





  • 20% . 





, 70-80%. 









  • (88,32%)





  • (78,91%)





  • . RNN (83,26%)





, 88,32% . , 80%, .





! , . 





-, : 





  1. http://datareview.info/article/analiz-tonalnosti-teksta-kontseptsiya-metodyi-oblasti-primeneniya/





  2. https://habr.com/ru/company/palitrumlab/blog/262595/





  3. https://compress.ru/article.aspx?id=23115





  4. https://habr.com/ru/company/mailru/blog/417767/





  5. https://habr.com/ru/company/mailru/blog/516214/





  6. https://habr.com/ru/company/mailru/blog/516726/





  7. https://habr.com/ru/company/mailru/blog/516730/












All Articles