Análisis de sentimientos en textos en ruso, parte 3: desafíos y perspectivas

El análisis de sentimientos se ha utilizado con éxito para redes sociales, reseñas, noticias e incluso libros de texto. Con base en la investigación clave para el idioma ruso descrita en un artículo anterior , aquí analizamos los principales desafíos que enfrentan los investigadores, así como las direcciones prometedoras para el futuro. A diferencia de trabajos anteriores, me centré en aplicaciones aplicadas y no en los enfoques en sí mismos y su calidad de clasificación.

NB: El artículo fue escrito para una revista científica, por lo que habrá muchos enlaces a las fuentes.

1. Llamadas en curso

A partir del análisis de artículos de investigación, se identificaron diez problemas comunes. En general, los investigadores generalmente enfrentan múltiples desafíos, incluido el acceso a datos históricos representativos y datos de enseñanza, así como anotar emociones, describir exhaustivamente las limitaciones de la investigación y extraer temas de los textos.

1.1. Acceso a datos históricos representativos en fuentes analizadas

Los datos históricos, como publicaciones y reseñas, recopilados a través de API de origen o plataformas de agregación a menudo se utilizan y analizan en la investigación de sentimientos. A veces, los desarrolladores de API solo brindan acceso parcial a los datos publicados. Por ejemplo, la API central de Twitter sigue una política según la cual solo la API histórica de Twitter proporciona acceso a todas las publicaciones abiertas. En cuanto a las plataformas de agregación, incluso si afirman tener acceso completo a los datos de una fuente en particular, es imposible verificarlo. Por lo tanto, solo hay dos formas de asegurarse de que los datos sean representativos para el estudio:

1. API , . , API .
2. . , OK Data Science Lab [98].

1.2.

Aunque el ruso es uno de los más hablados en Internet, la cantidad de fuentes en él es significativamente menor que en inglés, especialmente en el campo del análisis de sentimientos. Aunque se han dedicado muchos estudios a la clasificación de las emociones en textos en ruso, solo los autores de algunos de ellos han puesto sus conjuntos de datos a disposición del público. Si ninguno de los conjuntos disponibles se puede aplicar al tema de investigación, los autores marcan los conjuntos de formación manualmente. Después de analizar fuentes literarias y trabajos científicos [142], [173], identifiqué y describí 14 conjuntos de datos disponibles públicamente para analizar el sentimiento de los textos en idioma ruso (ver Tabla 2). Solo he considerado aquellos kits a los que se puede acceder de acuerdo con las instrucciones descritas en los artículos científicos relevantes o en los sitios oficiales. En este sentido, no fueron incluidos en la lista,por ejemplo, ROMIP establece [174], [175], porque no era posible acceder a los datos a través de su sitio web oficial.



Tabla 2. Conjuntos de datos en idioma ruso para el análisis de sentimientos.

1.3. .

Utilizando sistemas de análisis de terceros como SentiStrength [22], algoritmos de Medialogy o POLYARNIK [107], los autores no suelen escribir sobre la calidad de la clasificación de los textos analizados, por lo que resulta difícil verificar la precisión de los resultados de la investigación. Supongo que el uso de soluciones de terceros también se debe al hecho de que los investigadores no anotaron conjuntos de textos de prueba para calcular métricas de clasificación. Sin embargo, parece que la introducción de esta etapa aumentará significativamente el valor científico del trabajo. Por lo tanto, recomiendo encarecidamente que los autores anoten manualmente las muestras de datos de destino para medir las métricas de clasificación en el análisis de sentimientos.

1.4. Extrayendo temas de textos

Para extraer temas, la mayoría de los estudios utilizan técnicas de modelado de temas. Pero si la proporción de textos relacionados con el tema de interés es significativamente inferior al 1%, el modelado de temas no permitirá trabajar con la extracción de temas [54]. Además, el modelado de temas demuestra poca precisión al analizar textos breves, especialmente si representan el habla cotidiana [54]. Por lo tanto, es necesario desarrollar enfoques más precisos y menos dependientes del ruido.

1.5. Guías de anotación de opiniones para el marcado manual.

Dado que no siempre se dispone de kits de formación en ruso sobre temas de interés, los investigadores suelen anotar los textos a mano. Sin una descripción del manual y otros detalles del proceso de anotación, es difícil validar la calidad del marcado para un conjunto de datos. Las instrucciones claras y sencillas paso a paso son fundamentales para obtener anotaciones de alta calidad tanto de lingüistas certificados como de evaluadores no lingüísticos [176]. Algunos tipos de textos son especialmente difíciles de anotar en la tonalidad, por ejemplo, el estado emocional del hablante, la comunicación neutral de información valiosa, el sarcasmo, el ridículo, entre otros [162].



Como ejemplo de una guía para anotar sentimientos para el idioma ruso, la investigación adicional puede utilizar pautas desarrolladas con la anotación de RuSentiment [142]. Si no tiene lingüistas certificados para realizar anotaciones, puede utilizar la ayuda de los asesores de Yandex.Toloka, una plataforma de colaboración colectiva para anotar datos manualmente. Ya se ha utilizado en varios estudios académicos de textos en ruso [177] - [180]. También es muy recomendable publicar acuerdos entre anotadores, como el kappa de Fleiss [181] o el alfa de Krippendorff [182], así como otros detalles del proceso de anotación.

1.6 Descripción completa de limitaciones

La mayoría de los artículos analizados proporcionan listas incompletas de restricciones. Además de las limitaciones técnicas y metodológicas, se recomienda encarecidamente describir:

• La prevalencia de Internet en el país. Una de las limitaciones críticas, porque ciertos grupos de personas no serán cubiertos por el estudio. Según los resultados de las encuestas de Omnibus GFK en diciembre de 2018 [9], la prevalencia de Internet en Rusia alcanzó el 75,4%, es utilizada por 90 millones de rusos de 16 años o más. El uso de Internet por parte de jóvenes (16-29 años) y personas de mediana edad (20-54 años) está cerca de los niveles de saturación: 99% y 88%, respectivamente. Pero a pesar de un aumento significativo en la prevalencia, solo el 36% de las personas mayores de 55 años usan Internet.
• . , [183]. , . , . , , , , .
• . , , . , , . , , , , ; ; ; , , , , ; . , . , .
• . Freedom House 2018- [184], 53 65. 2012- , IP-, URL. 2019- . , , . , , .

1.7. .

Dado que las personas pueden expresar sus opiniones sobre una gran cantidad de temas, analizar todas estas opiniones puede requerir muchos recursos porque los conjuntos de capacitación deben anotarse para cada tema [186]. La ausencia de colecciones de textos anotados para entrenar modelos de análisis de sentimiento de todos los temas conduce a una disminución en la precisión del análisis. Según un estudio [187], hay tres cuestiones importantes con el análisis intertemático. Las opiniones expresadas en el contexto de un tema pueden invertirse en el contexto de otro tema. El segundo problema se relaciona con las diferencias entre los vocabularios de las emociones para diferentes temas que deben considerarse en el análisis. Y finalmente, es razonable asignar un marcador de la fuerza de la emoción a cada ficha en el diccionario de emociones.

1.8. Definición de sarcasmo e ironía

La comunicación en línea a menudo contiene frases sarcásticas e irónicas [188] que no siempre son fáciles de reconocer incluso para los humanos, y mucho menos los algoritmos de procesamiento del lenguaje natural. Hasta ahora, se han dedicado muy pocas investigaciones [189] a la definición de ironía y sarcasmo en el idioma ruso. Por lo tanto, para el correcto procesamiento de una amplia gama de opiniones, se requiere desarrollar y aplicar más enfoques con clasificación automática de técnicas de habla complejas.

1.9. Definición de bots

Los bots tienen un fuerte impacto en varios aspectos de las redes sociales, especialmente cuando constituyen la mayoría de los usuarios. Se pueden utilizar para diversas tareas maliciosas relacionadas con la opinión pública. Por ejemplo, para inflar la popularidad de las celebridades o difundir información falsa sobre políticos [190]. Como consecuencia, los métodos de identificación de bots deben desarrollarse y aplicarse en estudios de sentimiento.

1.10. Eficiencia de los resultados del análisis

Todavía existe un considerable desacuerdo sobre la eficacia de medir las respuestas mediante el análisis automático de datos en la web. Varios estudios [191], [192] encuentran que los enfoques de las redes sociales son menos precisos que la investigación tradicional. Otros afirman [193] que estos enfoques muestran un mejor rendimiento que los métodos tradicionales. Por lo tanto, se recomienda encarecidamente, si es posible, comparar los resultados del estudio con los resultados obtenidos utilizando otros métodos.

2. Áreas de investigación prometedoras

Después de revisar la literatura, identifiqué siete oportunidades para futuras investigaciones.



En general, la investigación futura debe examinar cuidadosamente los enfoques para monitorear el sentimiento presentados en este artículo con el fin de identificar sinergias potenciales entre los enfoques individuales para un análisis más completo del sentimiento expresado en diferentes fuentes de texto.

2.1 Aprendizaje con transferencia de conocimientos de modelos lingüísticos

La mayor parte del trabajo utiliza enfoques de aprendizaje automático sencillos o basados ​​en reglas. Sólo dos estudios [69], [72] utilizaron redes neuronales. Sin embargo, trabajos recientes han demostrado que el aprendizaje con la transferencia de conocimientos a partir de modelos de lenguaje previamente entrenados puede resolver eficazmente problemas de clasificación de emociones, logrando con confianza buenos resultados [43], [194] - [198].



Por lo tanto, el uso de modelos de lenguaje afinados puede mejorar significativamente la calidad del análisis de sentimientos y, por lo tanto, mejorar la precisión de los resultados del monitoreo de sentimientos. La investigación inicial se llevó a cabo en [199], cuyos autores entrenaron una red neuronal convolucional poco profunda y amplia con ELMo-embeddings [42] y obtuvieron nuevas métricas de clasificación de registros en el conjunto de datos RuSentiment [142], superando todos los enfoques anteriores de redes neuronales. Como primer paso en esta dirección, los investigadores podrían capacitar y publicar tasas de transferencia de aprendizaje de referencia para diferentes conjuntos de textos en ruso.

2.2. Análisis de sentimiento de textos multilingües

Rusia es un país multinacional y, por tanto, multilingüe. Por tanto, distintas personas y grupos de personas pueden expresar sus opiniones en distintos idiomas. Los lingüistas en Rusia cuentan más de 150 idiomas, comenzando con el ruso, que es hablado por el 96,25% de la población, y terminando con Negidal, que es hablado por varios cientos de personas en la región de Amur. Varios estudios analizaron textos en varios idiomas, lo que permitió a los autores cubrir una gama más amplia de fuentes y comparar expresiones de opinión sobre el mismo tema en diferentes idiomas.



Para clasificar las emociones en diferentes idiomas, algunos investigadores tradujeron todos los textos a un idioma y llevaron a cabo análisis de sentimientos monolingües (por ejemplo, [72]). Otros han desarrollado modelos de clasificación multilingües (por ejemplo, [79]). Como desarrollo de este último enfoque, los investigadores pueden utilizar modelos de lenguaje previamente entrenados, por ejemplo, Representaciones de codificador bidireccional de Transformers [43] y Codificador de oración universal multilingüe [198].

2.3. Extracción de textos de temas de materias generales

En la mayoría de los estudios de modelos de casos, los autores seleccionaron solo unos pocos temas para la extracción y el análisis futuro. Sin embargo, este enfoque no permite extraer temas relevantes de grandes conjuntos de texto, por ejemplo, cuando la proporción de texto relacionado con temas de interés es mucho menor al 1% [54]. Además, el modelado de temas demuestra una baja precisión en el análisis de textos breves, especialmente si se trata del habla cotidiana [54]. La tarea de extraer temas puede reducirse no solo al modelado de temas, sino también al problema de la clasificación del texto, si se dispone de un conjunto extenso de datos de capacitación sobre la extracción de temas generales.



La creación de un conjunto de datos de este tipo parece ser un proceso que requiere mucho tiempo y recursos en el caso de un enfoque básico con anotación con un equipo de lingüistas o crowdsourcing. Sin embargo, algunas plataformas de redes sociales brindan a los usuarios la posibilidad de etiquetar sus publicaciones, como Reddit y Pikabu. Esto significa que los usuarios de dichas redes sociales se hacen cargo del proceso de anotación; por lo tanto, con una verificación adicional, estos datos pueden potencialmente usarse para crear un conjunto de capacitación para extraer temas generales de los mensajes.

2.4. Me gusta y otros tipos de reacciones al contenido como una forma indirecta de expresar emociones

En la mayoría de los estudios, las expresiones de opinión se evaluaron solo por el contenido de las publicaciones. Sin embargo, los me gusta y otros tipos de reacciones a las publicaciones pueden ser una fuente de emociones expresadas por los lectores. Por lo tanto, esta información se puede tener en cuenta al monitorear el sentimiento. En el estudio [200] se realizó un trabajo preliminar en el estudio de la relación entre publicar likes y emociones sobre la publicación: los investigadores estudiaron el papel del contenido de las publicaciones, la relación entre el autor de la publicación y la personalidad del usuario. Según investigaciones en línea, los autores argumentan que las publicaciones con emociones positivas generalmente reciben Me gusta automáticamente sin una lectura cuidadosa. También se señaló que la positividad de las publicaciones se correlaciona con motivos relativos y literales.Además del simple botón Me gusta, algunas plataformas de redes sociales han introducido una funcionalidad receptiva para permitir a los usuarios mostrar fácilmente su reacción emocional a un mensaje. Por ejemplo, el conjunto de reacciones de Facebook consta de Me gusta, Amor, Guau, Jaja, Enfadado y Triste.



En su estudio de los estímulos emocionales en el comportamiento reaccionario de los usuarios de Facebook de habla rusa, Smolyarova et al. [201] muestran que la reacción de Amor se suele utilizar de manera sencilla, convirtiéndose en una alternativa al Me gusta tradicional. Por el contrario, es probable que una publicación que desencadena una reacción de sorpresa también se marque con otras emociones. Reacciones como Love, Haha y Wow tienden a desalentar el deseo de interactuar más con las publicaciones a través de comentarios o el botón de compartir [202]. Por lo tanto, un área de investigación potencialmente significativa es la relación entre la reacción, el estado de ánimo de las personas y el estado de ánimo de la publicación, que se puede utilizar en el futuro para controlar el estado de ánimo.

2.5. Clasificación contextual de las emociones

La reacción emocional del usuario en el texto puede depender en gran medida del contexto: el mismo texto en un contexto puede expresar un tono positivo y en otro, uno negativo [203]. Por tanto, al analizar el tono de las conversaciones, por ejemplo, las respuestas en los comentarios, es muy importante captar el contexto de la conversación además de las propias reacciones emocionales. Los investigadores deben prestar atención a la clasificación contextual de las emociones cuando analizan las conversaciones.

2.6. Análisis de contenido de fuentes menos investigadas

Una proporción significativa de la investigación se basa en datos de VKontakte, Twitter, LiveJournal y YouTube, aunque existen otras redes sociales populares que se pueden utilizar como fuente de datos, por ejemplo, Odnoklassniki, Moi Mir y RuTube. Por lo tanto, los investigadores pueden prestar atención a Odnoklassniki, porque es la segunda red social rusa más grande, que es utilizada por el 42% de la población del país [98]. La plataforma es popular entre los usuarios mayores de 35 años, por lo que puede ser una fuente útil de opiniones de generaciones anteriores. Además, se puede acceder a las estadísticas representativas de Odnoklassniki a través de OK Data Science Lab, una plataforma desarrollada por Odnoklassniki para la investigación.

2.7. Análisis automático del contenido de las redes sociales como alternativa a las encuestas tradicionales

En la actualidad, los resultados del análisis de textos en línea no pueden considerarse como una alternativa completa a los enfoques clásicos para evaluar opiniones basadas en encuestas masivas [204]. Para superar este obstáculo, se necesita una base teórica para generalizar los datos al nivel de grupos de población más grandes [205]. Las encuestas masivas tradicionales asumen la asociación de opiniones con grupos sociodemográficos, y la información demográfica confiable generalmente no está disponible en las redes sociales. Los investigadores pueden usar información de geolocalización, datos de perfil de usuario y sistemas de predicción de género y edad [206] - [211] para comparar sus hallazgos con las encuestas de opinión tradicionales.

2.8. Seguimiento del índice de sentimiento del segmento de las redes sociales de habla rusa

En un documento pionero de 2010 [212], Mislov et al.Examinaron la dinámica del sentimiento a lo largo del día analizando más de 300 millones de mensajes de Twitter basados ​​en la ubicación de los Estados Unidos utilizando un enfoque basado en un diccionario. Se observaron algunas tendencias interesantes, como el nivel más alto de felicidad temprano en la mañana y tarde en la noche. Los fines de semana eran mucho más felices que los días laborables. Los patrones revelados fueron confirmados por un estudio del estado de ánimo de los brasileños en Twitter [213], que utilizó una ingenua clasificación bayesiana de estados de ánimo [30]. Dzogang también investigó los patrones circadianos en los cambios de humor [214]. Si ya se han realizado estudios de este tipo en muchos idiomas, los textos en ruso hasta ahora han sido poco estudiados [93], [137]. Se pueden explorar más y más profundamente en términos de la cantidad de datos analizados,Calidad de los modelos de clasificación de emociones y métodos para calcular índices sociales.



Además, se han dedicado algunos estudios al desarrollo de sistemas para monitorear las emociones en las redes sociales de habla rusa, pero los autores generalmente no reportan los resultados del monitoreo. Por ejemplo, investigadores de la Universidad ITMO describieron un enfoque para evaluar el sentimiento emocional de la opinión pública [215], los autores de [216] consideraron el principio general de monitorear las redes sociales mediante el análisis inteligente de mensajes de texto, y en el artículo [148] los autores describieron el desarrollo de software para monitorear el sentimiento público a través de Mensajes de Twitter en ruso.

3. Conclusión

Como podemos ver, ya existe una buena base de investigación para el idioma ruso, que cubre una amplia gama de objetivos de investigación y fuentes analizadas. Sin embargo, también hay una serie de desafíos y áreas prometedoras que deben tenerse en cuenta al realizar una nueva investigación.

4. Fuentes

Puede encontrar una lista completa de fuentes aquí .