Los investigadores aplicaron el análisis de sentimientos a textos en ruso completamente diferentes: publicaciones de redes sociales, reseñas, artículos de noticias y libros. Como consecuencia, los resultados de su investigación también fueron completamente diferentes y extremadamente interesantes. Por ejemplo, ¿quién hubiera pensado que los textos con un tono positivo hacen que aprender una lengua extranjera sea más interesante, pero menos efectivo? En esta serie de artículos, veremos cómo y con qué propósitos se utilizaron los enfoques de análisis de sentimientos para los textos en ruso, qué resultados se lograron, qué problemas surgieron y también hablaremos un poco sobre direcciones prometedoras.
A diferencia de trabajos anteriores, me centré en las aplicaciones aplicadas y no en los enfoques en sí mismos y su calidad de clasificación. En el primer articulodiscutimos qué es el “análisis de sentimientos”, qué es y cómo se ha utilizado durante los últimos 8 años para analizar textos en ruso. En esta parte, analizaremos más de cerca cada uno de los 32 estudios principales que he encontrado. En la tercera y última parte (la próxima semana), hablaremos sobre los desafíos comunes que enfrentan los investigadores, así como sobre las direcciones prometedoras para el futuro.
NB: El artículo fue escrito para una revista científica, por lo que habrá muchos enlaces a las fuentes.
Muchos estudios utilizaron datos de redes sociales rusas y plataformas de agregación. A continuación se muestra una breve descripción de los recursos rusos y extranjeros más populares y las estadísticas de su uso.
- 90 , . Deloitte [98], , 70 % . 16—24 , .
- YouTube , 62 % . 16—24 , 58—64 %.
- Twitter [98], 5 % . 25—65 , 55—64 .
- LiveJournal , 3 % . 35—44 , .
- Medialogia — , . 500 . 100 . 52 000 900 .
- IQBuzz es un servicio de monitoreo que procesa información de más de 10,000 fuentes en los medios, desde Facebook, Twitter, VKontakte, My World, Instagram, 4sq, LiveJournal, LiveInternet, Google, YouTube, RuTube y otros. El sistema es capaz de identificar automáticamente los mensajes positivos y negativos, deduplicar y realizar búsquedas complejas en la base de datos acumulada.
A continuación describiré los estudios encontrados, los resultados obtenidos en ellos y las conclusiones extraídas por los autores, que pueden no coincidir con mi posición.
1. UGC en las redes sociales
Muchas redes sociales se han convertido en herramientas modernas para el compromiso social [53]. Los datos generados por los usuarios son una fuente importante y accesible de opinión pública, o al menos un reflejo de ella, por lo que pueden complementar o reemplazar las encuestas de opinión [54]. Los datos generados por el usuario se examinaron de acuerdo con tres criterios:
- Actitud ante diferentes temas.
- Índices de estado de ánimo social.
- Detalles de la interacción del usuario con datos que expresan diferentes sentimientos.
1.1. Actitud ante diferentes temas
Los temas más frecuentes en el estudio de los textos en ruso fueron los problemas de las relaciones interétnicas y la migración, así como la crisis de Ucrania. Se prestó especial atención al análisis de la tensión social, así como a otros temas.
1.1.1 Grupos étnicos y migrantes
Los problemas de las relaciones interétnicas y la migración, así como los temas relacionados, se han investigado en profundidad utilizando métodos sociológicos bien desarrollados. Sin embargo, el rápido desarrollo de Internet y el procesamiento del lenguaje natural ha permitido investigar un enfoque relativamente nuevo. Las redes sociales permiten que individuos y grupos participen abiertamente en conflictos. En Internet, los juicios sobre cuestiones de migración y etnia pueden difundirse mucho más rápido y llegar a una audiencia mucho más amplia que antes de la era de Internet [54]. Más investigaciones académicas han demostrado que el contenido en línea negativo contribuye a los conflictos étnicos fuera de línea [99] y los delitos de odio [100]. De este modo,Con el desarrollo de las tecnologías de Internet, aumenta la importancia de analizar los problemas de las relaciones interétnicas y la migración basada en contenidos en línea.
Un estudio de Bodrunova y sus colegas se centró en la actitud de la comunidad en línea de habla rusa hacia los migrantes en el discurso público [81]. Los autores recopilaron 363,579 publicaciones de los principales blogueros rusos del 4 de febrero al 19 de mayo de 2013. Aplicando la estrategia descrita en [59], [101], los investigadores que utilizaron la asignación de Dirichlet latente [102] identificaron discusiones relevantes. Luego mapeamos manualmente algunas de las discusiones y clases de sentimientos. A continuación, entrenamos un modelo de regresión logística binomial (Regresión logística binomial [32]) para una serie de problemas de clasificación de texto, incluida la clasificación de emociones. Según los resultados, todos los migrantes fueron percibidos negativamente y, sobre todo, los que llegaron del Cáucaso Norte en comparación con los inmigrantes de Asia Central y los estadounidenses.No hubo una actitud positiva hacia los europeos o estadounidenses. Al mismo tiempo, los europeos, estadounidenses y caucásicos fueron percibidos como agresores, no como víctimas. Los asiáticos centrales fueron descritos como extraterrestres con connotaciones negativas. En general, los europeos no eran percibidos como extraños o socios, los estadounidenses eran percibidos como peligrosos y los judíos como completamente inofensivos. Los autores del estudio argumentan que la división mental postsoviética de la población no coincide completamente con los límites geográficos actuales, por lo que los grupos anteriormente cercanos ya se perciben como naciones separadas con sus propias agendas políticas. Uno de los principales inconvenientes de este trabajo es la falta de una evaluación de la calidad de la descripción de los datos y la especificación de métricas de clasificación.Los asiáticos centrales fueron descritos como extraterrestres con connotaciones negativas. En general, los europeos no eran percibidos como extraños o socios, los estadounidenses eran percibidos como peligrosos y los judíos como completamente inofensivos. Los autores del estudio argumentan que la división mental postsoviética de la población no coincide completamente con los límites geográficos actuales, por lo que los grupos previamente cercanos ya se perciben como naciones separadas con sus propias agendas políticas. Uno de los principales inconvenientes de este trabajo es la falta de una evaluación de la calidad de la descripción de los datos y la especificación de métricas de clasificación.Los asiáticos centrales fueron descritos como extraterrestres con connotaciones negativas. En general, los europeos no eran percibidos como extraños o socios, los estadounidenses eran percibidos como peligrosos y los judíos como completamente inofensivos. Los autores del estudio argumentan que la división mental postsoviética de la población no coincide completamente con los límites geográficos actuales, por lo que los grupos previamente cercanos ya se perciben como naciones separadas con sus propias agendas políticas. Uno de los principales inconvenientes de este trabajo es la falta de una evaluación de la calidad de la descripción de los datos y la especificación de métricas de clasificación.que la división mental postsoviética de la población no coincide completamente con los límites geográficos actuales, por lo que los grupos anteriormente cercanos ya son percibidos como naciones separadas con sus propias agendas políticas. Uno de los principales inconvenientes de este trabajo es la falta de evaluación de la calidad de la descripción de los datos y la especificación de las métricas de clasificación.que la división mental postsoviética de la población no coincide completamente con los límites geográficos actuales, por lo que los grupos anteriormente cercanos ya son percibidos como naciones separadas con sus propias agendas políticas. Uno de los principales inconvenientes de este trabajo es la falta de evaluación de la calidad de la descripción de los datos y la especificación de las métricas de clasificación.
El equipo dirigido por Koltsova [82], utilizando métodos adaptados de trabajos anteriores ([103], [104]), estimó el volumen total de discusiones relacionadas con las relaciones interétnicas en los sitios de las redes sociales en ruso. Para crear un corpus primario de 2.660.222 textos, los autores desarrollaron una lista compleja de etnónimos y bigramas, que abarca 97 grupos étnicos en el territorio postsoviético. Luego, utilizando el marcado manual, se creó un conjunto de datos de entrenamiento de 7.181 textos, cada uno de los cuales fue anotado por tres expertos en varios criterios, incluida la presencia de conflictos intergrupales, contactos intergrupales positivos y tono general negativo o positivo. Para clasificar las emociones, los autores entrenaron un modelo de regresión logística en un conjunto de datos etiquetado [32] y lograron F 1 = 0,75 para sentimiento positivo y F1 = 0,68 para negativo. Los autores encontraron que la atención a los grupos étnicos varía mucho entre diferentes grupos y regiones. A partir de esta investigación, el equipo liderado por Koltsova mejoró la calidad de los resultados obtenidos y aumentó el número de prejuicios, que se pueden encontrar en el siguiente trabajo [83]. Para empezar, los autores aumentaron el conjunto de datos para el procesamiento manual de 7.181 a 14.998 textos únicos. Luego, los textos fueron revisados por al menos tres expertos independientes. A continuación, los autores enseñaron un modelo de regresión logística para dividir los textos en tres categorías (actitud positiva, neutral y negativa) utilizando los mejores hiperparámetros tomados del estudio anterior. Esto ayudó a mejorar significativamente las métricas de clasificación. Los valores medios para los estados de ánimo fueron: P = 0,67, R = 0,55 y F 1= 0,58.
Nagorny en su trabajo [84] investigó el tema de la estructura de las discusiones étnicas en las redes sociales en ruso. Basado en una lista de más de 4.000 palabras relacionadas con discusiones étnicas, el autor recopiló 2.659.849 textos de VKontakte e IQBuzz para el período de enero de 2014 a diciembre de 2016. Además, el autor utilizó ISLDA [26], una modificación del algoritmo LDA desarrollado en el HSE Internet Research Laboratory. Para calcular la clase de sentimiento, Nagorny aplicó SentiStrength [22] con el diccionario de emociones en ruso LINIS Crowd [26]. Para cada tema, el índice de polaridad se calculó como la suma de los productos de la probabilidad de este tema en el texto por el valor de la emoción correspondiente, dividido por la importancia total del tema. Después de analizar el perfil temático de las discusiones étnicas obtenido con la ayuda de la LDA, Nagorny identificó los temas más negativos e importantes. Reveló,que la mayor parte de las discusiones estaban relacionadas con las relaciones ruso-ucranianas en relación con el reciente conflicto entre los países. Como resultado, fue difícil separar los temas interétnicos de los políticos, ya que el conflicto influyó en la polaridad de las discusiones en Internet. Las discusiones más negativas están relacionadas con la nacionalidad uzbeka y las relaciones turco-armenias en el contexto del genocidio armenio. Sin embargo, este estudio tiene inconvenientes. Primero, no está claro exactamente cómo se recopilaron los datos. Aunque IQBuzz afirma rastrear todas las menciones en Internet, es imposible verificar esto sin acceso completo a los mensajes VK. En segundo lugar, las métricas de clasificación no se midieron en grandes conjuntos de textos, por lo que es difícil probar la calidad de las emociones clasificadas.Como resultado, fue difícil separar los temas interétnicos de los políticos, ya que el conflicto influyó en la polaridad de las discusiones en Internet. Las discusiones más negativas están relacionadas con la nacionalidad uzbeka y las relaciones turco-armenias en el contexto del genocidio armenio. Sin embargo, este estudio tiene inconvenientes. Primero, no está claro exactamente cómo se recopilaron los datos. Aunque IQBuzz afirma rastrear todas las menciones en Internet, es imposible verificar esto sin acceso completo a los mensajes VK. En segundo lugar, las métricas de clasificación no se midieron en grandes conjuntos de textos, por lo que es difícil probar la calidad de las emociones clasificadas.Como resultado, fue difícil separar los temas interétnicos de los políticos, ya que el conflicto influyó en la polaridad de las discusiones en Internet. Las discusiones más negativas están relacionadas con la nacionalidad uzbeka y las relaciones turco-armenias en el contexto del genocidio armenio. Sin embargo, este estudio tiene inconvenientes. Primero, no está claro exactamente cómo se recopilaron los datos. Aunque IQBuzz afirma rastrear todas las menciones en Internet, es imposible verificar esto sin acceso completo a los mensajes VK. En segundo lugar, las métricas de clasificación no se midieron en grandes conjuntos de textos, por lo que es difícil probar la calidad de las emociones clasificadas.Las discusiones más negativas están relacionadas con la nacionalidad uzbeka y las relaciones turco-armenias en el contexto del genocidio armenio. Sin embargo, este estudio tiene inconvenientes. Primero, no está claro exactamente cómo se recopilaron los datos. Aunque IQBuzz afirma rastrear todas las menciones en Internet, es imposible verificar esto sin acceso completo a los mensajes VK. En segundo lugar, las métricas de clasificación no se midieron en grandes conjuntos de textos, por lo que es difícil probar la calidad de las emociones clasificadas.Las discusiones más negativas están relacionadas con la nacionalidad uzbeka y las relaciones turco-armenias en el contexto del genocidio armenio. Sin embargo, este estudio tiene inconvenientes. Primero, no está claro exactamente cómo se recopilaron los datos. Aunque IQBuzz afirma rastrear todas las menciones en Internet, es imposible verificar esto sin acceso completo a los mensajes VK. En segundo lugar, las métricas de clasificación no se midieron en grandes conjuntos de textos, por lo que es difícil probar la calidad de las emociones clasificadas.por lo tanto, es difícil probar la calidad de las emociones clasificadas.por lo tanto, es difícil probar la calidad de las emociones clasificadas.
Los investigadores Borodkina y Sibirev de la Universidad de San Petersburgo examinaron discusiones en Twitter en ruso relacionadas con los problemas de la migración internacional, así como con varios problemas asociados con la migración [55]. Los autores utilizaron 13.200 publicaciones publicadas entre noviembre de 2017 y febrero de 2018. Estos datos se recopilaron sobre el tema "migración" y palabras clave relacionadas. Luego, los autores, utilizando el coeficiente de Ohai, midieron la similitud de las etiquetas y, utilizando el principio de Pareto, eliminaron los enlaces débiles e insignificantes del gráfico de red. Para el análisis de sentimientos, se entrenó un clasificador basado en un modelo de vector de soporte [33]. Y para determinar los vínculos entre características (por ejemplo, emociones, características del contenido), se utilizaron métodos de análisis adecuados. Resultó que entre los rusos que viven en diferentes países, existe una actitud muy similar hacia los migrantes.Una proporción significativa de usuarios expresa una actitud negativa hacia los migrantes de otras nacionalidades. Principales temas tratados: riesgos para la cultura y la seguridad asociados al terrorismo y la migración ilegal, derechos humanos en general, violación de los derechos de los inmigrantes en Rusia en el ámbito social y económico. Este estudio tiene varios pequeños inconvenientes. El enfoque del análisis de sentimientos se describe brevemente, sin los detalles de la etapa de preprocesamiento, los hiperparámetros del modelo y la calidad final de la clasificación utilizando el modelo entrenado. Además, la API central de Twitter proporciona solo acceso parcial a todas las publicaciones, por lo que la representatividad de los datos analizados es cuestionable.relacionados con el terrorismo y la migración ilegal, los derechos humanos en general, la violación de los derechos de los inmigrantes en Rusia en el ámbito social y económico. Este estudio tiene varios pequeños inconvenientes. El enfoque del análisis de sentimientos se describe brevemente, sin los detalles de la etapa de preprocesamiento, los hiperparámetros del modelo y la calidad final de la clasificación utilizando el modelo entrenado. Además, la API central de Twitter proporciona solo acceso parcial a todas las publicaciones, por lo que la representatividad de los datos analizados es cuestionable.relacionados con el terrorismo y la migración ilegal, los derechos humanos en general, la violación de los derechos de los inmigrantes en Rusia en el ámbito social y económico. Este estudio tiene varios pequeños inconvenientes. El enfoque del análisis de sentimientos se describe brevemente, sin los detalles de la etapa de preprocesamiento, los hiperparámetros del modelo y la calidad final de la clasificación utilizando el modelo entrenado. Además, la API central de Twitter proporciona solo acceso parcial a todas las publicaciones, por lo que la representatividad de los datos analizados es cuestionable.hiperparámetros del modelo y la calidad final de la clasificación utilizando el modelo entrenado. Además, la API central de Twitter proporciona solo acceso parcial a todas las publicaciones, por lo que la representatividad de los datos analizados es cuestionable.hiperparámetros del modelo y la calidad final de la clasificación utilizando el modelo entrenado. Además, la API central de Twitter proporciona solo acceso parcial a todas las publicaciones, por lo que la representatividad de los datos analizados es cuestionable.
Por lo tanto, en el contexto del estudio de la migración y las relaciones interétnicas, los investigadores han estudiado principalmente los datos generados por los usuarios de las redes sociales, utilizando una combinación de modelos temáticos y análisis de sentimientos. El concepto de etnicidad está bien investigado en la literatura académica, pero desde el punto de vista de la lingüística computacional, la definición de nacionalidad en los textos generados por los usuarios se reduce a la tarea de identificar los marcadores étnicos utilizados por los autores de estos textos [54]. Por lo tanto, para identificar textos relevantes, los investigadores a menudo crean listas de marcadores de estatus étnico y buscan textos que contengan dichos marcadores. Sin embargo, extraer datos representativos es difícil porque no todas las plataformas dan acceso completo a toda su información.Luego, los sentimientos generalmente se analizan a nivel de documento o aspecto. Debido a que el lenguaje negativo puede contener información de identificación personal, así como discurso ofensivo o de odio, dicho contenido puede ser censurado de acuerdo con las pautas de las redes sociales y los requisitos legales. El Código Penal de la Federación de Rusia tiene un marco regulatorio que regula las llamadas públicas a una acción radical, lo que debería afectar el volumen de declaraciones negativas fuertes en las discusiones tanto en línea como fuera de línea. Todas estas características deben describirse explícitamente en la sección sobre restricciones.dichos datos pueden ser censurados de acuerdo con las reglas de las redes sociales y los requisitos legales. El Código Penal de la Federación de Rusia tiene un marco regulatorio que regula las llamadas públicas a una acción radical, lo que debería afectar el volumen de declaraciones negativas fuertes en las discusiones tanto en línea como fuera de línea. Todas estas características deben describirse explícitamente en la sección sobre restricciones.dichos datos pueden ser censurados de acuerdo con las reglas de las redes sociales y los requisitos legales. El Código Penal de la Federación de Rusia tiene un marco regulatorio que regula las llamadas públicas a una acción radical, lo que debería afectar el volumen de declaraciones negativas fuertes en los debates en línea y fuera de línea. Todas estas características deben describirse explícitamente en la sección sobre restricciones.
1.1.2. Crisis de Ucrania
Las relaciones entre Rusia y Ucrania se tensaron después de la revolución de 2014, la posterior entrada de Crimea en la Federación de Rusia y el conflicto armado en las regiones de Donetsk y Lugansk. Dado que muchas plataformas de redes sociales se han convertido en herramientas modernas de compromiso social [53], se han realizado varios estudios en lingüística computacional, cuyos autores han intentado explorar la posibilidad de utilizar el discurso en línea para analizar las opiniones y características de los participantes del discurso. Según el censo de Ucrania de 2001, el 67,5% de sus residentes consideran el ucraniano como lengua materna y el 29,6%, el ruso. Por lo tanto, además del ucraniano o en lugar de él, los investigadores suelen analizar los textos en ruso.
Un grupo de investigadores dirigido por Duvanova estudió el impacto del conflicto armado ucraniano en los vínculos sociales en línea entre todas las regiones ucranianas [85]. Los autores utilizaron VKontakte como fuente, ya que es la red social más popular de Ucrania. Primero, sobre la base de palabras clave, identificaron una lista de comunidades relevantes: 14.777. Luego, sobre la base de esta lista, se recopilaron 19.430.445 publicaciones y 62.193.711 comentarios utilizando el software para monitorear las redes sociales presentado en el trabajo de Semyonov y Vejyalainen [105], así como Semyonov y coautores [106]. Para clasificar los textos en positivos y negativos, los autores aplicaron un enfoque basado en reglas con un diccionario de 8.863 palabras positivas y 24.299 negativas en ruso y ucraniano. Resultó que las discusiones en Ucrania se volvieron más polarizadas debido a acciones militares, por ejemplo,en las regiones orientales del país, aumentó el número de declaraciones negativas y positivas. Sin embargo, en otras partes de Ucrania, las hostilidades no tuvieron un efecto notable en la intensidad de la expresión de las emociones. Así, las hostilidades generaron una fuerte reacción emocional en el país, pero no hubo un aumento inevitable de la cohesión social en las comunicaciones internas entre las regiones. Sin embargo, los autores no proporcionaron detalles sobre el preprocesamiento y entrenamiento del modelo y las métricas de clasificación.pero no hubo un aumento inevitable de la cohesión social en las comunicaciones internas entre regiones. Sin embargo, los autores no proporcionaron detalles sobre el preprocesamiento y entrenamiento del modelo y las métricas de clasificación.pero no hubo un aumento inevitable de la cohesión social en las comunicaciones internas entre regiones. Sin embargo, los autores no proporcionaron detalles sobre el preprocesamiento y entrenamiento del modelo y las métricas de clasificación.
El trabajo del equipo dirigido por Volkova [86] estudió las expresiones en VKontakte de la opinión pública durante la crisis ruso-ucraniana. Basándose en la lista de palabras clave, los autores recopilaron de VKontakte un conjunto de 5.970.247 publicaciones que aparecieron en el período de septiembre de 2014 a marzo de 2015. Para la predicción intencionada de opiniones, los investigadores aplicaron el sistema de clasificación POLYARNIK [107] basado en reglas morfológicas y sintácticas, vocabulario emocional y modelos de aprendizaje supervisado [108]. Para clasificar las emociones, los autores compilaron un conjunto de discusiones independientes en Twitter relacionadas con la crisis. Con la ayuda de los enfoques descritos en [109] y [110], los autores han implementado la marcación automática de textos de acuerdo con seis emociones básicas de Ekman [111].Luego, volvieron a verificar manualmente la anotación automática con hablantes nativos de ruso y ucraniano. El resultado fue un conjunto de 5.717 publicaciones de Twitter que expresaban enojo, placer, miedo, tristeza, disgusto y sorpresa, así como 3.947 publicaciones no emotivas. La clasificación final de las emociones expresadas en los textos se realizó en dos etapas. Al principio, los textos se clasificaron en emocionales y no emocionales. Luego, utilizando el modelo de regresión logística [32], los textos emocionales se dividieron en seis clases basadas en estilística, vocabulario y unigramas binarios. F ponderadose llevó a cabo en dos etapas. Al principio, los textos se clasificaron en emocionales y no emocionales. Luego, utilizando el modelo de regresión logística [32], los textos emocionales se dividieron en seis clases basadas en estilística, vocabulario y unigramas binarios. F ponderadose llevó a cabo en dos etapas. Al principio, los textos se clasificaron en emocionales y no emocionales. Luego, utilizando el modelo de regresión logística [32], los textos emocionales se dividieron en seis clases basadas en estilística, vocabulario y unigramas binarios. F ponderado1-medida del modelo de clasificación emocional alcanzó el 58%. Según los resultados obtenidos, la proporción de opiniones positivas sobre Euromaidan fue mayor en Ucrania que en Rusia. A modo de comparación, la proporción de declaraciones positivas sobre Putin y Crimea fue mayor en Rusia que en Ucrania. Además, algunos de los resultados contradicen los conceptos erróneos de los medios de comunicación. Por ejemplo, en Rusia hubo publicaciones cuyos autores hablaron positivamente a favor de Estados Unidos y en contra de Putin, mientras que en Ucrania hubo publicaciones que expresaron su apoyo a Putin, no a Euromaidan. El principal inconveniente del estudio es que los autores utilizaron POLYARNIK para analizar el sentimiento sin evaluar la calidad de la clasificación de los textos sobre el tema elegido. Además, los autores aplicaron un modelo entrenado en mensajes de Twitter para reconocer emociones en mensajes de VKontakte,que tienen diferentes características lingüísticas, al menos la extensión media del texto. Además, surgen muchas preguntas sobre la calidad de la anotación por parte de un solo evaluador, ya que es imposible medir las métricas de un acuerdo entre expertos.
Tomando como base el conflicto ruso-ucraniano de 2014, Rumshisky y coautores analizaron la dinámica del reflejo del conflicto político en las redes sociales [87]. A diferencia del estudio de Volkova [86], los investigadores no se basaron en datos ruidosos sobre la ubicación de los autores al crear el corpus para el análisis. En cambio, se centraron en la autoidentificación de los grupos de usuarios asociados con la crisis. Después de analizar los datos de VKontakte, los investigadores seleccionaron manualmente 51 grupos anti-Maid con 1,942,918 usuarios únicos y 47 grupos promocionados con 2,445,661 usuarios. Luego seleccionamos todas las publicaciones en los muros de estos grupos, agregamos publicaciones de los muros de usuarios activos y a los que les gustaron estas publicaciones. Solo esas publicaciones se agregaron a la colecciónen el que se encontró al menos una palabra clave de una lista predefinida. Para predecir el sentimiento de los textos en ruso, los investigadores utilizaron una versión mejorada de la biblioteca SentiMental, que es un sistema de análisis de sentimiento basado en un diccionario. Los resultados de la investigación confirmaron que el aumento de la intensidad del conflicto va acompañado de declaraciones negativas. El análisis examinó la relación entre el sentimiento dominante y la medida de controversia del paseo aleatorio. A medida que aumenta el número de disputas, también lo hace la desviación estándar del sentimiento general expresado por los grupos opuestos, así como la medida del vagabundeo aleatorio de la discusión. El principal inconveniente del estudio es que sus autores no proporcionaron detalles sobre el preprocesamiento y la capacitación.Para predecir el sentimiento de los textos en ruso, los investigadores utilizaron una versión mejorada de la biblioteca SentiMental, que es un sistema de análisis de sentimiento basado en un diccionario. Los resultados de la investigación confirmaron que el aumento de la intensidad del conflicto va acompañado de declaraciones negativas. El análisis examinó la relación entre el sentimiento dominante y la medida de controversia del paseo aleatorio. A medida que aumenta el número de disputas, también lo hace la desviación estándar del sentimiento general expresado por los grupos opuestos, así como la medida del vagabundeo aleatorio de la discusión. El principal inconveniente del estudio es que sus autores no proporcionaron detalles sobre el preprocesamiento y la capacitación.Para predecir el sentimiento de los textos en ruso, los investigadores utilizaron una versión mejorada de la biblioteca SentiMental, que es un sistema de análisis de sentimiento basado en un diccionario. Los resultados de la investigación confirmaron que el aumento de la intensidad del conflicto va acompañado de declaraciones negativas. El análisis examinó la relación entre el sentimiento dominante y la medida de controversia del paseo aleatorio. A medida que aumenta el número de disputas, también lo hace la desviación estándar del sentimiento general expresado por los grupos opuestos, así como la medida del vagabundeo aleatorio de la discusión. El principal inconveniente del estudio es que sus autores no proporcionaron detalles sobre el preprocesamiento y la capacitación.
Zaeziev sugirió estudiar el proceso de movilización política analizando el contenido de las redes sociales [88]. Se tomó como base la revolución ucraniana de 2013-2014. El autor se centró en la primera etapa de las protestas, del 21 de febrero de 2013 al 22 de febrero de 2014. Analizó publicaciones en las redes sociales más populares de Ucrania: VKontakte y Facebook. Zaeziev identificó un conjunto de palabras clave relevantes basadas en las recomendaciones generales de Godbowl [112], y luego recopiló más de 124,000 mensajes usando IQBuzz. Utilizando los algoritmos de reconocimiento de sentimientos de IQBuzz, el investigador clasificó los textos en categorías: negativo, neutral, positivo y mixto. Suponiendo que los partidarios de Euromaidan expresarían una actitud positiva hacia este evento, los autores eliminaron todos los mensajes no positivos de la colección.Luego filtramos la colección por una lista predefinida de palabras clave, dejando 4255 publicaciones. El análisis de estos datos reveló que en la primera noche de protestas, las redes sociales se utilizaron principalmente como una herramienta de movilización política y luego como una herramienta de cobertura mediática. El principal inconveniente del estudio es que no describe métricas de clasificación de sentimientos, por lo que es difícil verificar la precisión de los resultados.
El investigador Tokarev del Instituto Estatal de Relaciones Internacionales de Moscú estudió el discurso de los principales blogueros ucranianos sobre el territorio y la población de Donbass en el período de 2009 a 2018 [56]. El autor analizó la semántica, la frecuencia y la emotividad de las discusiones en el segmento ucraniano de Facebook. La investigación consta de varias etapas. Primero, se identificaron líderes de opinión y sus publicaciones se descargaron desde el 1 de enero de 2009 hasta el 15 de febrero de 2018. Luego, basándose en palabras clave predeterminadas del discurso, los autores identificaron publicaciones dedicadas a Donbass. En la siguiente etapa, se elaboró un diccionario de emociones, que luego se utilizó para diferenciar las discusiones según el grado de su emocionalidad. Con la ayuda de voluntarios, se recopiló un vocabulario de 566 palabras marcadoras para el territorio y la población.Cada palabra se presentó en ruso y ucraniano. Luego, un equipo de 69 evaluadores anotó el vocabulario en cinco grados: positivo, neutral-positivo, neutral, neutral-negativo y negativo. Finalmente, se evaluó el grado de expresión de las emociones y la dinámica de las discusiones. Se analizó un corpus de 1.069.687 publicaciones de 376 blogueros principales en siete idiomas. Resultó que el comienzo de las discusiones sobre el territorio y la población de Donbass comenzó a finales de 2013-2014. Antes de eso, la frecuencia de mencionar esta área era casi nula. Se expresó una actitud negativa significativa hacia la población y prácticamente no hubo discusión negativa sobre el territorio. Prevaleció un tono neutro. El número de discusiones positivas y negativas del territorio fue mucho menor en comparación con las discusiones de la población.Esto nos permite concluir que existe un alto grado de incertidumbre entre los principales blogueros sobre el territorio, así como la baja probabilidad de que el discurso pase de tono neutro a positivo. Los inconvenientes de este estudio son los mismos que los del trabajo de Zaeziev [88], no hay una descripción de las métricas de clasificación.
Así, durante el estudio de la crisis ucraniana, los investigadores utilizaron información no solo sobre el sentimiento, sino también sobre la ubicación de los autores de las publicaciones para estudiar la conexión territorial de los usuarios. Para determinar los textos relevantes, se recopiló una lista de palabras de marcador de conflicto y se buscaron los textos que contenían estos marcadores. Al analizar los grupos étnicos o los problemas asociados con la migración, es difícil extraer datos representativos y describir exhaustivamente las restricciones que los acompañan.
1.1.3. Tensión social
Los procesos observados en la sociedad rusa moderna forman la necesidad de colocar los conflictos sociales en un marco específico [113]. Dado el uso generalizado de las redes sociales con beneficios y riesgos para la sociedad civil [114], el análisis del contenido en línea debe recibir la debida y adecuada atención, incluso para identificar tensiones sociales. Puede medir las tensiones sociales en línea utilizando índices y métricas, y luego usar esta información para rastrear los estallidos de tensiones, que es una forma de gobernanza anticipatoria [115].
El equipo dirigido por Donchenko analizó los comentarios sobre VKontakte sobre temas socialmente sensibles para el período de enero a junio de 2017 [89]. Los investigadores compilaron una lista de temas populares relacionados con problemas de tensión social y recopilaron publicaciones de usuarios relevantes a través de la API de VKontakte. Luego, los textos fueron preprocesados: se seleccionó la raíz de las palabras (derivación), se eliminó la puntuación y se reemplazaron las abreviaturas estándar y las palabras del argot con las palabras normales correspondientes. Para la categorización por tema, los autores entrenaron un modelo de vector de soporte (SVM) [33] con vectorización TF-IDF [116]. Temas sociales candentes: desempleo, corrupción y aumento de los precios de los bienes de consumo. Además, utilizando el modelo SVM, se clasificó la polaridad de la tonalidad. Resultó que los estados de ánimo de protesta suelen concentrarse en los centros de las regiones densamente pobladas.Una de las principales desventajas del trabajo es la falta de una evaluación de la calidad de la anotación de datos y la ausencia de una especificación de métricas de clasificación de sentimientos. Koltsova y Nagorny descubrieron qué temas se clasifican como problemas sociales analizando los comentarios de los lectores de los medios regionales rusos [57]. Los autores recopilaron un conjunto de 33.887 noticias y 258.107 comentarios de los sitios de medios de Omsk (Gorod55, BK55, NGS Omsk y Omsk-Inform) para el período comprendido entre septiembre de 2013 y septiembre de 2014. Para determinar los temas a los que pertenecen los textos de noticias, los autores utilizaron Gensim- implementación [117] del algoritmo de asignación de Dirichlet latente [102] con una métrica desarrollada por Arun, Suresh, Madhavan y Murthy [118]. Para clasificar el sentimiento de los comentarios, los autores utilizaron SentiStrength [22] con el vocabulario PolSentiLex. Koltsova y Nagorny encontraron que tales temas,cómo el entretenimiento, la cultura, los deportes y las vacaciones evocan con mayor frecuencia emociones positivas, y la mayoría de las emociones negativas están asociadas con el crimen y los desastres. Los investigadores calcularon un índice de importancia y polaridad para cada tema. Un problema fundamental con el uso de SentiStrength en este estudio es que los autores no describieron las métricas para clasificar los datos sobre un tema seleccionado, por lo que es difícil verificar la precisión de los resultados.
Por lo tanto, los autores utilizaron dos enfoques para identificar temas sociales agudos. En el primer caso, los datos se filtran en función de una lista de palabras clave, y en el segundo, se aplica un agrupamiento no supervisado de todos los datos, seguido de la identificación de temas sociales agudos. Al utilizar datos de redes sociales, los autores enfrentaron las mismas dificultades para extraer datos representativos. Sin embargo, esto no es relevante cuando se analizan datos de sitios de noticias, porque generalmente no tienen restricciones de acceso a la información publicada. Dado que el discurso sobre temas delicados puede ir acompañado de declaraciones duras, estas últimas pueden ser censuradas de acuerdo con los acuerdos de usuario y la legislación.
1.1.4. Otros temas
Varios estudios se han centrado en temas de otros campos. El investigador Ruleva estudió la reacción de los usuarios de Twitter y YouTube de habla rusa a la explosión de un meteorito sobre Chelyabinsk en febrero de 2013 [58]. Durante los últimos 100 años, ha sido el cuerpo celeste más grande que ha entrado en la atmósfera de la Tierra. Como era de esperar, el evento desató un emotivo debate en los medios tradicionales y las plataformas online. El investigador recopiló 495 publicaciones en Twitter del 15 al 20 de febrero de 2013 usando el hashtag “meteorito”, así como una cantidad no especificada de videos de YouTube. Se hizo hincapié en un análisis comparativo del contenido de ambos sitios en el contexto de las diferencias entre los géneros hablados primarios y secundarios [119]. Sin embargo, los textos también dieron una cierta interpretación de sentimientos y emociones.
Ruleva descubrió que el contenido de YouTube proporciona datos más útiles para la investigación de sentimientos que Twitter. El autor se basó en el análisis de género y una mezcla de análisis lingüístico y semiótico. Es decir, analizó el texto en sí y cómo se presenta. El autor cree que los usuarios de YouTube y Twitter a menudo pertenecen a diferentes grupos sociales, por lo que pueden tener diferentes patrones de expresión de emociones. Aunque el estudio en su conjunto está indirectamente relacionado con los aspectos emocionales del texto, Ruleva fue uno de los primeros en investigar las diferencias entre los diferentes tipos de información en ruso. Sin embargo, no hay una descripción detallada del método de comparación de opiniones y el procedimiento de recopilación de datos en YouTube. Para la búsqueda de datos en Twitter se aplicó un filtrado básico, que ignoraba gran parte de los mensajes,que carecía del hashtag "meteorito". Además, sin utilizar la API histórica, la herramienta de búsqueda de Twitter solo brinda acceso parcial a todos los mensajes disponibles públicamente.
Kirilenko y Stepchenkova llevaron a cabo un estudio comparativo del discurso de Twitter en idioma ruso e inglés sobre los Juegos Olímpicos de 2014 en Sochi [90]. Se recopilaron más de 400.000 mensajes a través de la API de Twitter durante un período de seis meses que abarcó los Juegos Olímpicos [120] y luego se sometieron a análisis de clúster y sentimiento para la competencia. Los autores evaluaron los enfoques de Deeply Moving [121], Pattern y SentiStrength [22] en un conjunto etiquetado a mano de 600 publicaciones de Twitter en inglés y 3.000 en ruso. A pesar del aumento en la expresión de actitudes positivas hacia los Juegos Olímpicos durante el juego, esta mejora fue significativa solo para los mensajes de los rusos. Sin embargo, los autores no proporcionaron métricas de clasificación para los modelos evaluados, ni describieron el paso de preprocesamiento.
El equipo liderado por Spicer estudió la ola de protestas masivas en relación con las elecciones a la Duma y las elecciones presidenciales en la Federación de Rusia en el período 2011-2012 [91]. Los investigadores analizaron mensajes de Twitter relevantes en ruso desde el 17 de marzo de 2011 al 12 de marzo de 2012, recopilados a través de la API de transmisión de Twitter. Los datos se seleccionaron según una lista de palabras clave. Se recopilaron 690,297 mensajes en ruso relacionados con la política. Para identificar a los partidarios y opositores de Putin, los autores utilizaron una combinación de lista de palabras clave y SentiStrength [22], y luego clasificaron a los 1.000 usuarios principales por su puntuación media de sentimiento y afiliación partidaria. Al comparar las anotaciones manuales de 100 usuarios en ambos lados con la clasificación automática, los investigadores encontraron que alrededor del 70% de los participantes se clasificaron correctamente.Finalmente, los autores aplicaron un método de investigación cualitativa [122] y codificaron manualmente los n-gramas extraídos clave. Uno de los principales hallazgos es que el discurso en Twitter fue inicialmente fuertemente apoyado por la oposición, y luego la movilización de la oposición disminuyó significativamente y el apoyo a Putin aumentó. Sin embargo, este estudio tiene varias desventajas. En primer lugar, la representatividad de los datos de muestra no está clara, porque la API de transmisión de Twitter solo proporciona acceso parcial a todas las publicaciones. En segundo lugar, las métricas de clasificación no se midieron en la colección de texto de destino, por lo que es difícil verificar la calidad de la clasificación de sentimientos.y más tarde, la movilización de la oposición se redujo significativamente y aumentó el apoyo a Putin. Sin embargo, este estudio tiene varias desventajas. En primer lugar, la representatividad de los datos de muestra no está clara, porque la API de transmisión de Twitter solo proporciona acceso parcial a todas las publicaciones. En segundo lugar, las métricas de clasificación no se midieron en la colección de texto de destino, por lo que es difícil verificar la calidad de la clasificación de sentimientos.y luego, la movilización de la oposición disminuyó significativamente y aumentó el apoyo a Putin. Sin embargo, este estudio tiene varias desventajas. En primer lugar, la representatividad de los datos de muestra no está clara, porque la API de transmisión de Twitter solo proporciona acceso parcial a todas las publicaciones. En segundo lugar, las métricas de clasificación no se midieron en la colección de texto de destino, por lo que es difícil verificar la calidad de la clasificación de sentimientos.
Nenko y Petrova llevaron a cabo un análisis comparativo de la distribución de las emociones en San Petersburgo basándose en los comentarios de los usuarios sobre objetos urbanos en Google Places y datos del sistema SIG abierto Imprecity [92]. El conjunto de datos contenía 1.800 marcadores de emoción de Imprecity y 2.450 comentarios con referencias de lugar de Google Places. Dos evaluadores marcaron los comentarios en seis emociones y los procesaron utilizando un clasificador bayesiano ingenuo [123]. Basándose en el análisis de sentimientos y un conjunto de datos de Imprecity, los autores crearon un mapa de calor de emociones negativas y positivas en San Petersburgo. La tendencia general es la concentración de emociones positivas y negativas en el centro histórico en el sur de la ciudad, en el extremo occidental de la isla Vasilievsky y en el centro de la isla Petrogradsky.Sin embargo, los autores no describieron la metodología de preprocesamiento ni las métricas de clasificación.
Por lo tanto, al estudiar las actitudes hacia diferentes eventos o lugares, los investigadores enfrentaron las mismas dificultades para encontrar datos representativos y describir exhaustivamente las limitaciones. Además, la principal desventaja de la mayoría de los estudios fue la falta de una evaluación del modelo de análisis de sentimientos en textos sobre temas seleccionados, por lo que es difícil verificar la calidad de la clasificación.
1.2. Índice de sentimiento social
Al medir el nivel de felicidad y satisfacción con la vida, por ejemplo, utilizando el Índice de Bienestar Subjetivo (SWB) [124], los enfoques psicológicos modernos se basan en escalas de autoevaluación. Estos enfoques tienen inconvenientes. Por ejemplo, el número limitado de entrevistas, el alto costo de entrevistar a los encuestados y la confianza en la memoria de los participantes hacen que sea difícil presentar el estado de los encuestados en tiempo real [125] - [127]. Alternativamente, los investigadores han intentado medir varios índices de sentimiento social utilizando análisis de sentimiento, porque una amplia gama de opiniones se expresa en los datos generados por el usuario en las redes sociales [2], [127] - [133].
En su trabajo [93], Panchenko calculó el índice de sentimiento en Facebook en ruso como el nivel promedio de emociones en una variedad de textos. Analizamos 573 millones de publicaciones y comentarios anónimos para el período del 5 de agosto de 2006 al 13 de noviembre de 2013, proporcionados para la investigación de Digsolab LLC. Los autores han filtrado el conjunto completo de textos en ruso utilizando el módulo langid.py [134]. El índice de sentimiento social se calculó utilizando un método basado en un diccionario [135], [136], similar al de Dodd [129]. El autor ha desarrollado su propio diccionario de emociones a partir de 1511 términos, marcado por dos especialistas en clases positivas y negativas. Para evaluar la calidad de la clasificación, Panchenko aplicó el enfoque de vocabulario al conjunto de datos ROMIP 2012 [15]. El autor afirma que en una serie de reseñas cinematográficas logró el valor de la macro-media F 1-punto hasta 0.383 y precisión hasta 0.465. Para medir el sentimiento, el autor propuso cuatro índices: el índice de sentimiento de palabra, el índice de emoción de palabra, el índice de sentimiento de texto y el índice de emoción de texto. Los dos primeros operan con la clave de las palabras y los dos segundos, con la clave del texto. Según el análisis, el contenido positivo prevalece sobre el contenido negativo. Los valores máximos de los índices coinciden con los días festivos y los valores mínimos, con días memorables y tragedias nacionales. En general, los usuarios expresan sentimientos positivos 3,8 veces más que los negativos. La gente usa menos palabras emocionales en las publicaciones y más en los comentarios. La limitación más importante es queque el autor verificó la calidad de la clasificación en reseñas de películas y la aplicó a textos generales, por lo que es difícil verificar la veracidad del resultado. Además, el proceso interno de recopilación de datos de Digsolab no se describe y, por lo tanto, surgen preguntas sobre la representatividad.
El equipo dirigido por Shchekotin propuso un nuevo método de evaluación subjetiva del bienestar, que se basa en los datos de VKontakte sobre la actividad de los usuarios [68]. Tomando el modelo de indicadores de calidad de vida desarrollado por Gavrilova [137], los autores eligieron algunos de los indicadores para el seguimiento en su estudio. Centrándose en la representatividad geográfica y socioeconómica, seleccionaron 43 regiones rusas de 85. Luego, en las regiones seleccionadas, identificaron las tres ciudades más grandes y seleccionaron 10 comunidades VKontakte cada una, uniendo a los residentes de estas ciudades: comunidades urbanas. Luego, utilizando una recopilación de datos de las redes sociales y una plataforma analítica del Consorcio Universitario de Investigadores de Big Data, desarrollado en la Universidad Estatal de Tomsk,los autores extrajeron información publicada por estas comunidades para el período del 1 de enero al 31 de diciembre de 2018. Posteriormente, retiraron datos irrelevantes - publicaciones publicitarias y textos que no están relacionados con el tema de investigación (vacantes, deportes, eventos culturales). El filtrado de datos irrelevantes se realizó en dos etapas: análisis manual de 60.000 mensajes y limpieza automática, en la que se entrenó el algoritmo en mensajes limpiados manualmente. Después de eso, quedaron alrededor de 1.700.000 publicaciones. Durante la purga, las publicaciones se anotaron manualmente sobre 19 temas y tres clases de sentimiento (positivo, negativo y neutral). En el curso del preprocesamiento, se eliminaron las palabras y símbolos raros que no pertenecen a los alfabetos ruso y latino, y todas las demás palabras se redujeron a sus bases (derivación). Luego, se entrenaron varios algoritmos de aprendizaje automático.La mejor calidad de clasificación se demostró mediante el algoritmo de aumento de gradiente de LightGBM [138]: hasta un 68% para la clasificación de categorías y un 79% para la clasificación de sentimientos. Para calcular el índice de bienestar subjetivo [124], [139] para cada región, los autores propusieron un método basado en indicadores de actividad en línea. Los resultados del estudio mostraron que en las regiones seleccionadas, los temas de desarrollo de infraestructura regional son los más activamente discutidos de manera positiva. La actividad menos positiva se asocia con una evaluación del estado emocional general y la libertad de los medios. El más activamente discutido de manera negativa es el tema de la seguridad, es decir, una valoración de las acciones de las fuerzas de seguridad y otras organizaciones estatales relacionadas con garantizar la seguridad en la región.Los indicadores negativos más bajos de actividad en línea también son típicos del estado emocional general y la libertad de los medios. Además, los autores han elaborado una lista exhaustiva de limitaciones, incluyendo la representatividad de las muestras de datos, la audiencia de las redes sociales analizadas y el impacto potencial de los bots.
Sin embargo, al preparar el conjunto de datos de entrenamiento, los autores no describieron la distribución de las clases de sentimiento. Si los conjuntos de datos no se han equilibrado, se recomienda medir la calidad de la clasificación utilizando métricas más complejas, como Precisión, Recuperación y Medida F.
1.3. Comportamiento del usuario
El contenido de las redes sociales puede ser una valiosa fuente de información, no solo sobre las actitudes hacia diferentes temas, sino también sobre los patrones de comportamiento de los usuarios al interactuar con este contenido.
Svetlov y Platonov han identificado la influencia de la tonalidad en la recepción de comentarios de la audiencia [69]. La fuente de datos fue 46.293 publicaciones y 2.197.063 comentarios de las cuentas más populares de políticos rusos en VKontakte para el período de enero de 2017 a abril de 2019. Los investigadores capacitaron a BiGRU [140] en los conjuntos de datos de RuTweetCorp [141] y RuSentiment [142], recibiendo respectivamente macro-promediado F 1 = 0.91 y F 1= 0,77. Con base en los resultados del análisis de sentimientos, los autores identificaron varios patrones de respuesta. Las publicaciones se clasificaron como positivas si tenían más visitas y me gusta de los usuarios. Las publicaciones con una gran cantidad de publicaciones y comentarios se clasificaron como negativas. Sin embargo, el uso de datos de entrenamiento de un área y la aplicación de modelos entrenados en otro área plantea muchas preguntas. RuTweetCorp es una colección de publicaciones breves de Twitter, y RuSentiment es una colección de temas generales de VKontakte, y el estudio en discusión se centra en la política. Una buena salida en esta situación sería anotar manualmente un pequeño conjunto de textos sobre el tema de destino y probar el modelo entrenado en él.
2. Comentarios sobre productos y servicios
En la era de Internet, las reseñas de productos y servicios se han convertido en una poderosa herramienta para expresar la validación social que anima a las personas a comprar en diferentes tiendas en línea [143]. Los testimonios pueden ser una valiosa fuente de información no solo para compradores y vendedores, sino también para investigadores. En este capítulo, las fuentes de la literatura se dividen según los temas analizados: características de los compradores, características de los productos y servicios, características de los comerciantes.
2.1. Características de los revisores
Un grupo de investigación de la Universidad de San Petersburgo analizó los temas y el tono de las revisiones de 989 empresas que emplean y operan en 12 industrias rusas intensivas en conocimiento [70]. Los investigadores tomaron Otrude, uno de los portales rusos más grandes con reseñas de empleadores, como la principal fuente de datos. Después de filtrar y eliminar datos innecesarios, obtuvimos un conjunto de 6145 revisiones. El preprocesamiento se llevó a cabo en varias etapas: lematización mediante MyStem, eliminación de puntuación y palabras vacías. Los autores clasificaron automáticamente los textos en dos categorías en función de la calificación de las reseñas: los que recibieron al menos tres estrellas se consideraron positivos, el resto se consideraron negativos. Luego, los investigadores analizaron el sentimiento utilizando la ubicación latente de Dirichlet [102], o modelado de temas, y un modelo de clasificación no especificado.El equipo dirigido por Sokolov descubrió que seis factores principales afectan la satisfacción laboral: el orden y el horario de trabajo, las condiciones laborales, la naturaleza del trabajo, el salario, el desarrollo profesional, el clima psicológico, las relaciones interpersonales con los colegas. Los dos últimos factores, el entorno mental y las relaciones interpersonales, son discutidos con mayor frecuencia por las personas en línea cuando hablan de satisfacción laboral. Por tanto, los autores sugirieron que cuando una persona decide dejar de fumar tiende a aguantar factores económicos (por ejemplo, con las perspectivas de desarrollo profesional y aumentos salariales), y no socioemocionales (por ejemplo, con una mala naturaleza del trabajo, malas relaciones con los compañeros). El problema clave de la investigación es la corrección del uso del análisis de sentimientos. Todas las reseñas en el sitio web de Otrude contienen la evaluación del autor,por lo tanto, desde un punto de vista formal, no se necesita una clasificación de sentimientos para evaluar estas revisiones. Otro inconveniente es que los autores no describieron su enfoque del análisis y los resultados de la clasificación de sentimientos en el conjunto de datos de prueba.
2.2.
El equipo dirigido por Seliverstov, basado en datos del portal Autostrada, evaluó la actitud hacia el estado de las carreteras en el Distrito Federal Noroeste de la Federación de Rusia [71]. Para la formación, los autores utilizaron RuTweetCorp [141], el mayor conjunto de textos anotados automáticamente con un pequeño filtrado manual, recopilado en Twitter en ruso. Para efectos de clasificación se tomó un modelo de descenso de gradiente estocástico lineal regularizado y un modelo de Bag of Words con vectorización TF-IDF. Después del entrenamiento, el modelo demostró una precisión de clasificación binaria del 72%. Después de analizar las revisiones para el período del 1 de marzo de 2009 al 1 de noviembre de 2018, los autores encontraron que la longitud de todas las carreteras evaluadas positivamente fue de 9874 km (75% de la longitud total) y la longitud de las carreteras evaluadas negativamente fue de 3385 km (25%).Sin embargo, este estudio tiene varias desventajas. En primer lugar, los autores no describen el proceso de preprocesamiento, que es fundamental cuando se aprende sobre RuTweetCorp. El hecho es que este conjunto se diseñó originalmente para crear un léxico de emociones y no para una clasificación directa de sentimientos. El conjunto se ensambló automáticamente de acuerdo con una estrategia determinada [144], es decir, cada texto está asociado a alguna clase de emociones, según los emoticonos que contenga. Por tanto, incluso un enfoque sencillo basado en reglas puede ofrecer resultados excepcionales. Por ejemplo, si el modelo clasifica el texto como positivo debido a la presencia de un carácter en él (o como negativo debido a la ausencia de este carácter, entonces en la clasificación binaria obtenemos Flo cual es fundamental para aprender sobre RuTweetCorp. El hecho es que este conjunto se diseñó originalmente para crear un léxico de emociones y no para una clasificación directa de sentimientos. El conjunto se ensambló automáticamente de acuerdo con una determinada estrategia [144], es decir, cada texto está asociado a alguna clase de emociones en función de los emoticonos que contiene. Por tanto, incluso un enfoque sencillo basado en reglas puede ofrecer resultados excepcionales. Por ejemplo, si el modelo clasifica el texto como positivo debido a la presencia de un carácter en él (o como negativo debido a la ausencia de este carácter, entonces en la clasificación binaria obtenemos Flo cual es fundamental cuando se aprende sobre RuTweetCorp. El hecho es que este conjunto se diseñó originalmente para crear un léxico de emociones y no para una clasificación directa de sentimientos. El conjunto se ensambló automáticamente de acuerdo con una determinada estrategia [144], es decir, cada texto está asociado a alguna clase de emociones en función de los emoticonos que contiene. Por tanto, incluso un enfoque sencillo basado en reglas puede ofrecer resultados excepcionales. Por ejemplo, si el modelo clasifica el texto como positivo debido a la presencia de un carácter en él (o como negativo debido a la ausencia de este carácter, entonces en la clasificación binaria obtenemos Fes decir, cada texto está asociado con alguna clase de emociones, según los emoticonos que contenga. Por tanto, incluso un enfoque sencillo basado en reglas puede ofrecer resultados excepcionales. Por ejemplo, si el modelo clasifica el texto como positivo debido a la presencia de un carácter en él (o como negativo debido a la ausencia de este carácter, entonces en la clasificación binaria obtenemos Fes decir, cada texto está asociado con alguna clase de emociones dependiendo de los emoticonos que contiene. Por tanto, incluso un enfoque sencillo basado en reglas puede ofrecer resultados excepcionales. Por ejemplo, si el modelo clasifica el texto como positivo debido a la presencia de un carácter en él (o como negativo debido a la ausencia de este carácter, entonces en la clasificación binaria obtenemos F1 = 97,39%. Para resolver los problemas del análisis automático de opiniones, los autores del conjunto de datos recomiendan eliminar emoticonos durante el preprocesamiento. Según [145], en este caso, utilizando la máquina de vectores de soporte [33], es posible lograr una puntuación macro promediada F 1= 75,95%. Entonces, sin conocer el proceso de preprocesamiento, es difícil evaluar la exactitud del estudio. En segundo lugar, hay muchas preguntas sobre la efectividad de usar datos de un área para aprender en otra área. En este caso, sería posible anotar manualmente un pequeño conjunto de datos sobre el tema de interés (opiniones de usuarios del portal de transporte) y probar el modelo entrenado en él. En tercer lugar, RuTweetCorp consta de tres clases, pero los autores no tuvieron en cuenta la clase neutral en su estudio. Los mensajes positivos y negativos se publicaron en el sitio web oficial de RuTweetCorp, y los mensajes neutrales se publicaron en un sitio web separado. Supongo que esta es la razón por la que algunos estudios [146] - [150] solo han utilizado mensajes positivos y negativos para la clasificación binaria. Se puede asumiresa clase neutral puede cambiar la distribución general de críticas negativas y positivas de la carretera. Finalmente, la mayoría de las reseñas de Freeway tienen calificaciones de derechos de autor, por lo que, desde un punto de vista formal, no se necesita una clasificación de opiniones para calificar estas reseñas. En este caso, sería interesante comparar puntajes basados en calificaciones de reseñas y etiquetas de clasificación de sentimientos.
2.3
Lee y Chen de la Universidad de Arizona desarrollaron un marco de aprendizaje automático para determinar la calidad de los productos vendidos basándose en los comentarios de los clientes [72]. Este marco consta de tres módulos principales: muestreo de bola de nieve utilizando palabras clave y usuarios relevantes, clasificación de temas basada en la entropía máxima y análisis de sentimientos mediante el aprendizaje profundo. Una de las características distintivas de este último módulo es que primero usa Google Translate para traducir texto ruso al inglés, y solo luego clasifica el sentimiento usando una red tensorial neuronal recursiva con palabras representadas como un banco de árboles de sintaxis [121]. El marco propuesto se probó en un foro en ruso dedicado al fraude con tarjetas bancarias.Como resultado, se identificaron los principales vendedores de malware y los ladrones de datos de tarjetas bancarias. Mediante un análisis más detallado, los autores encontraron que los comerciantes de tarjetas tienden a tener calificaciones más bajas que los comerciantes de software. Los autores creen que la razón es que la calidad del software es más fácil de determinar que la calidad de los datos robados. Los autores mencionaron que el clasificador de sentimientos se entrenó a partir de encuestas en línea, lo cual es apropiado para su tema de interés, pero no describieron los detalles del uso del conjunto de datos y las métricas de calidad de clasificación. La traducción a otro idioma puede cambiar significativamente el significado o la tonalidad del texto, por lo tanto, sin probar los textos en idioma ruso, es casi imposible evaluar la calidad del análisis.que los comerciantes de tarjetas suelen tener una calificación más baja que los comerciantes de software. Los autores creen que la razón es que la calidad del software es más fácil de determinar que la calidad de los datos robados. Los autores mencionaron que el clasificador de sentimientos se entrenó a partir de encuestas en línea, lo cual es apropiado para su tema de interés, pero no describieron los detalles del uso del conjunto de datos y las métricas de calidad de clasificación. La traducción a otro idioma puede cambiar significativamente el significado o el tono del texto, por lo tanto, es casi imposible evaluar la calidad del análisis sin probar los textos en ruso.que los comerciantes de tarjetas suelen tener una calificación más baja que los comerciantes de software. Los autores creen que la razón es que la calidad del software es más fácil de determinar que la calidad de los datos robados. Los autores mencionaron que el clasificador de sentimientos se entrenó a partir de encuestas en línea, lo cual es apropiado para su tema de interés, pero no describieron los detalles del uso del conjunto de datos y las métricas de calidad de clasificación. La traducción a otro idioma puede cambiar significativamente el significado o la tonalidad del texto, por lo tanto, sin probar los textos en idioma ruso, es casi imposible evaluar la calidad del análisis.sin embargo, no proporcionaron detalles sobre el uso del conjunto de datos y las métricas de calidad de clasificación. La traducción a otro idioma puede cambiar significativamente el significado o el tono del texto, por lo que es casi imposible evaluar la calidad del análisis sin probar los textos en ruso.sin embargo, no proporcionaron detalles sobre el uso del conjunto de datos y las métricas de calidad de clasificación. La traducción a otro idioma puede cambiar significativamente el significado o la tonalidad del texto, por lo tanto, sin probar los textos en idioma ruso, es casi imposible evaluar la calidad del análisis.
3.
Las reseñas generadas por los usuarios y el contenido de las redes sociales suelen ser subjetivos porque los autores son libres de expresar sus opiniones. Sin embargo, la situación es diferente con el análisis de noticias. Las agencias de noticias tratan de evitar juicios y prejuicios absolutos, tratando de deshacerse de dudas y ambigüedades. Su filosofía se basa en la objetividad, o al menos en una neutralidad ampliamente aceptable [73]. Por lo tanto, los periodistas a menudo se abstienen de utilizar vocabulario negativo o positivo, pero recurren a otras formas de expresar su opinión [74]. Por ejemplo, los periodistas pueden enfatizar algunos hechos y omitir otros, insertar declaraciones en la compleja estructura del discurso e indicar una cita que se adapte a su punto de vista. El interés generalizado de la gente por las noticias se notó hace siglos [151], [152].Las noticias se utilizan como fuente de datos para el análisis de opiniones en varios campos. Por ejemplo, para evaluar la opinión de las propias noticias [153], [154], para predecir los precios de las acciones [155], [156], los resultados de las elecciones [157], [158], los precios de los productos en las tiendas en línea [159] y el comportamiento futuro de los clientes. [154]. Con respecto a las noticias en ruso, he identificado dos categorías de investigación: evaluación del sentimiento de noticias y pronóstico económico y comercial.evaluación del sentimiento de noticias y previsión económica y empresarial.evaluación del sentimiento de noticias y previsión económica y empresarial.
3.1. Contenido de noticias
Belyakov dedicó varios artículos [94], [95] al análisis del sentimiento de los informes de noticias del sitio web del Ministerio de Relaciones Exteriores de Rusia. El autor utilizó artículos de la sección "Noticias" publicados del 1 al 28 de febrero de 2015. Las unidades de texto se asignaron a las siguientes categorías:
- Cuestión de Ucrania;
- Cooperación entre Rusia y China;
- Relaciones entre Rusia y Ucrania;
- El conflicto en Siria;
- Cooperación con Turkmenistán;
- Relaciones entre Rusia y Grecia;
- Sanciones contra Rusia;
- La diplomacia hoy.
El autor ha creado un clasificador básico basado en reglas que resume la polaridad de las palabras emocionales en el texto y predice la clase binaria final. Además, se compiló un diccionario de 300 palabras positivas y 300 negativas. Según los resultados del análisis, las categorías “Cooperación entre Rusia y China”, “Cooperación con Turkmenistán”, “Relaciones entre Rusia y Grecia” y “Diplomacia hoy” tuvieron un color positivo. Las categorías “cuestión de Ucrania”, “Relaciones entre Rusia y Ucrania” y “Sanciones contra Rusia” tuvieron un color negativo. Es importante que el estudio examinó solo el contenido de los artículos escritos por periodistas, es decir, esta es una expresión de la posición oficial del Ministerio de Relaciones Exteriores sobre ciertos temas. En el futuro, puede agregar reacciones y comentarios de los lectores a los artículos de noticias publicados en el sitio. En términos de análisis de sentimiento,el principal inconveniente de la investigación de Belyakov es la falta de evaluación del modelo. Sin conocer las métricas de calidad de los datos de prueba, no podemos evaluar el rendimiento del modelo y, por lo tanto, la calidad de los resultados del análisis.
Un grupo de investigación de la Academia de Ciencias de Rusia estudió las actitudes hacia las tecnologías y las innovaciones mencionadas en los medios [96]. Con la ayuda de Exactus Expert [160], los autores seleccionaron de 16 fuentes más de 240.000 artículos sobre innovaciones y tecnologías publicados entre 2005 y 2015. Luego, basándose en palabras clave seleccionadas manualmente, clasificaron los artículos de acuerdo con 11 tendencias tecnológicas de la Lista de tecnologías críticas de la Federación de Rusia. A continuación, los autores seleccionaron 120 artículos y anotaron manualmente cada objeto de sentimiento mencionado en el artículo como positivo o negativo. Con base en un conjunto de entrenamiento de 346 pares anotados, los investigadores crearon un vocabulario de emociones y desarrollaron un algoritmo de clasificación basado en reglas. Se encontró que, en general, los medios tienden a escribir sobre tecnología de manera neutral, lo que puede deberse a la consistencia del estilo de los reportajes.La proporción relativamente baja de referencias negativas a las tecnologías de la información y la biotecnología y su cobertura positiva general en los artículos sugiere que la sociedad no está preocupada por las posibles consecuencias negativas de estas tecnologías. Al mismo tiempo, la proporción de críticas negativas sobre tecnologías militares es mayor que en otras áreas. Sin embargo, los autores no describen las métricas de clasificación en el algoritmo desarrollado. Además, como ya se mencionó, estos artículos fueron escritos por periodistas que podían expresar no solo al público, sino también el punto de vista oficial. Para evaluar las actitudes del público hacia diversos temas, es necesario investigar más a fondo las reacciones de las personas a los artículos de noticias.la proporción de críticas negativas sobre tecnologías militares es mayor que en otras áreas. Sin embargo, los autores no describen las métricas de clasificación en el algoritmo desarrollado. Además, como ya se mencionó, estos artículos fueron escritos por periodistas que podían expresar no solo al público, sino también el punto de vista oficial. Para evaluar las actitudes del público hacia diversos temas, es necesario investigar más a fondo las reacciones de las personas a los artículos de noticias.la proporción de críticas negativas sobre tecnologías militares es mayor que en otras áreas. Sin embargo, los autores no describen las métricas de clasificación en el algoritmo desarrollado. Además, como ya se mencionó, estos artículos fueron escritos por periodistas que podían expresar no solo al público, sino también el punto de vista oficial. Para evaluar las actitudes del público hacia diversos temas, es necesario investigar más a fondo las reacciones de las personas a los artículos de noticias.
Kazun y Kazun [75] analizaron la cobertura de los medios rusos sobre las actividades de Trump durante y después de las elecciones. Los autores utilizaron la base de datos Integrum para el análisis de redes y la base de datos Medialogy para el análisis de sentimientos. Se tomaron tres intervalos de tiempo para el estudio: un mes antes de las elecciones, un mes después y 7 meses después. Utilizando el enfoque de Medialogía, los textos se dividieron en tres clases: positiva, negativa y neutral. Resultó que la cobertura mediática de las actividades de Trump antes de las elecciones fue más negativa que positiva. En algunos meses, sin embargo, la cobertura de la campaña de Clinton fue incluso más positiva que la cobertura de Trump, aunque en los cuatro meses previos a las elecciones, los artículos relacionados con Clinton fueron en gran parte críticos. Una de las desventajas del estudio esque los autores no describieron la calidad de la clasificación de los datos sobre el tema de interés, por lo que es difícil verificar la veracidad de los resultados.
Se dedicaron estudios similares al análisis de noticias relacionadas con la política y el gobierno. A diferencia del contenido de las redes sociales, no hubo dificultad para acceder a datos antiguos, porque los medios generalmente no lo impiden. Sin embargo, algunos autores de investigación de noticias han intentado definir la opinión pública sobre temas específicos que creo que merecen una mayor elaboración. Por supuesto, los medios de comunicación pueden considerarse un reflejo de la opinión pública; sin embargo, en algunos casos, las políticas de los editores pueden influir en la publicación, por lo que las noticias no siempre reflejan la opinión pública.
3.2. Previsiones económicas y comerciales
Yakovleva propuso calcular un indicador de alta frecuencia de la actividad económica en Rusia basado en artículos de noticias en combinación con un análisis del sentimiento de los textos [76]. Durante el estudio se crearon dos componentes: el primero está diseñado para reflejar la cantidad de temas y el segundo es para identificar el tono de la noticia. El preprocesamiento consistió en varias etapas: derivar con MyStem, eliminar la puntuación, las palabras vacías y los espacios innecesarios. Como modelo de clasificación de sentimientos, Yakovleva tomó un algoritmo de vector de soporte [33] y lo entrenó con datos anotados manualmente que contienen 3438 artículos de noticias positivos y negativos. La precisión en el equipo de prueba fue del 64%. El autor mencionó que si el modelo determinaba la tonalidad del texto con una probabilidad menor al 60%, entonces la tonalidad se consideraba neutral y el texto se excluía del análisis. Todos los temasobtenidos con el primer componente se combinaron con la información de sentimiento del segundo modelo. Basado en estos datos combinados, se desarrolló un modelo de regresión para predecir los índices de gerentes de compras (PMI). Los datos de prueba cubrieron el período de febrero de 2017 a agosto de 2018. El modelo mostró capacidades de pronóstico relativamente buenas, aproximándose con precisión al índice real para el nuevo período. Los resultados de la investigación muestran que el modelo puede seguir de cerca el desempeño económico, lo que ayuda a responder más rápidamente a la situación financiera actual y a tomar decisiones rápidas. Sin embargo, este estudio tiene varias desventajas. Primero, no está claro qué probabilidades se usaron,porque la implementación básica de la máquina de vectores de soporte no proporciona estimaciones de probabilidad directamente. Además, no se ha descrito la metodología para seleccionar umbrales. En segundo lugar, los datos de formación de Yakovleva fueron anotados por un solo especialista, lo que no corresponde a la práctica generalmente aceptada [142], [161], [162]. Finalmente, el autor publicó una representación gráfica de la comparación prevista y los valores reales de PMI, pero no mencionó ninguna métrica de calidad de regresión.pero no mencionó ninguna métrica de calidad de regresión.pero no mencionó ninguna métrica de calidad de regresión.
4. Libros
Durante los últimos 60 años, el análisis de la literatura científica ha recorrido un largo camino, desde el recuento manual de citas y el análisis de frecuencia de palabras hasta métodos modernos de análisis automático de texto profundo [163]. Uno de los temas de actualidad en esta área es el análisis del sentimiento de los materiales educativos.
4.1. Contenido de los libros
El grupo de investigación de Soloviev estudió la tonalidad de los libros de texto sobre estudios sociales e historia que se utilizan en las escuelas primarias y secundarias de Rusia [77]. Para este estudio, el Corpus académico del idioma ruso se compiló sobre la base de 14 libros de texto en idioma ruso editados por Bogolyubov y Nikitin. El preprocesamiento incluyó la tokenización de oraciones, la tokenización de palabras y el marcado de parte de la oración mediante TreeTagger [164]. Utilizando el diccionario de idioma ruso RuSentiLex [25], los autores calcularon la frecuencia de palabras emocionales en cada documento y midieron su número específico por 1000 palabras en el documento. Después de analizar el corpus, los autores descubrieron que el discurso en los libros de texto de historia para la escuela secundaria, así como en los libros de texto de estudios sociales para la escuela secundaria, escritos por Nikitin, es principalmente de tonalidad negativa:Se utilizan palabras polarizadas negativamente y se presentan ejemplos negativos. Y los libros de texto escritos por Bogolyubov tienen un tono generalmente positivo. Sin embargo, una fuente importante de falta de fiabilidad es la precisión y relevancia de las palabras emocionales extraídas del corpus, ya que RuSentiLex se creó originalmente para otros temas. Además, RuSentiLex proporciona una única representación independiente del contexto de la polaridad emocional, independientemente de dónde aparezca la palabra en la oración y de sus posibles significados. Por lo tanto, este enfoque no le permite comprender los diferentes significados de las palabras según el contexto de la oración.Una fuente importante de falta de fiabilidad es la precisión y relevancia de las palabras emocionales extraídas del corpus, ya que RuSentiLex se creó originalmente para otros temas. Además, RuSentiLex proporciona una única representación independiente del contexto de la polaridad emocional, independientemente de dónde aparezca la palabra en la oración y de sus posibles significados. Por lo tanto, este enfoque no le permite comprender los diferentes significados de las palabras según el contexto de la oración.Una fuente importante de falta de fiabilidad es la precisión y relevancia de las palabras emocionales extraídas del corpus, ya que RuSentiLex se creó originalmente para otros temas. Además, RuSentiLex proporciona una única representación independiente del contexto de la polaridad emocional, independientemente de dónde aparezca la palabra en la oración y de sus posibles significados. Por lo tanto, este enfoque no le permite comprender los diferentes significados de las palabras según el contexto de la oración.Por lo tanto, este enfoque no le permite comprender los diferentes significados de las palabras según el contexto de la oración.Por lo tanto, este enfoque no le permite comprender los diferentes significados de las palabras según el contexto de la oración.
4.2. Proceso educativo
Kolmogorova realizó un experimento sobre la enseñanza de ruso para estudiantes chinos [78]. Midió la relación entre el sentimiento de los textos educativos, la valoración subjetiva de los estudiantes extranjeros sobre el atractivo y la eficacia del curso de formación, así como el éxito real de la enseñanza de dichos textos. Para analizar el sentimiento, el autor utilizó un clasificador de emociones basado en el aprendizaje automático desarrollado en el Laboratorio de Lingüística Aplicada e Investigación Cognitiva de la Universidad Federal de Siberia. El modelo de análisis de sentimiento clasificó los textos en 9 clases con un macropromedio F 1-punto 50%. Ocho grados corresponden a las emociones básicas de L¨ovheim [165], y el último son textos emocionalmente neutros. Para el conjunto de entrenamiento, los textos se seleccionaron en el grupo VKontakte abierto `` Escuchado por casualidad ''. 231 hablantes nativos de ruso marcaron los textos, evaluando subjetivamente el grado de expresión de cualquier emoción, mientras que a cada texto se le asignó una sola emoción. Todos los textos fueron corregidos por al menos tres evaluadores. Si dos o tres evaluadores asignaron la misma clase al texto, esta emoción se asignó al texto. De lo contrario, el texto se eliminó del conjunto de capacitación para esta clase. Kolmogorova utilizó textos en los que las emociones principales eran el placer / alegría y la tristeza / melancolía. El experimento se llevó a cabo con la participación de 30 estudiantes de China, que se dividieron en tres grupos iguales.Cada grupo estudió y examinó el tema "Puntuación". Un grupo aprendió de los textos alegres, el segundo de los tristes y el tercero de los neutrales. Tras realizar el estudio experimental y los exámenes, los alumnos cumplimentaron un cuestionario en el que constataron el grado de interés general por el curso y su eficacia, así como el grado de satisfacción con el proceso de aprendizaje. Después de analizar los cuestionarios y los resultados de los exámenes, Kolmogorova descubrió que el tono del texto educativo afecta fuertemente la evaluación subjetiva del proceso educativo y su efectividad objetiva. En promedio, los estudiantes cometieron menos errores en los textos tristes que en los alegres y neutrales, pero trabajar con ellos trajo la menor satisfacción. El mayor interés despertó el trabajo con textos alegres, pero la efectividad de la formación fue menor.Una fuente importante de incertidumbre en este estudio es el método utilizado para clasificar la polaridad emocional de los textos. El modelo se entrenó en textos de un área y se aplicó a textos de otra sin verificación adicional de la calidad de la clasificación. La autora no describió ningún detalle sobre el modelo de clasificación, ni proporcionó más información sobre el procesamiento previo y el entrenamiento.
Así, la principal dificultad en el análisis de los libros de texto radica en la ausencia de vocabulario emocional y kits de formación sobre este tema. Cuando los investigadores analizaron textos a nivel de palabra utilizando vocabularios emocionales, por lo general se tomó una representación independiente del contexto de la polaridad emocional para cada palabra, independientemente de la ubicación de la palabra en la oración y de sus otros posibles significados. Además, para el análisis de textos a nivel de documento, resulta difícil asociar textos con clases de emociones, porque los textos de los libros de texto son largos y se pueden expresar diferentes emociones a lo largo de un texto.
5. Fuentes de datos mixtas
Para cubrir una gama más amplia de materiales, algunos estudios utilizan textos de diferentes fuentes. Por ejemplo, si los autores utilizan noticias y contenido de redes sociales, no solo pueden medir la polaridad de la cobertura de ciertos eventos por parte de agencias de noticias y agencias gubernamentales, sino que también pueden medir las actitudes de las personas hacia los diferentes temas discutidos.
En un artículo publicado en el Berkman Center for Internet & Society [97], Etling investigó el tono de discusión de las protestas ucranianas durante el período Euromaidán en varios medios y redes sociales en línea y tradicionales en ruso e inglés. El estudio utilizó el software Crimson Hexagon [166], que se basa en el método de análisis desarrollado por Hopkins y King [167]. Los textos se clasificaron en cuatro clases en términos de actitudes hacia las protestas: positivas, neutrales, negativas y no relevantes. La fuente de datos fue publicaciones en ruso e inglés en Twitter, Facebook, blogs, foros y sitios de noticias para el período del 21 de noviembre de 2013 al 26 de febrero de 2014. Debido a las restricciones de Crimson Hexagon, no se consideraron los textos en ucraniano. Reveló,que fuentes y usuarios en ruso expresaron más apoyo a las protestas de lo esperado. Los textos en inglés en los EE. UU. Y el Reino Unido fueron más negativos de lo esperado debido al apoyo ideológico de los gobiernos occidentales. Al mismo tiempo, el contenido de las redes sociales en Reino Unido, EE. UU. Y Ucrania fue más positivo en comparación con los medios tradicionales de estos países. El principal inconveniente del estudio está relacionado con el modelo de clasificación de sentimientos. Primero, se entrenó en la cantidad mínima de datos, es decir, en alrededor de 120-140 publicaciones marcadas. En segundo lugar, los datos de formación fueron anotados por un solo evaluador, lo que contradice las mejores prácticas [142], [161], [162]. No se ha probado la fiabilidad y la calidad de la clasificación, lo que contradice los principios básicos de los modelos de aprendizaje automático supervisado [168]. Además,no se proporciona una lista completa de las fuentes analizadas, por lo que es difícil validar la confiabilidad de su selección. Además, no se tuvieron en cuenta los textos de Ucrania, lo que excluyó una amplia gama de opiniones.
Kazun analizó la intensidad y el tono de la cobertura en los medios y redes sociales de las actividades de Alexei Navalny a partir de datos de 2014-2016 [80]. Con la ayuda de Medialogia, el autor recibió más de 145.000 artículos de noticias sobre Navalny de periódicos rusos, sitios web y los tres canales de televisión federales más importantes. Para analizar el sentimiento, Kazun utilizó los algoritmos desarrollados en Medialogy (clasificación en clases positivas, negativas o neutrales), habiéndolos verificado previamente en doscientos artículos marcados manualmente. Resultó que los medios tradicionales tienden a ignorar a Navalny excepto por la publicación ocasional de documentos o noticias para denigrar a la oposición rusa en general oa Navalny personalmente. En general, Navalny obtuvo una cobertura más positiva en blogs que en otros medios. Sin embargo, las discusiones en estos artículos fueron predominantemente críticas.Los autores también describieron los detalles de cada tipo de medio, aclarando las estrategias de publicación características y los patrones de tono. A pesar de la negatividad general, la cobertura de noticias de las actividades de Navalny se está volviendo más positiva año tras año. Las razones de esta tendencia son una disminución en el número de artículos críticos y un aumento en el número de artículos positivos. Como en todos los ejemplos descubiertos del uso de algoritmos de análisis de sentimientos de medialogía, los autores no describen métricas de clasificación para el tema de destino.Como en todos los ejemplos descubiertos del uso de algoritmos de análisis de sentimientos de medialogía, los autores no describen métricas de clasificación para el tema de destino.Como en todos los ejemplos descubiertos del uso de algoritmos de análisis de sentimientos de medialogía, los autores no describen métricas de clasificación para el tema de destino.
En su investigación [79] Brantley analizó la revolución ucraniana de 2013-2014 basándose en el contenido de Twitter, Facebook, YouTube, blogs, foros y sitios de noticias. Con la ayuda de la plataforma Crimson Hexagon, ha reunido una colección de 2.809.476 textos en ruso, ucraniano e inglés. Solo se consideraron los textos que se publicaron en Ucrania en el período comprendido entre el 21 de noviembre de 2013 y el 1 de marzo de 2014. Dos evaluadores, con fluidez en los tres idiomas, anotaron el conjunto de datos de entrenamiento para el algoritmo BrightView, que es parte de Crimson Hexagon y es un algoritmo de análisis de datos no paramétrico. descrito en [166]. Los textos se dividieron en tres categorías: positivo, neutro y negativo. Las pruebas en Crimson Hexagon mostraron una coincidencia del 92% con la clasificación manual.Junto con los datos recopilados, el autor utilizó información del gráfico de conocimiento global del conjunto de datos de tono y del conjunto de datos de eventos y del conjunto de datos de lenguaje de eventos globales [169]. Resultó que en Ucrania había pronunciadas discrepancias entre las asociaciones políticas y las preferencias asociadas con las características lingüísticas. Esto se ve confirmado por los resultados de votaciones anteriores, cuando los oradores de habla ucraniana tradicionalmente han expresado más apoyo a la oposición. Al comparar directamente la participación en línea y fuera de línea, Brantley concluyó que las redes sociales influyeron significativamente en el desarrollo físico de las protestas, es decir, llevaron a un aumento en el número de manifestantes en las calles.que en Ucrania existen marcadas discrepancias entre las asociaciones políticas y las preferencias asociadas con las características lingüísticas. Esto se ve confirmado por los resultados de votaciones anteriores, cuando los oradores de habla ucraniana tradicionalmente han expresado más apoyo a la oposición. Al comparar directamente la participación en línea y fuera de línea, Brantley concluyó que las redes sociales influyeron significativamente en el desarrollo físico de las protestas, es decir, llevaron a un aumento en el número de manifestantes en las calles.que en Ucrania existen marcadas discrepancias entre las asociaciones políticas y las preferencias asociadas con las características lingüísticas. Esto se ve confirmado por los resultados de votaciones anteriores, cuando los oradores de habla ucraniana tradicionalmente han expresado más apoyo a la oposición. Al comparar directamente la participación en línea y fuera de línea, Brantley concluyó que las redes sociales influyeron significativamente en el desarrollo físico de las protestas, es decir, llevaron a un aumento en el número de manifestantes en las calles.que las redes sociales influyeron significativamente en el desarrollo físico de las protestas, es decir, llevaron a un aumento en el número de manifestantes en las calles.que las redes sociales influyeron significativamente en el desarrollo físico de las protestas, es decir, llevaron a un aumento en el número de manifestantes en las calles.
La principal desventaja de utilizar fuentes de diferente tipo es que, además de la amplia gama de opiniones expresadas, los autores enfrentan las dificultades y limitaciones propias de cierto tipo de fuentes. Pueden estar relacionados con el acceso a datos representativos, descripción exhaustiva de limitaciones, falta de datos de formación para el tema seleccionado. En algunos estudios, el análisis de sentimientos y la agregación de índices de emoción se realizaron sobre la base de una amplia gama de textos sin diferenciar por tipos de fuentes. Por ejemplo, al agregar emociones, los autores consideraron que las publicaciones en redes sociales y los artículos de noticias son unidades iguales. Quizás, en tales casos, es más lógico utilizar modelos más complejos que utilizan ponderaciones para analizar de forma más correcta textos de diferentes tipos de fuentes.
6. Siguiente
En un par de días se dará a conocer la parte final, en la que hablaremos de las dificultades comunes que enfrentan los investigadores, así como de direcciones prometedoras para el futuro. Si desea leer el artículo completo de una vez y en inglés, vaya aquí .
7. Fuentes
Puede encontrar una lista completa de fuentes aquí .