Clever Geek Handbook

Definición de comentarios tóxicos en ruso



Hoy en día, las redes sociales se han convertido en una de las principales plataformas de comunicación tanto online como en la vida real. La libertad de expresar diferentes puntos de vista, incluidos los comentarios tóxicos, agresivos y ofensivos, puede tener consecuencias negativas a largo plazo para las opiniones de las personas y la cohesión social. Por tanto, una de las tareas más importantes de la sociedad moderna es el desarrollo de medios de detección automática de información tóxica en Internet para reducir las consecuencias negativas.



Este artículo describe cómo resolver este problema para el idioma ruso. Como fuente de datos, usamos un conjunto de datos publicado de forma anónima en Kaggle, además de verificar la calidad de la anotación. Para crear un modelo de clasificación, ajustamos dos versiones del codificador de oraciones universal multilingüe, las representaciones del codificador bidireccional de Transformers y ruBERT. El modelo personalizado ruBERT mostró F 1 = 92.20%, fue el mejor resultado de clasificación. Hemos lanzado los modelos entrenados y los ejemplos de código al público.



1. Introducción



Hoy en día, el problema de identificar comentarios tóxicos está bien resuelto utilizando técnicas avanzadas de aprendizaje profundo [1], [35]. Aunque algunos trabajos investigan directamente el tema de la detección de insultos, discursos tóxicos y de odio en ruso [2], [8], [17], solo hay un conjunto de datos disponible públicamente con comentarios tóxicos en ruso [5]. Se publicó en Kaggle sin ninguna explicación del proceso de anotación, por lo que, con fines académicos y prácticos, puede que no sea confiable sin un estudio adicional en profundidad.



Este artículo está dedicado a la detección automática de comentarios tóxicos en ruso. Para esta tarea, verificamos la anotación del conjunto de datos de comentarios tóxicos en idioma ruso [5]. Luego, se creó un modelo de clasificación basado en el ajuste fino de las versiones multilingües previamente entrenadas del Codificador de Oraciones Universal Multilingüe (M-USE) [48], Representaciones de Codificador Bidireccional de Transformers (M-BERT) [13] y ruBERT [22]. El modelo más preciso ruBERT-Toxic mostró F 1 = 92,20% en el problema de clasificación binaria de comentarios tóxicos. Los modelos M-BERT y M-USE resultantes se pueden descargar desde github.



La estructura del artículo es la siguiente. En la sección 2describimos brevemente otros trabajos sobre este tema, así como los conjuntos de datos disponibles en ruso. En la Sección 3, brindamos una descripción general del conjunto de datos de comentarios tóxicos en idioma ruso y describimos el proceso de verificación de su anotación. En la Sección 4, describimos el refinamiento de los modelos de lenguaje para la tarea de clasificación de textos. En la sección 5, describimos el experimento de clasificación. Por último, hablemos del rendimiento de nuestro sistema y las direcciones para futuras investigaciones.



2. Otras obras sobre el tema



Se ha realizado un trabajo extenso para detectar comentarios tóxicos sobre diversas fuentes de datos. Por ejemplo, Prabowo y sus colegas han utilizado la Clasificación Bayesiana ingenua (NB), Máquinas de vectores de soporte (SVM) y el clasificador Árboles de decisión de conjunto (RFDT) para detectar el odio y el lenguaje ofensivo en Twitter indonesio [34]. Los resultados experimentales mostraron una precisión del 68,43% para el enfoque jerárquico con los signos de unigramas de diccionario y para el modelo SVM. En el trabajo de un equipo liderado por Founta [15], se propuso una red neuronal de aprendizaje profundo basada en GRU con embeddings GloVe previamente entrenados para la clasificación de textos tóxicos. El modelo mostró una alta precisión en cinco conjuntos de datos, con un AUC que oscilaba entre el 92% y el 98%.



Cada vez son más los seminarios y concursos dedicados a la detección de comentarios tóxicos, odiosos y ofensivos. Por ejemplo, HatEval y OffensEval en SemEval-2019; HASOC en FIRE-2019; Tarea compartida sobre la identificación de lenguaje ofensivo en GermEval-2019 y GermEval-2018; TRAC en COLING-2018. Los modelos utilizados en los problemas van desde el aprendizaje automático tradicional (por ejemplo, SVM y regresión logística) hasta el aprendizaje profundo (RNN, LSTM, GRU, CNN, CapsNet, incluido el mecanismo de atención [45], [49]), así como modelos avanzados como ELMo. [31], BERT [13] y USE [9], [48]). Un número significativo de equipos que han logrado buenos resultados [18], [24], [27], [28], [30], [36], [38] utilizaron incorporaciones de los modelos de lenguaje previamente entrenados enumerados.Dado que las representaciones de modelos previamente entrenados se desempeñaron bien en la clasificación, fueron ampliamente utilizadas en estudios posteriores. Por ejemplo, investigadores de la Universidad de Lorena llevaron a cabo una clasificación binaria multiclase de los mensajes de Twitter utilizando dos enfoques: entrenar un clasificador DNN con incorporaciones de vocabulario previamente entrenado y un modelo BERT previamente entrenado cuidadosamente ajustado [14]. El segundo enfoque mostró resultados significativamente mejores en comparación con CNN y las redes neuronales bidireccionales LSTM basadas en incrustaciones FastText.entrenando un clasificador DNN con incorporaciones de vocabulario previamente entrenado, y un modelo BERT cuidadosamente ajustado previamente [14]. El segundo enfoque mostró resultados significativamente mejores en comparación con CNN y las redes neuronales bidireccionales LSTM basadas en incrustaciones FastText.entrenando un clasificador DNN con incorporaciones de vocabulario previamente entrenado y un modelo BERT previamente entrenado cuidadosamente ajustado [14]. El segundo enfoque mostró resultados significativamente mejores en comparación con CNN y las redes neuronales bidireccionales LSTM basadas en incrustaciones FastText.



Aunque un número significativo de estudios [7], [33], [41] se han dedicado al estudio del comportamiento tóxico y agresivo en las redes sociales en ruso, no se ha prestado mucha atención a su clasificación automática. Para determinar la agresividad en textos en inglés y ruso, Gordeev utilizó redes neuronales convolucionales y un clasificador de bosque aleatorio (RFC) [17]. El conjunto de mensajes anotados como agresivos contenía alrededor de 1000 mensajes en ruso y casi lo mismo en inglés, pero no está disponible públicamente. El modelo entrenado de CNN mostró la precisión de la clasificación binaria de textos en ruso 66,68%. Con base en estos resultados, los autores concluyeron que las redes neuronales convolucionales y los enfoques basados ​​en el aprendizaje profundo son más prometedores para identificar textos agresivos.Andruziak y otros propusieron un enfoque probabilístico sin supervisión con un vocabulario fuente para clasificar los comentarios ofensivos de YouTube escritos en ucraniano y ruso [2]. Los autores han publicado un conjunto de datos etiquetado manualmente de 2.000 comentarios, pero contiene textos tanto en ruso como en ucraniano, por lo que no se puede utilizar directamente para la investigación en ruso.



Varios estudios recientes se han centrado en la identificación automática de actitudes hacia los migrantes y grupos étnicos en las redes sociales de habla rusa, incluida la identificación de ataques basados ​​en la identidad. Bodrunova con sus coautores estudiaron 363.000 publicaciones en ruso en LiveJournal sobre el tema de las actitudes hacia los inmigrantes de las repúblicas postsoviéticas en comparación con otras naciones [8]. Resultó que en los blogs en ruso, los migrantes no provocaron una discusión significativa y no fueron sometidos al peor trato. Al mismo tiempo, los representantes de las nacionalidades del Cáucaso del Norte y Asia Central son tratados de formas completamente diferentes. Un grupo de investigadores dirigido por Bessudnov descubrió que los rusos son tradicionalmente más hostiles a las personas del Cáucaso y Asia Central; al mismo tiempo, los ucranianos y moldavos son generalmente aceptados como vecinos potenciales [6].Y según las conclusiones del equipo dirigido por Koltsova, la actitud hacia los representantes de las nacionalidades de Asia Central y los ucranianos es la más negativa [19]. Aunque algunas investigaciones académicas se han centrado en identificar el discurso tóxico, ofensivo y de odio, ninguno de los autores ha puesto a disposición del público sus conjuntos de datos en ruso. Por lo que sabemos, el conjunto de datos de comentarios tóxicos en ruso [5] es el único conjunto de comentarios tóxicos en ruso del dominio público. Sin embargo, se publicó en Kaggle sin describir el proceso de creación y anotación, por lo que sin un estudio detallado no se recomienda su uso en proyectos académicos y prácticos.Aunque algunas investigaciones académicas se han centrado en la definición de discurso tóxico, ofensivo y de odio, ninguno de los autores ha puesto a disposición del público sus conjuntos de datos en ruso. Hasta donde sabemos, el conjunto de datos de comentarios tóxicos en ruso [5] es el único conjunto de comentarios tóxicos en ruso del dominio público. Sin embargo, se publicó en Kaggle sin describir el proceso de creación y anotación, por lo que sin un estudio detallado no se recomienda su uso en proyectos académicos y prácticos.Aunque algunas investigaciones académicas se han centrado en identificar el discurso tóxico, ofensivo y de odio, ninguno de los autores ha puesto a disposición del público sus conjuntos de datos en ruso. Hasta donde sabemos, el conjunto de datos de comentarios tóxicos en ruso [5] es el único conjunto de comentarios tóxicos en ruso que son de dominio público. Sin embargo, se publicó en Kaggle sin describir el proceso de creación y anotación, por lo que sin un estudio detallado no se recomienda su uso en proyectos académicos y prácticos.El conjunto de datos de comentarios tóxicos en idioma ruso [5] es el único conjunto de comentarios tóxicos en idioma ruso del dominio público. Sin embargo, se publicó en Kaggle sin describir el proceso de creación y anotación, por lo que sin un estudio detallado no se recomienda su uso en proyectos académicos y prácticos.El conjunto de datos de comentarios tóxicos en ruso [5] es el único conjunto de comentarios tóxicos en ruso del dominio público. Sin embargo, se publicó en Kaggle sin describir el proceso de creación y anotación, por lo que sin un estudio detallado no se recomienda su uso en proyectos académicos y prácticos.



Dado que hay poca investigación dedicada a la definición de comentarios tóxicos en ruso, decidimos evaluar el trabajo de los modelos de aprendizaje profundo en el conjunto de datos de comentarios tóxicos del idioma ruso [5]. No tenemos conocimiento de ningún estudio de clasificación basado en esta fuente de datos. Los modelos Multilingual BERT y Multilingual USE se encuentran entre los más extendidos y exitosos en proyectos de investigación recientes. Y solo ellos admiten oficialmente el idioma ruso. Decidimos utilizar el ajuste fino como un enfoque de transferencia de aprendizaje porque en estudios recientes dio los mejores resultados de clasificación [13], [22], [43], [48].



3. Conjunto de datos con comentarios tóxicos



Establecer el idioma ruso como comentarios tóxicos el conjunto de datos [5] es una colección de comentarios anotados de los sitios Dvach y Peekaboo . Se publicó en Kaggle en 2019 y contiene 14,412 comentarios, de los cuales 4,826 están etiquetados como tóxicos y 9,586 no son tóxicos. La longitud promedio de los comentarios es 175 caracteres, el mínimo es 21 y el máximo es 7 403.



Para verificar la calidad de la anotación, anotamos manualmente algunos de los comentarios y los comparamos con las etiquetas originales usando el acuerdo entre anotadores. Decidimos considerar las anotaciones existentes como correctas al alcanzar un nivel significativo o alto de acuerdo entre anotadores.



Primero, etiquetamos manualmente 3000 comentarios y comparamos las etiquetas de clase resultantes con las originales. Las anotaciones fueron escritas por miembros de habla rusa de la plataforma de crowdsourcing Yandex.Toloka, que ya se ha utilizado en varios estudios académicos de textos en ruso [10], [29], [32], [44]. Como guía para el marcado, usamos las instrucciones de reconocimiento de toxicidad con atributos adicionales que se usaron en el desafío de clasificación de comentarios tóxicos de Jigsaw. Se pidió a los anotadores que determinaran la toxicidad en los textos, cuyo nivel debía indicarse para cada comentario. Para mejorar la precisión del marcado y limitar la posibilidad de engaño, utilizamos la siguiente técnica:



  • Asignamos a los anotadores un nivel en función de sus respuestas para controlar las tareas y prohibimos a los que dieron respuestas incorrectas.
  • Acceso restringido a tareas para quienes responden demasiado rápido.
  • Acceso restringido a las tareas de los temas, no ingresa el captcha correcto varias veces seguidas.


Cada comentario fue anotado por 3-8 anotadores utilizando la técnica de superposición dinámica . Los resultados se agregaron utilizando el método Dawid-Skene [12] basado en las recomendaciones de Yandex.Toloka. Los anotadores mostraron un alto nivel de acuerdo entre anotadores, con un alfa de Kripppendorf de 0,81. Y el coeficiente kappa de Cohen entre la etiqueta original y nuestra agregada fue de 0,68, lo que corresponde a un nivel significativo de concordancia entre los anotadores [11]. Por lo tanto, decidimos considerar el marcado del conjunto de datos como correcto, especialmente considerando las posibles diferencias en las instrucciones de anotación.



4. Modelos de aprendizaje automático



4.1. Enfoques de línea de base



Para los enfoques de línea de base, tomamos un enfoque de aprendizaje automático básico y un enfoque de red neuronal moderno. En ambos casos, hicimos una preparación preliminar: reemplazamos la URL y los apodos con palabras clave, eliminamos los signos de puntuación y reemplazamos las letras mayúsculas por letras minúsculas.



Primero, aplicamos el modelo Multinomial Naive Bayes (MNB), que funcionó bien en problemas de clasificación de texto [16], [40]. Para crear el modelo, tomamos Bag-of-Words y la vectorización TF-IDF. El segundo modelo fue la red neuronal bidireccional de memoria a corto plazo a largo plazo (BiLSTM). Para la capa de incrustación, preparamos previamente las incrustaciones de Word2Vec ( tenue= 300) [25] basado en la colección de mensajes de Twitter en ruso de RuTweetCorp [37]. Y además de las incrustaciones de Word2Vec, agregamos dos capas LSTM bidireccionales. Luego agregamos una capa oculta completamente conectada y una capa de salida sigmoidea. Para reducir el sobreajuste, agregamos capas de regularización con ruido gaussiano y capas de exclusión (Dropout) a la red neuronal. Usamos el optimizador de Adam con una tasa de aprendizaje inicial de 0.001 y una entropía cruzada binaria categórica como función de pérdida. El modelo se entrenó con incrustaciones fijas durante 10 épocas. Intentamos desbloquear incrustaciones en diferentes épocas mientras redujimos la tasa de aprendizaje, pero los resultados fueron peores. La razón fue probablemente el tamaño del conjunto de entrenamiento [4].



4.2. Modelo BERT



Dos versiones del modelo BERT BASE multilingüe ya están disponibles oficialmente , pero solo se recomienda oficialmente la versión con carcasa. BERT BASE toma una secuencia de no más de 512 tokens y devuelve su representación. La tokenización se realiza utilizando WordPiece [46] con normalización preliminar de texto y separación de puntuación. Investigadores del MIPT capacitaron a BERT BASE Cased y publicaron ruBERT, un modelo para el idioma ruso [22]. Usamos ambos modelos - BASE BERT multilingüeCased y ruBERT, que contienen 12 bloques de transformación secuencial, tienen un tamaño oculto de 768, contienen 12 cabezas de auto-atención y 110 millones de parámetros. La etapa de ajuste fino se realizó con los parámetros recomendados de [43] y el repositorio oficial : tres épocas de aprendizaje, etapas de calentamiento al 10%, longitud máxima de secuencia 128, tamaño de paquete 32, tasa de aprendizaje 5e-5.



4.3. Modelo MUSE



El USE Trans multilingüe toma una secuencia de no más de 100 tokens como entrada , y el USE CNN multilingüe toma una secuencia de no más de 256 tokens. La tokenización de SentencePiece [20] se utiliza para todos los idiomas compatibles. Usamos un USE Trans multilingüe previamente entrenado , que admite 16 idiomas, incluido el ruso, contiene un codificador-convertidor con 6 capas de transformación, 8 bloques de cabeza de atención, tiene un tamaño de filtro de 2048, un tamaño oculto de 512. También usamos un CNN de USO multilingüe previamente entrenado que admite 16 idiomas, incluido el ruso, contiene un codificador CNN con dos capas CNN, un ancho de filtro (1, 2, 3, 5), tiene un tamaño de filtro. Para ambos modelos, usamos los parámetros recomendados conPáginas de TensorFlow Hub : 100 épocas de aprendizaje, tamaño de lote 32, tasa de aprendizaje 3e-4.



5. Experimente



Comparamos los enfoques de transferencia de aprendizaje y de referencia:



  • Clasificador multinomial Naive Bayes;
  • Memoria bidireccional a corto plazo de red neuronal (BiLSTM);
  • versión multilingüe de Representaciones de codificador bidireccional de Transformers (M-BERT);
  • ruBERT;
  • dos versiones de Codificador de oraciones universal multilingüe (M-USE).


La calidad de la clasificación de los modelos entrenados en el conjunto de prueba (20%) se muestra en la tabla. Todos los modelos de lenguaje sintonizados excedieron los niveles de referencia en precisión, recuperación y medida F 1 . ruBERT mostró F 1 = 92.20%, este es el mejor resultado.



Clasificación binaria de comentarios tóxicos en ruso:



Sistema PAG R F 1
MNB 87,01 % 81,22 % 83,21 %
BiLSTM 86,56 % 86,65 % 86,59 %
M − BERTBASE − Toxic 91,19 % 91,10 % 91,15 %
ruBert − Toxic 91,91 % 92,51 % 92,20 %
M − USECNN − Toxic 89,69 % 90,14% 89,91 %
M − USETrans − Toxic 90,85 % 91,92 % 91,35 %


6.



En este artículo, hemos utilizado dos versiones perfeccionadas del codificador de oraciones universal multilingüe [48], las representaciones del codificador bidireccional multilingüe de Transformers [13] y ruBERT [22] para identificar comentarios tóxicos en ruso. Tuned rubert Toxic mostró F 1 = 92.20%, es el mejor resultado de clasificación.



Los modelos M-BERT y M-USE resultantes están disponibles en github.



Fuentes literarias



Lista
  1. Aken, B. van et al.: Challenges for toxic comment classification: An in-depth error analysis. In: Proceedings of the 2nd workshop on abusive language online (ALW2). pp. 33–42. Association for Computational Linguistics, Brussels, Belgium (2018).
  2. Andrusyak, B. et al.: Detection of abusive speech for mixed sociolects of russian and ukrainian languages. In: The 12th workshop on recent advances in slavonic natural languages processing, RASLAN 2018, karlova studanka, czech republic, december 7–9, 2018. pp. 77–84 (2018).
  3. Basile, V. et al.: SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 54–63. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  4. Baziotis, C. et al.: DataStories at SemEval-2017 task 4: Deep LSTM with attention for message-level and topic-based sentiment analysis. In: Proceedings of the 11th international workshop on semantic evaluation (SemEval-2017). pp. 747–754. Association for Computational Linguistics, Vancouver, Canada (2017).
  5. Belchikov, A.: Russian language toxic comments, https://www.kaggle.com/ blackmoon/russian-language-toxic-comments.
  6. Bessudnov, A., Shcherbak, A.: Ethnic discrimination in multi-ethnic societies: Evidence from russia. European Sociological Review. (2019).
  7. Biryukova, E. V. et al.: READER’S comment in on-line magazine as a genre of internet discourse (by the material of the german and russian languages). Philological Sciences. Issues of Theory and Practice. 12, 1, 79–82 (2018).
  8. Bodrunova, S. S. et al.: Who’s bad? Attitudes toward resettlers from the post-soviet south versus other nations in the russian blogosphere. International Journal of Communication. 11, 23 (2017).
  9. Cer, D. M. et al.: Universal sentence encoder. ArXiv. abs/1803.11175, (2018).
  10. Chernyak, E. et al.: Char-rnn for word stress detection in east slavic languages. CoRR. abs/1906.04082, (2019).
  11. Cohen, J.: A coefficient of agreement for nominal scales. Educational and psychological measurement. 20, 1, 37–46 (1960).
  12. Dawid, A. P., Skene, A. M.: Maximum likelihood estimation of observer errorrates using the em algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics). 28, 1, 20–28 (1979).
  13. Devlin, J. et al.: BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 4171–4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).
  14. d’Sa, A. G. et al.: BERT and fastText embeddings for automatic detection of toxic speech. In: SIIE 2020-information systems and economic intelligence. (2020).
  15. Founta, A. M. et al.: A unified deep learning architecture for abuse detection. In: Proceedings of the 10th acm conference on web science. pp. 105–114. Association for Computing Machinery, New York, NY, USA (2019).
  16. Frank, E., Bouckaert, R.: Naive bayes for text classification with unbalanced classes. In: Fürnkranz, J. et al. (eds.) Knowledge discovery in databases: PKDD 2006. pp. 503–510. Springer Berlin Heidelberg, Berlin, Heidelberg (2006).
  17. Gordeev, D.: Detecting state of aggression in sentences using cnn. In: International conference on speech and computer. pp. 240–245. Springer (2016).
  18. Indurthi, V. et al.: FERMI at SemEval-2019 task 5: Using sentence embeddings to identify hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 70–74. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  19. Koltsova, O. et al.: FINDING and analyzing judgements on ethnicity in the russian-language social media. AoIR Selected Papers of Internet Research. (2017).
  20. Kudo, T., Richardson, J.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In: Proceedings of the 2018 conference on empirical methods in natural language processing: System demonstrations. pp. 66–71. Association for Computational Linguistics, Brussels, Belgium (2018).
  21. Kumar, R. et al. eds: Proceedings of the first workshop on trolling, aggression and cyberbullying (TRAC-2018). Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018).
  22. Kuratov, Y., Arkhipov, M.: Adaptation of deep bidirectional multilingual transformers for Russian language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 333–340. RSUH, Moscow, Russia (2019).
  23. Lenhart, A. et al.: Online harassment, digital abuse, and cyberstalking in america. Data; Society Research Institute (2016).
  24. Liu, P. et al.: NULI at SemEval-2019 task 6: Transfer learning for offensive language detection using bidirectional transformers. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 87–91. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  25. Mikolov, T. et al.: Distributed representations of words and phrases and their compositionality. In: Proceedings of the 26th international conference on neural information processing systems—volume 2. pp. 3111–3119. Curran Associates Inc., Red Hook, NY, USA (2013).
  26. Mishra, P. et al.: Abusive language detection with graph convolutional networks. In: Proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 2145–2150 (2019).
  27. Mishra, S., Mishra, S.: 3Idiots at HASOC 2019: Fine-tuning transformer neural networks for hate speech identification in indo-european languages. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 208–213 (2019).
  28. Nikolov, A., Radivchev, V.: Nikolov-radivchev at SemEval-2019 task 6: Offensive tweet classification with BERT and ensembles. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 691–695. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  29. Panchenko, A. et al.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 547–564. RSUH, Moscow, Russia (2018).
  30. Paraschiv, A., Cercel, D.-C.: UPB at germeval-2019 task 2: BERT-based offensive language classification of german tweets. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 396–402 (2019).
  31. Peters, M. et al.: Deep contextualized word representations. In: Proceedings of the 2018 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long papers). pp. 2227–2237. Association for Computational Linguistics, New Orleans, Louisiana (2018).
  32. Ponomareva, M. et al.: Automated word stress detection in Russian. In: Proceedings of the first workshop on subword and character level models in NLP. pp. 31–35. Association for Computational Linguistics, Copenhagen, Denmark (2017).
  33. Potapova, R., Komalova, L.: Lexico-semantical indices of «deprivation–aggression» modality correlation in social network discourse. In: International conference on speech and computer. pp. 493–502. Springer (2017).
  34. Prabowo, F. A. et al.: Hierarchical multi-label classification to identify hate speech and abusive language on indonesian twitter. In: 2019 6th international conference on information technology, computer and electrical engineering (icitacee). pp. 1–5 (2019).
  35. Risch, J., Krestel, R.: Toxic comment detection in online discussions. In: Deep learning-based approaches for sentiment analysis. pp. 85–109. Springer (2020).
  36. Risch, J. et al.: HpiDEDIS at germeval 2019: Offensive language identification using a german bert model. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 403–408 (2019).
  37. Rubtsova, Y.: A method for development and analysis of short text corpus for the review classification task. Proceedings of conferences Digital Libraries: Advanced Methods and Technologies, Digital Collections (RCDL’2013). Pp. 269–275 (2013).
  38. Ruiter, D. et al.: LSV-uds at HASOC 2019: The problem of defining hate. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 263–270 (2019).
  39. Sambasivan, N. et al.: «They don’t leave us alone anywhere we go»: Gender and digital abuse in south asia. In: Proceedings of the 2019 chi conference on human factors in computing systems. Association for Computing Machinery, New York, NY, USA (2019).
  40. Sang-Bum Kim et al.: Some effective techniques for naive bayes text classification. IEEE Transactions on Knowledge and Data Engineering. 18, 11, 1457–1466 (2006).
  41. Shkapenko, T., Vertelova, I.: Hate speech markers in internet comments to translated articles from polish media. Political Linguistics. 70, 4, Pages 104–111 (2018).
  42. Strus, J. M. et al.: Overview of germeval task 2, 2019 shared task on the identification of offensive language. Presented at the (2019).
  43. Sun, C. et al.: How to fine-tune bert for text classification? In: Sun, M. et al. (eds.) Chinese computational linguistics. pp. 194–206. Springer International Publishing, Cham (2019).
  44. Ustalov, D., Igushkin, S.: Sense inventory alignment using lexical substitutions and crowdsourcing. In: 2016 international fruct conference on intelligence, social media and web (ismw fruct). (2016).
  45. Vaswani, A. et al.: Attention is all you need. In: Proceedings of the 31st international conference on neural information processing systems. pp. 6000–6010. Curran Associates Inc., Red Hook, NY, USA (2017).
  46. Wu, Y. et al.: Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144. (2016).
  47. Yang, F. et al.: Exploring deep multimodal fusion of text and photo for hate speech classification. In: Proceedings of the third workshop on abusive language online. pp. 11–18. Association for Computational Linguistics, Florence, Italy (2019).
  48. Yang, Y. et al.: Multilingual universal sentence encoder for semantic retrieval. CoRR. abs/1907.04307, (2019).
  49. Yang, Z. et al.: Hierarchical attention networks for document classification. In: Proceedings of the 2016 conference of the north American chapter of the association for computational linguistics: Human language technologies. pp. 1480–1489. pp. Association for Computational Linguistics, San Diego, California (2016).


More articles:


All Articles