Comparación de textos
Digamos que tenemos tres textos: dos sobre perros y uno sobre gatos. ¿Cómo los comparas entre sí?
Podemos contar cuántas palabras aparecen en el texto, en nuestro caso contaremos gatos y perros, y si hay más perros que gatos en el texto, entonces podemos concluir que ellos (textos) son casi lo mismo.
De hecho, no siempre es así. Imagina una situación en la que hay un texto muy largo sobre perros y hay más palabras en él. Afortunadamente, puede salir de esta situación comparando las distancias del coseno.
bag-of-words , , , «» «» . , , . , ? . bag-of-words , «» «» .
. , , . , «» «». – . python : pymorphy pymystem. , . .
. , , .
, . , «» — «» — «», , «» «», «».
Word2Vec
, . , Word2Vec. ? , . , , . Word2Vec :
, .. . , , . 10 . .
, , , IT, .. . ? () «». «» «» , , , , .
, pyLDAvis , .
, . , . . udpipe.
, , : « ». , , «».
, udpipe , , .
A pesar de que todas las herramientas se consideraron mediante ejemplos simples, la PNL tiene una amplia gama de tareas a resolver: clasificar las solicitudes de los empleados, evaluar las opiniones de los clientes, analizar los mensajes de un chatbot. Así, aparecieron varios instrumentos más en nuestras manos.