Habiéndome sumergido en el tema de DL NLP, encontré un repositorio interesante en Internet . Esto no es suficiente - ¡ GPT-2 ruso ! Bueno eso es De habla rusa. Y no unos 117M pequeños, sino unos 1250M, lo que ya es bastante serio. El autor ha trabajado mucho en la adaptación del modelo original y en la preparación del corpus para el entrenamiento. Y el entrenamiento en sí, supongo, tomó mucho tiempo y energía. En general, ¡respeto al camarada l4rz ! Planeo seguir sus pasos y capacitar al sistema en mi caso (que actualmente estoy en proceso de preparación); afortunadamente, el autor dejó instrucciones bastante detalladas sobre cómo abordar una tarea a tan gran escala ... ¡Informaré sobre los resultados! ;)
Mientras tanto, por puro entretenimiento, propongo al público algunos experimentos con el sistema, basados en el post sobre el enfriador GPT-3 (aunque el autor, obviamente, no considera que GPT-3 sea nada sobresaliente allí). Por un lado, el sistema presentado aquí es mucho más simple que GPT-3, por otro lado, ¡sigue siendo un modelo entrenado en ruso! Pienso que es divertido.
Descargo de responsabilidad. Los resultados están determinados en gran medida por el corpus sobre el que aprendió la red. Esto es lo que dice el autor al respecto: raspé un par de sitios de prensa rusos , analicé HTML con beautifulsoup4 y guardé textos analizados, así como metadatos (encabezados, TL; DR, marcas de tiempo) para clasificarlos y procesarlos posteriormente en PKL ... Para impulsar las cosas Además, el conjunto de datos de 4Gb (415M tokens) se incrementó con 3Gb de fanfics filtrados , convirtiéndose en uno de 7Gb (862M tokens).
La técnica experimental es simple: ejecuto la red tres veces con la misma entrada. La salida de red está marcada en negrita... No hice ninguna edición, excepto las puramente cosméticas, como espacios faltantes (que se omitieron debido a mi interferencia en el código *). Los experimentos en general repiten los descritos en el artículo sobre GPT-3, y decidí no comentarlos de ninguna manera ...;)
Experimento 1
. >>>Te sirves un vaso de jugo de arándano, pero luego le agregas distraídamente una cucharadita de jugo de uva. El luce bien. Intentas olerlo, pero tienes un fuerte resfriado, así que no hueles. Tienes mucha sed. Por lo tanto, bebes café con miel y azúcar.>>> nuevo
Te sirves un vaso de jugo de arándano, pero luego le agregas distraídamente una cucharadita de jugo de uva. El luce bien. Intentas olerlo, pero tienes un fuerte resfriado, así que no hueles. Tienes mucha sed. Así que te vuelves a servir café. Siente náuseas. No hay nada de malo en eso, no sabes cómo beberlo de todos modos. Sientes algo muy mal, pero nadie te hace caso.>>> nuevo
Te sirves un vaso de jugo de arándano, pero luego le agregas distraídamente una cucharadita de jugo de uva. El luce bien. Intentas olerlo, pero tienes un fuerte resfriado, así que no hueles. Tienes mucha sed. Así que sigues comiendo si quieres, pero no sabes qué aspecto tiene.
Experimento 2
. >>>Has organizado una pequeña fiesta. Quieres servir la cena en la sala de estar. La mesa del comedor es más ancha que la entrada y tendrás que beber un vaso de leche caliente para llevarlo a la sala de estar .>>> nuevo
Has organizado una pequeña fiesta. Quieres servir la cena en la sala de estar. La mesa del comedor es más ancha que la entrada y da algunos pasos para entrar en la sala de estar .>>> nuevo
Has organizado una pequeña fiesta. Quieres servir la cena en la sala de estar. La mesa del comedor es más ancha que la entrada y se necesita mucho trabajo para trasladarla a la sala de estar .
Experimento 3
. >>>Usted es un abogado defensor y necesita ir a la corte hoy. Mientras se viste por la mañana, descubre que los pantalones de su traje están muy sucios. Sin embargo, su traje de baño está limpio y muy elegante. Estos son bañadores de alta gama de Francia que Isabelle te regaló para tu cumpleaños. ¿Decides qué ponerte para la prueba ?>>> nuevo
Oh si*
Usted es un abogado defensor y necesita ir a la corte hoy. Mientras se viste por la mañana, descubre que los pantalones de su traje están muy sucios. Sin embargo, su traje de baño está limpio y muy elegante. Estos son bañadores de alta gama de Francia que Isabelle te regaló para tu cumpleaños. Tú decides qué ponerte para la prueba . Si algo no te gusta, llévate ropa de tu armario.>>> nuevo
Usted es un abogado defensor y necesita ir a la corte hoy. Mientras se viste por la mañana, descubre que los pantalones de su traje están muy sucios. Sin embargo, su bañador está limpio y muy elegante. Estos son bañadores de alta gama de Francia que Isabelle te regaló para tu cumpleaños. ¿Decides qué ponerte para la prueba ?
- Tengo muchas preguntas para un abogado.
Experimento 4
. >>>Ayer dejé mi ropa en la tintorería y hoy todavía tengo que recogerla. ¿Donde esta mi ropa?>>> nuevo
- Idiota, necesito traerlo de vuelta, no hacer todo de acuerdo al plan.
Ayer dejé mi ropa en la tintorería y hoy todavía tengo que recogerla. ¿Donde esta mi ropa?>>> nuevo
- No, no sé qué son estas cosas, pero siempre puedo tomar una, y esto no siempre es agradable.
Ayer dejé mi ropa en la tintorería y hoy todavía tengo que recogerla. ¿Donde esta mi ropa?
- Bueno. No lo molestaré ”, respondí.
Experimento # 5
. >>>Janet y Penny fueron a la tienda a comprar un regalo para Jack. Janet dijo: "Le compraré una blusa a Jack". “No le compres a Jack una blusa”, dice Penny. “Tiene un top. Él obtendrá de mí cuando queramos, y si no compras a Jack, lo venderás.>>> nuevo
Janet y Penny fueron a la tienda a comprar un regalo para Jack. Janet dijo: "Le compraré una blusa a Jack". “No le compres a Jack una blusa”, dice Penny. “Tiene un top. Obtendrá su pieza de Jack.>>> nuevo
Janet y Penny fueron a la tienda a comprar un regalo para Jack. Janet dijo: "Le compraré una blusa a Jack". “No le compres a Jack una blusa”, dice Penny. “Tiene un top. El recibirá . Me lo llevo. El siempre esta ahí. Y no venderé. Solo que a diferencia de Jack. No le interesa lo que no le agradaba tanto. No comprará nada más que comprarse a sí mismo.
Experimento 6
. >>>En la fiesta, me serví un vaso de limonada, pero estaba demasiado agria, así que le agregué un poco de azúcar. No había cuchara a mano, así que revolví la bebida con un cigarrillo. Pero resultó ser una muy mala idea porque había estado bebiendo durante mucho tiempo. ¡Qué sabor tan maravilloso!>>> nuevo
En la fiesta, me serví un vaso de limonada, pero estaba demasiado agria, así que le agregué un poco de azúcar. No había cuchara a mano, así que revolví la bebida con un cigarrillo. Pero resultó ser una muy mala idea porque la limonada me impidió beber.>>> nuevo
En la fiesta, me serví un vaso de limonada, pero estaba demasiado agria, así que le agregué un poco de azúcar. No había cuchara a mano, así que revolví la bebida con un cigarrillo. Pero resultó ser una muy mala idea porque hacía demasiado calor, así que comencé a beber de mi garganta.
Experimento # 7
. >>>, . – .* Una pequeña digresión lírica. No me gustó GPT-2 con generación de texto ilimitada (media página a la vez), como estaba en la fuente. Y reduje la salida al mínimo , pero hice posible continuar de forma recursiva (cuando la salida anterior se alimenta a la entrada). Así, hago un poco de trampa , porque Yo mismo determino cuándo puede / debe detenerse. En este caso, la red realmente sacó un resultado que se puede interpretar con cierto estiramiento como una respuesta (aunque paradójica), pero si continuamos con la conclusión, entonces ... Juzga por ti mismo:
1. , . . , , . . .
) .
) .
: 2. )
Respuesta correcta:>>> nuevo
2. A) Todo lo demás NO es necesario saberlo.
3. B) Dependencia.
4. ¿Con qué base quieres beberlo?
… La>>> nuevo
respuesta correcta: son sustancias tóxicas.
... La
respuesta correcta es: "Todo está listo".
Para este sim, todos ...
PD Si la comunidad le dice dónde puede colocar un modelo de 5Gb (para que esté disponible con algo como wget ), agregaré un enlace al cuaderno Colab al artículo y a cualquiera que quiera poder manejar el sistema en vivo ...; ) Y luego, me temo que el "hosting" de mi casa no resistirá el efecto habr. Mientras tanto, puedo probar lo que sucede con su texto como entrada, si alguien está interesado.
ACTUALIZACIÓN: Comunidad representada porGrigorovrespondió, así que aquí está el Bloc de notas prometido ! Ahora puede experimentar usted mismo, comparar con el original (enlace de la publicaciónDesertFlow Red neuronal GPT-2 de OpenAI. Inicio rápido ) y quizás sacar algunas conclusiones. ;) Por ejemplo: ¿importa el idioma a la hora de enseñar el modelo lingüístico?
COMENTARIO DEL AUTOR : Hola,
sí, por supuesto, no me importa, de lo contrario no subiría el modelo aquí.
>>> ¿Importa el idioma a la hora de enseñar un modelo lingüístico?
Por supuesto que sí, noté que los modelos con una pequeña cantidad de parámetros funcionan peor con el idioma ruso. Supongo que esto se debe a la semántica más compleja (menos formalizada) del ruso en comparación con el inglés; Escribí sobre eso en mi artículo. Además, la forma de transmitir los diálogos, aceptada en ruso, cuando cada réplica comienza en una nueva línea y va precedida de un guión, sin especificar a quién pertenecen estas réplicas, no ayuda al modelo a identificar correctamente la estructura del diálogo (y además dificulta el entrenamiento, porque el modelo aprende a estructurar cualquier texto como manera: se observa el mismo efecto cuando cualquier marcado se filtra en los datos de entrenamiento).
Otro punto que me perdí (me pareció obvio): si quieres hacer un ajuste fino de este modelo, entonces necesitas usar ese diccionario de oraciones (sp. *) Que viene con el modelo.
Además, en el entrenamiento de 1250M se utilizaron principalmente noticias, prensa y posterior fanfiction, lo que se refleja en la naturaleza de los resultados.