OpenAI, fundada por Elon Musk hace unos años, lanzó un nuevo algoritmo de red neuronal, GPT-3, en junio. Hoy en día es el sistema más avanzado que puede trabajar con lenguajes naturales.
Sus capacidades son simplemente colosales. Con GPT-3, puede crear cualquier tipo de información textual, incluidos textos técnicos complejos. Por ejemplo, cuando a las redes neuronales se les asignó la tarea de escribir un texto sobre sí mismas, ella creó un artículo con el fuerte título "GPT-3 de OpenAI puede ser el mayor descubrimiento después de Bitcoin" .
Pero, ¿puede una red neuronal no solo compilar palabras, imitando a una persona, sino crear textos con significado? ¿Poemas, cuentos o incluso novelas que serán interesantes de leer? Vamos a averiguarlo.
GPT-3: un algoritmo de red neuronal que es un orden de magnitud por delante de todos los existentes
GPT-3 es el modelo de lenguaje más complejo jamás creado por el hombre.
Funciona con la probabilidad de una determinada secuencia de palabras. GPT-3 se diferencia de los modelos anteriores en escala.
Utiliza 175 mil millones de parámetros para generar texto y ha sido entrenado en más de 1,5 billones de palabras. Además, los textos para la formación se utilizaron de diversas formas: desde publicaciones en foros hasta literatura clásica.
El sistema intenta predecir el texto basándose en los bloques de texto más probables. El usuario solo necesita establecer algún punto de referencia desde el cual comenzará la red neuronal.
Cuanto mejor comprenda el sistema el contexto de la solicitud, más precisa será la respuesta.
Uno tiene la impresión de que la red neuronal realmente puede comprender los lenguajes naturales.
Sharif Shameem, cofundador y director ejecutivo del proyecto Debuild.co, publicó en su cuenta de Twitter los resultados de probar varias capacidades de la red neuronal. Y son realmente impresionantes.
En el video, puede ver que Sharif escribió un texto simple en la línea de entrada, como si le explicara al diseñador o desarrollador lo que necesitaba. Y el sistema lo interpretó y devolvió el resultado.
Me divirtió especialmente el "botón similar a una sandía".
, , ?
: .
vs. :
Los textos de una red neuronal prácticamente no difieren de los textos humanos. Liam Porr, un estudiante de Berkeley, realizó un experimento y publicó artículos generados por GPT-3 en su blog en Adolos durante dos semanas.
26.000 personas leyeron artículos de motivación de la red neuronal. Y, como dice Liam, solo uno de ellos adivinó que la letra en realidad no fue escrita por una persona, sino por una máquina. Pero incluso este comentario fue pensado por otros lectores:
si lees los artículos en sí, tienes la impresión de que en realidad fueron escritos por algún entrenador o entrenador motivacional. Estilo y frases apropiados, estructura de texto adecuada. A veces, las oraciones o frases individuales no parecen demasiado naturales, pero esto no delata a la máquina. Después de todo, una persona comete errores menores.
Esta es una de las razones por las que GPT-3 no se libera al dominio público. Para obtener acceso a la API de OpenAI, debe completar una solicitud que indique exactamente para qué planea usar la red neuronal.
Incluso en la etapa de creación de GPT-2, la versión anterior del algoritmo, los desarrolladores se dieron cuenta del peligro potencial, porque el sistema puede convertirse en un instrumento de guerra de información. Una red neuronal de este tipo es capaz de generar noticias falsas a un ritmo increíble. Si utiliza sus capacidades en detrimento, Internet simplemente quedará enterrado bajo contenido falso.
Es por eso que planean venderlo a una empresa de suscripción en el futuro. Pero no para todos, sino solo para aquellos que demuestren que planean utilizarlo "con fines pacíficos".
Red neuronal, libros de ficción y poesía
La red neuronal puede rivalizar con los autores de noticias en los medios de comunicación o artículos técnicos, pero el proceso de creación de una novela o poesía es mucho más complicado. Incluso los principios básicos de la escritura de ficción son diferentes de los técnicos. Es posible enseñar a una red neuronal a seleccionar rimas y seguir el ritmo sin ningún problema, pero con muchos significados, las máquinas aún están obsoletas.
Existe una red neuronal rusa "Porfirevich" basada en el algoritmo GTP-2. Ella "sabe" ruso y está entrenada no solo en prosa, sino también en poesía. Puedes consultar el trabajo en el bot de Telegram "Neuropoet" . Solo necesita escribir la primera línea o varias, y el sistema hará el resto. Lo comprobamos, resultó regular.
La red neuronal convirtió la primera línea de Pushkin en un conjunto de texto incomprensible, en el que se adivinan motivos militares. Y si las imágenes individuales pueden considerarse exitosas ("El roble pide el pan de la primavera" o "Las flores otoñales de la primavera"), otras provocan una palmada en la cara.
Se puede establecer una analogía con la teoría de los monos sin fin que, al presionar teclas al azar en una máquina de escribir durante un período de tiempo indefinidamente largo, tarde o temprano escribirán "Guerra y paz".
La red neuronal aquí actúa como un mono, que, en lugar de letras individuales, recopila palabras e imágenes, pero la mayoría de ellas resultan ser aleatorias.
De hecho, muchos desarrolladores han creado generadores de poesía basados en GPT-2. Por ejemplo, aquí hay una variante de un generador de letras en inglés que usa una base de datos liviana de 13,000 versos.
También generó algo poco inteligible: en
cuanto a los libros de ficción, la situación es aún peor. Esto era de esperar, porque una red neuronal no sabe cómo construir una trama y no sabe qué es una trama o un clímax. Pero a partir de algunos experimentos, se obtiene un juego tan seleccionado que uno solo puede sorprenderse.
¿Qué te parece algo como la ficción porno bíblica? Desarrolladores desconocidos han publicado un ensayo titulado "La Biblia erótica naranja".... Fue creado por una red neuronal basada en el mismo GPT-2, pero lo entrenaron en novelas e historias eróticas, y luego dieron extractos de la Biblia como punto de partida para la generación. La historia resultó ser larga: más de 60.000 palabras. Y el resultado es sorprendente, por decirlo suavemente.
Aquí hay una pequeña parte de la historia. Y no, no lo traduciremos.
Incluso hay una tienda en línea de libros escritos por IA . Parece bastante espeluznante. Porque las cubiertas de los libros también están hechas a máquina.
Es cierto que sus creadores admitieron que vendieron solo 19 copias de los libros. Si su calidad se parece incluso más o menos a la "Biblia naranja", entonces no nos sorprende en absoluto. Los escritores pueden dormir bien por ahora.
¿O no?
Todos los ejemplos anteriores eran solo sobre GPT-2, y eran regulares.
Pero ya existe un poeta de redes neuronales basado en el algoritmo GPT-3. Y muestra algunos resultados bastante interesantes.
Una red neuronal puede escribir poesía con un estilo determinado y sobre un tema determinado. Arram Sabeti, CEO del proyecto ZeroCater, ya realizó un experimento en el que generó consultas de redes neuronales preguntando sobre verso y estilo. La máquina hizo el resto.
Aquí está una de las solicitudes:
Aquí hay un poema del Dr. Seuss sobre Elon Musk lanzando cohetes con SpaceX, construyendo autos eléctricos en Tesla, vendiendo lanzallamas, saliendo con Grimes, luchando contra la SEC, aplastando a los vendedores en corto, construyendo chips cerebrales para luchar contra la IA y colonizando Marte, y tuiteando a todas horas del día y de la noche. ... Musk quiere que los humanos sean interplanetarios para evitar la extinción. El poema rima cada dos líneas con una estructura ABAB. La estructura de la rima es típica del Dr. Canciones infantiles de Seuss.
El verso resultó divertido. Cierto. A pesar de las obvias inexactitudes en el ritmo y las jambas con rimas, tiene sentido. Es largo, por lo que solo incluiremos una parte aquí.
Elon Musk
By Dr. Seuss
Once there was a man
who really was a Musk.
He liked to build robots
and rocket ships and such.
He said, “I’m building a car
that’s electric and cool.
I’ll bet it outsells those
Gasoline-burning clunkers soon!”
They sell cool cars
that are electric and clean.
And then he wanted to go
even farther, you see.
The first Tesla, Roadster,
Was just the start of a bigger dream.
He said, “I’m building a plane
that’s electric and green”.
El progreso en comparación con la versión anterior del algoritmo es asombroso. Esta no es una colección de frases incoherentes, sino un poema bastante bueno en estructura. Sí, el ideal todavía está lejos, las rimas son bastante débiles y el ritmo es cojo, pero ya en esta etapa uno está muy sorprendido de que la máquina lo haya ideado.
Algunas imágenes y frases son simplemente hermosas. Por ejemplo, "carcasas que queman gasolina" - "carcasas de gasolina". Si no sabes que fue escrito por una máquina, entonces podrías pensar que esta es la creación de un colegial que decidió escribir un poema sobre su ídolo.
Y maldita sea, eso es genial.
Puede leer la versión completa del verso y otras creaciones de la red neuronal aquí .
***
Hay muy pocos experimentos con GPT-3 en términos de escribir poesía o historias de ficción, por lo que debe contentarse solo con esto. Pero si la red neuronal ha avanzado tanto en la creación de textos significativos, es muy posible que pronto sea capaz de escribir obras de arte bastante legibles.
Quizás no sea GPT-3, sino algo de GPT-4 o incluso GPT-5, pero la dinámica del desarrollo está claramente ahí. Ahora la red neuronal puede escribir artículos técnicos, noticias, cuentos o poesía.
Y con el mayor desarrollo de algoritmos, la calidad de los textos generados solo crecerá. Entonces sí, la IA puede escribir como un humano. Hasta ahora, a nivel de estudiante, pero veamos cómo será en 10-20 años. ¿Y, qué piensas?
Escuela en línea EnglishDom.com - inspiramos a aprender inglés a través de la tecnología y el cuidado humano
¡Solo para los lectores de Habr, la primera lección con un profesor en Skype es gratuita ! ¡Y cuando compres clases, recibirás hasta 3 lecciones gratis!
Obtenga un mes completo de suscripción premium a ED Words como regalo .
Ingrese el código de promoción neurowriter en esta página o directamente en la aplicación ED Words . El código de promoción es válido hasta el 29/09/2021.
Nuestros productos:
- Aprenda palabras en inglés en la aplicación móvil ED Words
- Aprenda inglés de la A a la Z en la aplicación móvil ED Courses
- Instale la extensión para Google Chrome, traduzca palabras en inglés en Internet y agréguelas para estudiar en la aplicación Ed Words
- Aprende inglés de forma lúdica en el simulador online
- Fortalezca sus habilidades para hablar y encuentre amigos en clubes de conversación
- YouTube- EnglishDom