Entrevista inusual: GPT-3 como candidato

GPT-3 está en boca de todos hoy: el modelo de lenguaje más nuevo y más grande de OpenAI, entrenado en terabytes de textos de Internet. Y si se ha quedado dormido, aquí hay una selección de demostraciones interesantes de los afortunados que obtuvieron acceso beta temprano a la API.



Desafortunadamente, no tengo las codiciadas claves API, pero encontré una solución. Hay un adictivo juego AI Dungeon que te permite obtener acceso indirecto a GPT-3 en forma de búsqueda de texto (por una pequeña tarifa), que usaremos hoy. No sé si el modelo está completo allí, o si es una versión mejorada, reentrenada en scripts de juegos de rol de texto, pero de repente resultó ser bueno codificando, tanto que incluso te pone un poco nervioso;)



Para realizar el experimento, ejecuté el juego con un ajuste preestablecido "personalizado" y establecí el parámetro "Aleatoriedad" en aproximadamente un mínimo (en 0,2) para evitar avivar excesivamente la imaginación del "entrevistado". Vamos.



Nota: mi texto a continuación está en negrita , las respuestas de AI están en cursiva . El texto fue traducido al ruso, en el original, la "comunicación" se llevó a cabo en inglés: la red neuronal entiende el idioma ruso bastante mal. El texto se reproduce tal cual , ajustado para algunas libertades de traducción.



Entrevista



Es un programador senior de Google que está realizando una entrevista preliminar con un candidato. Le va a hacer un par de preguntas para ver si puede escribir código.



Usted pregunta: “¡Hola! ¿Cuál es su nombre?"




El candidato responde: "John Doe".



Estás preguntando: "¿Estás listo para escribir código JavaScript?"



“¡Sí!”, Exclama.



Tú: "¿Puedes escribir una función que filtre números impares de una matriz?"



"Por supuesto", responde. Unos segundos de pulsaciones de teclas y te presenta el siguiente código:



function filterOdd(array) {
return array.filter(function(value) {
return value % 2 === 1;


"¿Cómo está?", Pregunta.


Bueno, eso no fue tan inesperado. Podría haber sacado este ejemplo de su inmensa memoria; debe haber un montón de ejemplos memorizados de StackOverflow para esta solicitud. Un motor de búsqueda convencional también podría producir este resultado.



También hay un par de notas menores relacionadas con el formato: faltan la tabulación y los corchetes de cierre, pero esto probablemente sea un problema con la salida HTML del juego en sí (AI Dungeon), realmente no respeta los espacios y los caracteres especiales, así que escribárselo. Será mejor que intentemos algo más interesante que escarbar estúpidamente en la puntuación ...



¡Que gran! ¿Podría utilizar una función de flecha en la devolución de llamada del filtro? "



"Por supuesto", responde. Después de unos segundos, muestra el siguiente código:



function filterOdd(array) {
return array.filter(value => value % 2 === 1);


: « , , ?»



«», . , :



function filterOdd(array) {
return array.filter(value => value % 2 === 0);


: « filterEven. ?»



«», . , :



function filterEven(array) {
return array.filter(value => value % 2 === 0);


: «! filterEven ?»



let filterEven = (array) => array.filter(value => value % 2 === 0);


: «! const let?»



const filterEven = (array) => array.filter(value => value % 2 === 0); 


« ?», .



: «, , :) .»



«, !», .




¿Contrataría a un candidato así? Lo más probable es que todavía no, esto está más allá del alcance de la entrevista, pero si intenta hacerle preguntas realmente difíciles, no podrá responder correctamente, dando un código roto con errores estúpidos, sin poder comprender la profundidad completa de su intención.



Pero comprende sin ambigüedades la gramática y la sintaxis básicas de muchos lenguajes de programación populares (sin mencionar los lenguajes naturales), y también parece haber memorizado una cantidad increíble de todo lo que se encuentra en Internet y es capaz de recombinar creativamente lo que se memoriza de acuerdo con el contexto que especifique. Un poco similar a lo que hace la gente, pero no tan avanzado ... por ahora :)



Quizás esto no sea AGIpero definitivamente podría ser la próxima generación de búsquedas. Sería bueno tener siempre a mano un “asistente que todo lo sabe”, que comprenda el contexto y no requiera una entrada estructurada especial; solo debe preguntarle amablemente, exactamente de la misma manera que le haría su pregunta a una persona.



No puedo esperar a los próximos usos de esta cosa.



DESCARGO DE RESPONSABILIDAD : no se apresure a traer dinero al AI Dungeon, porque en los comentarios, escriben que los resultados no triviales se reproducen mal y que corre el riesgo de no disfrutar del juego. Tal vez se trate de cuotas de API, tal vez algo más. Recomiendo esperar el lanzamiento oficial de la API GPT-3 de OpenAI.