Noam Chomsky sobre el futuro del aprendizaje profundo

Durante las últimas semanas, he estado en un correo electrónico con mi anarcosindicalista favorito, Noam Chomsky. Primero me acerqué a él para preguntarle si sus desarrollos recientes en las ANN (redes neuronales artificiales) lo habían obligado a repensar su famosa teoría lingüística de la gramática universal. Nuestra conversación abordó las posibles limitaciones del aprendizaje profundo, qué tan bien ANN realmente modela un cerebro biológico y también discutió temas filosóficos. No citaré al profesor Chomsky directamente aquí, ya que nuestra discusión fue informal, pero intentaré resumir los hallazgos clave.



Y, por cierto, ayer, 7 de diciembre, ¡Noam Chomsky cumplió 92 años!





kf "Capitán fantástico"




Un poco sobre Noam Chomsky



Noam Chomsky es principalmente profesor de lingüística (muchos lo llaman "el padre de la lingüística moderna"), pero probablemente sea más conocido fuera del mundo académico como activista, filósofo e historiador. Chomsky es autor de más de 100 libros y es reconocido como el intelectual público líder en el mundo en una encuesta de 2005 de Foreign Policy and Prospect .



Admiro el trabajo de Chomsky, especialmente su crítica al imperialismo estadounidense, el neoliberalismo y los medios de comunicación. Donde nuestras opiniones divergieron un poco fue con respecto a su rechazo a los filósofos continentales (especialmente a los postestructuralistas franceses). Puede que me haya contaminado al tomar prestado demasiado de las fuentes de Foucault, Lacan y Derrida en mi temprana edad adulta, pero siempre he encontrado el enfoque analítico de Chomsky de la filosofía moralmente atractivo, pero un poco "refinado" para una explicación satisfactoria de nuestro mundo. Si bien su desdén por estas luminarias posestructurales es sorprendente, las opiniones filosóficas de Chomsky son más sutiles de lo que creen sus detractores.



Gramática universal



Debo decir de inmediato que no soy lingüista, pero en esta parte del artículo intentaré dar una visión general de la teoría de la gramática universal. Antes de Chomsky, la hipótesis predominante en lingüística era que los humanos nacen con una mente tabula rasa y adquieren el lenguaje a través del refuerzo. Es decir, los niños escuchan lo que dicen sus padres, imitan lo que han escuchado, y cuando usan la palabra correctamente o construyen una oración, son elogiados. Chomsky demostró que el refuerzo es solo una parte del proceso y que debe haber estructuras universales innatas en el cerebro humano para facilitar la adquisición del lenguaje. Sus principales argumentos fueron:



  1. Los niños aprenden el lenguaje demasiado rápido y hay muy pocos datos para explicar esto mediante el aprendizaje reforzado (un argumento conocido como “pobreza de incentivos”).

  2. , , . 1960- , , 10 , .

  3. . , , .

  4. . , , , , .



Esta teoría de la capacidad del lenguaje codificado genéticamente ganó una amplia aceptación en la comunidad científica, pero la pregunta obvia era: "¿Cómo es esta gramática universal?" Pronto, valientes exploradores comenzaron a descubrir las propiedades comunes de todos los lenguajes humanos, pero todavía no hay consenso sobre qué forma tienen nuestras habilidades lingüísticas innatas. Es seguro asumir que una gramática universal no consta de reglas sintácticas específicas, pero es muy probable que sea una función cognitiva fundamental.



Chomsky postuló que en algún momento de la historia, los humanos desarrollaron la capacidad de realizar un simple proceso recursivo llamado "fusión", un proceso responsable de las propiedades y limitaciones de las estructuras sintácticas en los lenguajes humanos. Es un poco abstracto (y demasiado complicado para hacerlo bien), pero esencialmente "fusionar" es el proceso de tomar dos objetos y combinarlos para formar un nuevo objeto. A pesar de la aparente naturaleza prosaica, la capacidad de combinar mentalmente conceptos y hacerlo de forma recursiva es engañosa y nos permite crear "una variedad infinita de expresiones estructuradas jerárquicamente". Este pequeño pero decisivo salto genético puede no solo explicar nuestra capacidad para comunicarnos verbalmente, sino también conducir aque él puede ser responsable (al menos en parte) de nuestros talentos matemáticos y creatividad humana en un sentido más amplio. Esta mutación de "fusión", que ocurrió en uno de nuestros antepasados ​​hace unos 100.000 años, puede ser una de las cosas clave que separan a los humanos de otros animales.



Red neuronal artificial



La razón principal por la que me puse en contacto con el profesor Chomsky fue la siguiente: quería escuchar sus puntos de vista sobre las redes neuronales artificiales (sé mucho más sobre ellas que sobre lingüística). ANN es un subconjunto de modelos de aprendizaje automático que se basan en el cerebro humano y aprenden de manera similar: observando muchos ejemplos. Estos modelos requieren muy poco código y pueden realizar una amplia gama de tareas complejas (por ejemplo, etiquetado de imágenes, reconocimiento de voz, generación de texto ) con una arquitectura relativamente simple. Un ejemplo instructivo de este enfoque es el modelo AlphaGo .(desarrollado por Google), que aprendió a jugar Go (un juego de mesa difícil y problemático) y finalmente se volvió invencible para los campeones mundiales humanos. Lo más impresionante de esto es que fue entrenada para jugar sin reglas rígidas ni intervención humana, es decir, el modelo era "tabula rasa". Si bien ANN ciertamente no es una analogía perfecta del cerebro humano, le pregunté al profesor si las ANN dicen que realmente no necesitamos estructuras cognitivas codificadas para aprender de datos dispersos.







Chomsky señaló correctamente que las RNA son útiles para tareas altamente especializadas, pero estas tareas deberían estar muy limitadas (aunque su volumen puede parecer enorme dada la memoria y la velocidad de las computadoras modernas). Comparó a ANN con una enorme grúa que trabaja en un edificio de gran altura; aunque tal trabajo es ciertamente impresionante, tanto el edificio como la grúa existen en sistemas de límites fijos. Esta línea de razonamiento es consistente con mi observación de que todos los avances en el aprendizaje profundo que he observado se han producido en áreas muy específicas, y no parece que nos acerquemos a nada parecido en la inteligencia artificial generalizada (sea lo que sea que eso signifique). Chomsky también señaló la creciente evidencia de que las ANN no pueden modelar con precisión las habilidades cognitivas humanas, que son comparativamente ricas enque los sistemas informáticos involucrados pueden extenderse incluso al nivel celular.



Si Chomsky tiene razón (y creo que lo tiene), ¿cuáles son las implicaciones de avanzar en la investigación del aprendizaje profundo? Después de todo, no hay nada mágico en el cerebro humano. Es solo una estructura física formada por átomos y, por lo tanto, es bastante racional creer que en algún momento en el futuro seremos capaces de crear una versión artificial del cerebro capaz de inteligencia generalizada. Dicho esto, las ANN modernas solo ofrecen un simulacro de este tipo de cognición y, según la lógica de Chomsky, no alcanzaremos esta próxima frontera sin antes profundizar nuestra comprensión de cómo funcionan las redes neuronales orgánicas.



Relativismo moral







La aplicación ética de la IA es un problema importante en los científicos de datos de hoy, pero a veces puede parecer vaga y subjetiva en otra área específica. El trabajo de Chomsky no solo proporciona una perspectiva técnica única sobre el futuro del aprendizaje profundo; La gramática universal también tiene profundas implicaciones morales, ya que el lenguaje es la forma en que hablamos del mundo y lo interpretamos. Por ejemplo, Chomsky cree que las estructuras neuronales innatas antes mencionadas excluyen el relativismo moral y que debe haber restricciones morales universales. Hay muchas variedades diferentes de relativismo moral, pero el principio básico es que no puede haber una base objetiva para las definiciones éticas. Los relativistas morales sostienen que si bien podemos creer profundamente en declaraciones como "la esclavitud es inmoral"no tenemos una manera empírica de demostrar esto a quienes no están de acuerdo con nosotros, ya que cualquier evidencia se basará necesariamente en juicios de valor, y nuestros valores son, en última instancia, exógenos y están determinados por la cultura y la experiencia.



Chomsky sostiene que la moralidad se manifiesta en el cerebro y es, por tanto, por definición, un sistema biológico. Todos los sistemas biológicos tienen variaciones (naturales y debidas a diferentes estímulos), pero estas variaciones también tienen límites. Considere el sistema visual humano: los experimentos han demostrado que tiene cierta plasticidad y está formado por la experiencia (especialmente en la primera infancia). Al variar los datos que ingresan al sistema visual humano, uno puede literalmente cambiar la distribución de los receptores y así cambiar la forma en que una persona percibe las líneas horizontales y verticales. Lo que no puede hacer es convertir el ojo humano en un ojo de insecto o dejar que alguien vea los rayos X. Según Chomsky, los sistemas biológicos (incluida la moral) pueden variar ampliamente, pero no infinitamente.Continúa diciendo que incluso si crees que nuestra moralidad proviene completamente de la cultura, aún necesitas adquirir esa cultura de la misma manera que adquieres cualquier sistema (como resultado de estructuras cognitivas innatas que son universales).



Mi primera adición a lo que se ha dicho en este artículo es la siguiente: si asumimos que la moralidad es simplemente una consecuencia de la "fusión" (o algo igualmente primitivo), entonces, si bien esto puede imponer límites teóricos, mi comprensión intuitiva es que que nuestra moral puede cambiar de manera tan salvaje que es casi imposible hacer juicios universales. Chomsky ha debatido en el pasado cómo el progreso moral parece seguir ciertas tendencias (por ejemplo, aceptar las diferencias, rechazar la opresión, etc.), pero lucho por comprender cómo estas tendencias generales emergerán consistentemente de estructuras cognitivas atómicas tan simples. Cuando hablé con el profesor sobre esto, argumentó que esta visión es ilusoria y que cuando no entendemos las cosas, parecen ser más variadas y complejas.de lo que realmente es. Dio un ejemplo de la desviación observada en los esqueletos de los cuerpos de los animales después de la explosión del Cámbrico. Hace apenas 60 años, la opinión predominante en biología era que los organismos cambian tanto que cada uno de ellos debe ser estudiado individualmente, pero ahora sabemos que esto es completamente incorrecto y que las diferencias genéticas entre especies son bastante pequeñas. Las variaciones en los sistemas comprados complejos deberían ser mínimas, de lo contrario no podríamos adquirirlos.Las variaciones en los sistemas comprados complejos deberían ser mínimas, de lo contrario no podríamos adquirirlos.Las variaciones en los sistemas comprados complejos deberían ser mínimas, de lo contrario no podríamos adquirirlos.



imagen






No olvide el código de promoción HABR , que agrega un 10% al descuento en el banner.








All Articles