Ilya Sutskever y la Evolución de la IA
OpenAI, cofundador y antiguo científico jefe, Ilya Sutskever, hizo titulares a principios de este año tras dejar su puesto para iniciar su propio laboratorio de IA llamado Safe Superintelligence Inc. Desde su salida, ha evitado el centro de atención, pero hizo una rara aparición pública en Vancouver el pasado viernes durante la Conferencia sobre Sistemas de Procesamiento de Información Neural (NeurIPS).
El Futuro del Entrenamiento de Modelos de IA
“El pre-entrenamiento tal como lo conocemos, sin duda, llegará a su fin”, dijo Sutskever en el escenario. Esto se refiere a la primera fase del desarrollo de modelos de IA, cuando un modelo de lenguaje grande aprende patrones de vastas cantidades de datos no etiquetados, típicamente texto de Internet, libros y otras fuentes. “Hemos alcanzado el pico de datos y no habrá más”.
Durante su charla en NeurIPS, Sutskever mencionó que, aunque cree que los datos existentes aún pueden impulsar el desarrollo de la IA, la industria está agotando nuevas fuentes de datos para entrenar. Esta dinámica, afirmó, eventualmente forzará un cambio en la forma en que los modelos son entrenados hoy en día. Comparó la situación con los combustibles fósiles: así como el petróleo es un recurso finito, Internet contiene una cantidad finita de contenido generado por humanos.
La Nueva Generación de Modelos de IA
Ilya Sutskever describió los datos como el “combustible fósil” de la IA. Predijo que los modelos de próxima generación “serán agentes de maneras reales”. Aunque Sutskever no los definió durante su charla, comúnmente se entienden como sistemas de IA autónomos que realizan tareas, toman decisiones e interactúan con software por sí solos. También mencionó que, además de ser “agentes”, los futuros sistemas también serán capaces de razonar. A diferencia de la IA actual, que principalmente empareja patrones según lo que un modelo ha visto anteriormente, los sistemas de IA futuros serán capaces de resolver problemas paso a paso de una manera más comparable al pensamiento.
Según Sutskever, “cuanto más razona un sistema, más impredecible se vuelve”. Comparó la imprevisibilidad de los “sistemas que realmente razonan” con cómo las AIs avanzadas que juegan ajedrez “son impredecibles para los mejores jugadores humanos de ajedrez”.
Reflexiones sobre el Futuro de la IA y su Creación
En el escenario, hizo una comparación entre la escala de los sistemas de IA y la biología evolutiva, citando investigaciones que muestran la relación entre la masa del cerebro y del cuerpo a través de especies. Notó que, mientras la mayoría de los mamíferos siguen un patrón de escala, los homínidos (antepasados humanos) muestran una pendiente notablemente diferente en su proporción de masa cerebral a corporal en escalas logarítmicas. Sugirió que, así como la evolución encontró un nuevo patrón de escalado para los cerebros de homínidos, la IA podría descubrir enfoques nuevos más allá de cómo funciona el pre-entrenamiento hoy en día.
Después de que Sutskever concluyó su charla, un miembro de la audiencia le preguntó cómo los investigadores pueden crear los mecanismos de incentivo adecuados para que la humanidad desarrolle la IA de manera que le otorgue “las libertades que tenemos como Homo sapiens”. Sutskever respondió que en cierto sentido esas son las preguntas que las personas deberían reflexionar más. Se tomó un momento antes de afirmar que no se siente “seguro respondiendo preguntas como esta” porque requeriría una “estructura gubernamental de arriba hacia abajo”. Un miembro de la audiencia sugirió la criptomoneda, lo que provocó risas entre otros presentes.
“No siento que sea la persona adecuada para comentar sobre criptomonedas, pero hay una posibilidad de que lo que [estás] describiendo suceda”, dijo Sutskever. “En cierto sentido, no es un mal resultado final si tienes AIs y todo lo que quieren es coexistir con nosotros y también tener derechos. Quizás eso estará bien… creo que las cosas son increíblemente impredecibles. Dudo en comentar, pero animo a la especulación.”
Fuente y créditos: www.theverge.com
Cats:
