Los próximos modelos Llama de Meta se están entrenando en un clúster de GPU “más grande que cualquier otro”

Meta’s Next Llama AI Models Are Training on a GPU Cluster ‘Bigger Than Anything’ Else

Desafíos de energía en el desarrollo de Llama 4

Gestionar una vasta cantidad de chips para desarrollar Llama 4 presenta desafíos únicos de ingeniería y requiere grandes cantidades de energía. Los ejecutivos de Meta el miércoles esquivaron una pregunta de un analista sobre las limitaciones de acceso a energía en partes de EE. UU. que han obstaculizado los esfuerzos de las empresas para desarrollar IA más potente. Según una estimación, un clúster de 100,000 chips H100 necesitaría 150 megavatios de energía. En contraste, el superordenador de laboratorios nacionales más grande de los Estados Unidos, El Capitan, requiere 30 megavatios de energía. Meta espera gastar hasta 40 mil millones de dólares en capital este año para proporcionar centros de datos y otra infraestructura, un aumento de más del 42 por ciento respecto a 2023. La compañía espera un crecimiento aún más acelerado en ese gasto el próximo año.

Crecimiento y costos operativos de Meta

Los costos operativos totales de Meta han crecido alrededor del 9 por ciento este año. Sin embargo, las ventas generales—en gran parte por publicidad—han aumentado más del 22 por ciento, lo que deja a la empresa con márgenes más altos y mayores ganancias, incluso mientras invierte miles de millones de dólares en los esfuerzos de Llama. Mientras tanto, OpenAI, considerado el líder actual en el desarrollo de IA de vanguardia, está quemando efectivo a pesar de cobrar a los desarrolladores por el acceso a sus modelos. Lo que por ahora sigue siendo una empresa sin fines de lucro ha dicho que está entrenando GPT-5, un sucesor del modelo que actualmente alimenta ChatGPT. OpenAI ha indicado que GPT-5 será más grande que su predecesor, pero no ha mencionado nada sobre el clúster de computadoras que está utilizando para el entrenamiento. OpenAI también ha declarado que, además de la escala, GPT-5 incorporará otras innovaciones, incluido un enfoque recientemente desarrollado para el razonamiento.

Proyectos futuros de OpenAI y preocupaciones sobre IA

El CEO Sam Altman ha afirmado que GPT-5 será “un salto significativo hacia adelante” en comparación con su predecesor. La semana pasada, Altman respondió a un informe de noticias que afirmaba que el próximo modelo frontera de OpenAI sería lanzado en diciembre, escribiendo en X, “noticias falsas fuera de control”. El martes, el CEO de Google, Sundar Pichai, dijo que la versión más nueva de la familia de modelos generativos Gemini está en desarrollo. El enfoque abierto de Meta hacia la IA ha demostrado ser controvertido en ocasiones. Algunos expertos en IA temen que la disponibilidad gratuita de modelos de IA significativamente más potentes pueda ser peligrosa, ya que podría ayudar a los delincuentes a lanzar ciberataques o automatizar el diseño de armas químicas o biológicas. Aunque Llama se afina antes de su lanzamiento para restringir comportamientos inapropiados, es relativamente trivial eliminar estas restricciones.

Visión de Zuckerberg sobre la estrategia de código abierto

Zuckerberg se mantiene optimista sobre la estrategia de código abierto, incluso mientras Google y OpenAI impulsan sistemas propietarios. “Me parece bastante claro que el código abierto será la opción más rentable, personalizable, confiable, de alto rendimiento y fácil de usar disponible para los desarrolladores”, dijo el miércoles. “Y estoy orgulloso de que Llama esté liderando el camino en esto.” Zuckerberg agregó que las nuevas capacidades de Llama 4 deberían poder potenciar una gama más amplia de funciones a través de los servicios de Meta. Hoy, la oferta insignia basada en modelos Llama es el chatbot similar a ChatGPT conocido como Meta AI, que está disponible en Facebook, Instagram, WhatsApp y otras aplicaciones.

Más de 500 millones de personas utilizan Meta AI mensualmente, dijo Zuckerberg. Con el tiempo, Meta espera generar ingresos a través de anuncios en la función. “Habrá un conjunto ampliado de consultas para las que la gente lo utilizará, y las oportunidades de monetización existirán con el tiempo a medida que lleguemos allí,” dijo la CFO de Meta, Susan Li, en la llamada del miércoles. Con el potencial de ingresos por anuncios, Meta podría lograr subsidiar Llama para todos los demás.

Fuente y créditos: www.wired.com

Cats: Business

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *


Mi resumen de noticias

WhatsApp