Hugging Face compromete 10 millones de dólares en GPU compartidas gratuitas

Hugging Face, uno de los nombres más importantes del aprendizaje automático, está comprometiendo 10 millones de dólares en GPU compartidas gratuitas para ayudar a los desarrolladores a crear nuevas tecnologías de inteligencia artificial. El objetivo es ayudar a los pequeños desarrolladores, académicos y nuevas empresas a contrarrestar la centralización de los avances de la IA.

“Somos afortunados de estar en una posición en la que podemos invertir en la comunidad”, dijo Clem Delangue, director ejecutivo de Hugging Face. El borde. Delangue dijo que la inversión fue posible porque Hugging Face es “rentable, o casi rentable” y recientemente recaudó 235 millones de dólares en financiación, valorando la empresa en 4.500 millones de dólares.

A Delangue le preocupa la capacidad de las nuevas empresas de inteligencia artificial para competir con los gigantes tecnológicos. Los avances más significativos en inteligencia artificial (como GPT-4, los algoritmos detrás de la Búsqueda de Google y el sistema de conducción autónoma total de Tesla) permanecen ocultos dentro de los confines de las grandes empresas tecnológicas. Estas empresas no sólo están incentivadas financieramente para mantener sus modelos patentados, sino que con miles de millones de dólares a su disposición para recursos informáticos, pueden aumentar esas ganancias y adelantarse a sus competidores, lo que dificulta que las nuevas empresas sigan el ritmo.

“Si terminas con unas pocas organizaciones que son demasiado dominantes, será más difícil luchar contra ellas más adelante. »

Hugging Face tiene como objetivo hacer que las tecnologías de inteligencia artificial de vanguardia sean accesibles para todos, no solo para los gigantes tecnológicos. Hablé con Delangue en Google I/O, la conferencia insignia del gigante tecnológico, donde los ejecutivos de Google revelaron numerosas funciones de inteligencia artificial para sus productos patentados e incluso una familia de modelos de código abierto llamada Gemma. Para Delangue, el enfoque propietario no es el futuro que imagina.

“Si se opta por el código abierto, se avanza hacia un mundo en el que la mayoría de las empresas, organizaciones, organizaciones sin fines de lucro, formuladores de políticas y reguladores también pueden utilizar IA. Entonces, una forma mucho más descentralizada sin demasiada concentración de poder, lo que creo que es un mundo mejor”, dijo Delangue.

Cómo funciona

El acceso a la computación plantea un desafío importante en la construcción de grandes modelos de lenguaje, lo que a menudo favorece a empresas como OpenAI y Anthropic, que llegan a acuerdos con proveedores de nube para obtener importantes recursos informáticos. Hugging Face tiene como objetivo nivelar el campo de juego donando estas GPU compartidas a la comunidad a través de un nuevo programa llamado ZeroGPU.

Las GPU compartidas son accesibles para múltiples usuarios o aplicaciones simultáneamente, lo que elimina la necesidad de que cada usuario o aplicación tenga una GPU dedicada. ZeroGPU estará disponible a través de Hugging Face's Spaces, una plataforma de alojamiento para publicar aplicaciones, que hasta ahora cuenta con más de 300.000 demostraciones de IA creadas en CPU o GPU pagas, según la compañía.

“Es muy difícil obtener suficientes GPU de los principales proveedores de nube”

El acceso a las GPU compartidas está determinado por el uso, por lo que si parte de la capacidad de la GPU no se utiliza activamente, esa capacidad queda disponible para que la utilice otra persona. Esto los hace rentables, energéticamente eficientes e ideales para uso en toda la comunidad. ZeroGPU utiliza dispositivos GPU Nvidia A100 para impulsar esta operación, que ofrecen aproximadamente la mitad de la velocidad de cálculo H100 populares y más caros.

“Es muy difícil obtener suficientes GPU de los principales proveedores de nube, y la forma de obtenerlas, lo que crea una alta barrera de entrada, es comprometerse con cantidades muy grandes durante largos períodos de tiempo”, dijo Delangue.

Normalmente, una empresa contrata a un proveedor de nube como Amazon Web Services por uno o más años para asegurar los recursos de GPU. Este acuerdo pone en desventaja a las pequeñas empresas, los desarrolladores independientes y los académicos que construyen a pequeña escala y no pueden predecir si sus proyectos ganarán fuerza. Independientemente del uso, todavía tienen que pagar por las GPU.

“También es una pesadilla de predicción saber cuántas GPU y qué tipo de presupuesto se necesita”, dijo Delangue.

La IA de código abierto se está poniendo al día

A medida que la IA avanza rápidamente a puerta cerrada, el objetivo de Hugging Face es capacitar a las personas para que creen más tecnología de IA al aire libre.

“Si terminas con unas pocas organizaciones que son demasiado dominantes, será más difícil luchar contra ellas más adelante”, dijo Delangue.

Andrew Reed, ingeniero de aprendizaje automático de Hugging Face, Incluso lancé una aplicación. que visualiza la progresión de los LLM propietarios y de código abierto a lo largo del tiempo, como lo señala el Arena de chatbots LMSYSlo que muestra la brecha entre los dos que se unen.

Más de 35.000 variaciones del modelo Llama AI de código abierto de Meta se han compartido en Hugging Face desde el primer lanzamiento de Meta hace un año, que van desde “modelos cuantizados y fusionados hasta biología especializada y modelos en mandarín”, según la compañía.

“La IA no debería estar en manos de unos pocos. Con este compromiso con los desarrolladores de código abierto, estamos ansiosos por ver qué preparan todos a continuación con un espíritu de colaboración y transparencia”, dijo Delangue en un comunicado de prensa.

[colabot4]

Leave a Comment