Groq, una empresa de chips de inteligencia artificial, quiere que todos se olviden de Elon Musk chatbot sarcástico con casi el mismo nombre, Grok. Las demostraciones ultrarrápidas de Groq se volvieron virales este fin de semana, creando versiones actuales de ChatGPT, Geminis e incluso Grok parece lento. Groq afirma proporcionar “los modelos de idiomas grandes más rápidos del mundo”, y las pruebas de terceros dicen que esa afirmación podría aguantar.
En una fracción de segundo, Groq produce cientos de palabras en una respuesta objetiva, citando fuentes a lo largo del camino, según una demostración publicada en X. En otra demostración, el fundador y CEO Jonathon Ross dejó a El presentador de CNN tiene una conversación verbal en tiempo real con un chatbot de IA al otro lado del mundo en televisión en vivo. Aunque ChatGPT, Gemini y otros chatbots son impresionantes, Groq podría hacerlos ultrarrápidos. Lo suficientemente rápidos para tener casos de uso prácticos el mundo real.
Groq crea chips de IA llamados Unidades de procesamiento de lenguaje (LPU), que afirman ser más rápidos que las Unidades de procesamiento de gráficos (GPU) de Nvidia. generalmente se consideran el estándar de la industria para ejecutar modelos de IA, pero los primeros resultados muestran que las LPU podrían sacarlos del agua.
Groq es un “motor de inferencia”, no un chatbot como ChatGPT, Gemini o Grow. Ayuda a que estos chatbots funcionen increíblemente rápido, pero no no reemplazarlos por completo. En el sitio web de Groq, puedes probar diferentes chatbots y vea qué rápido se ejecutan usando las LPU de Groq.
Groq produce 247 tokens/segundo en comparación con los 18 tokens/segundo de Microsoft, según un prueba de terceros de Análisis Artificial publicado la semana pasada. Eso significa que ChatGPT podría ejecutarse más de 13 veces más rápido si se ejecutara en los chips de Groq.
Los chatbots de IA como ChatGPT, Gemini y Grok podrían ser significativamente más útiles si fueran más rápidos. Una limitación actual es que estos modelos pueden No se mantiene al día con el habla humana en tiempo real; algunos retrasos hacen que las conversaciones parezcan robóticas. Google recientemente falsificó su demo de Gemini para hacer que parezca que Géminis podría tener una conversación multimodal en tiempo real, aunque no pueda. Pero con el aumento de Grok velocidades, ese vídeo podría ser una realidad.
Antes de Groq, Ross cofundó la división de chips de IA de Google, que producía chips de última generación para entrenar modelos de IA. Con LPU, dice Ross. evita dos cuellos de botella de LLM en los que las GPU y las CPU se atascan: densidad de cómputo y ancho de banda de memoria.
El nombre Grok viene de Extraño en una tierra extraña, un libro de ciencia ficción escrito en 1961 por Robert Heinlein. La palabra significa “comprender profunda e intuitivamente”. Esa es la razón por la que tantas IA Las empresas lo utilizan para describir sus productos de IA.
No sólo está el Groq de Ross y el Grok de Elon Musk, sino que también hay un Empresa de TI habilitada por IA llamada Grok. Grimes también tiene un Juguete impulsado por IA, Grok, supuestamente lleva el nombre de la forma en que ella y los hijos de Musk dicen “Grocket”. Sin embargo, Ross afirma que su Groq fue el primero en 2016.
“Bienvenido a la Galaxia de Groq, Elon», dijo un noviembre publicación de blog de Ross, tres días después de que Elon Musk lanzara la versión xAI de Grok. “Verás, soy el fundador y director ejecutivo de la empresa llamado Groq™”, dijo Ross, asegurándose de incluir que Groq es un nombre de marca registrada.
Si bien Groq está recibiendo muchos rumores, queda por ver si sus chips de IA tienen la misma escalabilidad que las GPU de Nvidia o Los TPU de Google. Los chips de IA son un foco importante para el CEO de OpenAI, Sam Altman, en estos días, quien incluso está considerando construirlos él mismo. Groq El aumento de las velocidades de los chips podría impulsar el mundo de la IA, creando nuevas posibilidades de comunicación en tiempo real con chatbots de IA.
Este contenido ha sido traducido automáticamente del material original. Debido a los matices de la traducción automática, pueden existir ligeras diferencias. Para la versión original, haga clic aquí.