Escribiendo a una velocidad de 1.000 palabras por segundo

Mistral se enfrenta a gigantes en el sector, pero no se da por vencido. Ayer lanzó una actualización para su chatbot, le Chat, disponible ahora en iOS y Android, además de una versión de pago con capacidades avanzadas de inteligencia artificial. Su plataforma, accesible en chat.mistral.ai, se vuelve más completa y versátil, destacando una ventaja notable sobre sus rivales: su velocidad.

Un chatbot que alcanza las 1.000 palabras por segundo. Aunque los líderes de Mistral no afirman que sus respuestas sean más precisas o superiores, sí aseguran que «le Chat razona, reacciona y responde más rápido que cualquier otro asistente de chat, pudiendo llegar a aproximadamente 1.000 palabras por segundo».

Flash Answers. Así se denomina esta característica de le Chat, la cual está impulsada por los modelos más eficientes y de menor latencia de Mistral, junto con «los motores de inferencia más veloces del mundo». Esta función ha sido lanzada en versión preliminar para todos los usuarios, quienes pueden optar por desactivarla si así lo desean.

Primera prueba. Para comprobar la rapidez de le Chat, realizamos una comparación con ChatGPT y Claude, dos de los chatbots más reconocidos actualmente. Les preguntamos «¿Qué es Xataka?» para evaluar sus respuestas. Claude brindó la contestación más extensa, pero con varios errores. Le Chat respondió de forma veloz y breve, no obstante, erró al mencionar que Weblogs SL fue adquirida por Webedia hace años. ChatGPT fue el más acertado en su descripción.

Segunda prueba. Si queremos evaluar la rapidez en la generación de texto de estos chatbots, lo mejor es pedir que escriban extensamente. Solicitamos 10 párrafos sobre la situación de los aranceles en EEUU. Le Chat fue el más rápido generando el texto de manera estructurada, actual y con citas. La respuesta de Claude, aunque relevante, se enfocó más en medidas anteriores del gobierno de Joe Biden y no incluyó citas. ChatGPT tardó más, pero su respuesta fue adecuada y con referencias.

Tercera prueba. Finalmente, quisimos evaluar la calidad de la traducción de español a inglés para ver si afectaba a la velocidad. Les pasamos un enlace a un artículo reciente sobre Google y pedimos a los tres chatbots que lo tradujeran. Claude se disculpó indicando que no podía acceder a internet, aunque sugirió que podríamos copiar el texto. Le Chat nuevamente fue el más rápido, aunque su velocidad disminuyó ligeramente en la traducción. Tanto este modelo como ChatGPT realizaron traducciones aceptables, aunque muy fieles al texto original. Sin embargo, se les puede solicitar una traducción más libre si se desea.

Le Chat se destaca por su rapidez (y su precisión no es nada despreciable). El modelo de Mistral ha demostrado ser competitivo tanto en la precisión como en la calidad de sus respuestas, algo prometedor para las aspiraciones de la startup francesa. Lo más notable es su rapidez en la inferencia y generación de texto (aunque esto no se aplica a la generación de imágenes), lo cual supone un reto que sus competidores buscarán igualar en el futuro.

Imagen: Cerebras.

¿Qué hace a le Chat tan rápido? La clave es simple: Mistral ha colaborado con Cerebras, que se autodenomina «el proveedor de inferencia de IA más veloz del mundo». Utilizan sus chips y tecnología en el modelo Mistral Large 2 123B, que es la base de le Chat, logrando así hasta 1.100 tokens por segundo en solicitudes de texto.

También realiza búsquedas en la web. Las respuestas de le Chat son respaldadas por consultas a medios y agencias de información acreditadas como AFP, con quien Mistral tiene un acuerdo de colaboración, además de la capacidad de búsqueda en la web para recolectar información necesaria para elaborar sus respuestas. En muchas de estas respuestas, aunque no siempre, se citan las fuentes de la información.

Y hasta genera imágenes. En el nuevo le Chat se incluyen opciones como la carga avanzada de documentos para procesarlos con OCR, un Canvas para usar le Chat de forma conversacional/colaborativa y un intérprete de código que permite ejecutar comandos en un entorno seguro. Además, se puede usar para generar imágenes con el modelo de IA generativa Flux Ultra de Black Forest Labs, uno de los más populares últimamente. Estas funciones están disponibles en la versión gratuita, pero para disfrutar de más consultas diarias se puede pagar una suscripción de 14,99 euros al mes para la versión Pro de le Chat (los estudiantes solo pagan 4,99 euros al mes).