Mensaje de Gate News, 29 de abril — La investigadora de IA Aran Komatsuzaki realizó un análisis comparativo de la eficiencia de tokenización en seis modelos principales de IA traduciendo el influyente artículo de Rich Sutton “The Bitter Lesson” a nueve idiomas y procesándolos mediante los tokenizadores de OpenAI, Gemini, Qwen, DeepSeek, Kimi y Claude. Usando el recuento de tokens de la versión en inglés en OpenAI como línea de base (1x), el estudio reveló disparidades significativas: procesar el mismo contenido en chino requería 1.65x tokens en Claude, en comparación con solo 1.15x en OpenAI. El hindi mostró un resultado aún más extremo en Claude, superando la línea de base en más de 3x. Anthropic ocupó el puesto más bajo entre los seis modelos probados.
Críticamente, cuando el texto chino idéntico se procesó en diferentes modelos—todos medidos frente a la misma línea de base en inglés—los resultados divergieron de forma drástica: Kimi consumió solo 0.81x tokens (incluso menos que el inglés), Qwen 0.85x, mientras que Claude requirió 1.65x. Esta brecha revela un problema puro de eficiencia de tokenización, no un problema inherente del idioma. Los modelos de chino demostraron una eficiencia superior al procesar chino, lo que sugiere que la disparidad se debe a la optimización del tokenizador más que al propio idioma.
Las implicaciones prácticas para los usuarios son sustanciales: el aumento del consumo de tokens incrementa directamente los costos de la API, alarga la latencia de respuesta del modelo y agota más rápidamente las ventanas de contexto. La eficiencia de tokenización depende de la composición lingüística de los datos de entrenamiento de un modelo—los modelos entrenados predominantemente en inglés comprimen el texto en inglés con más eficiencia, mientras que los idiomas con menor representación en los datos se tokenizan en fragmentos más pequeños y menos eficientes.
La conclusión de Komatsuzaki recalca un principio fundamental: el tamaño del mercado determina la eficiencia de tokenización. Los mercados más grandes reciben una mejor optimización, mientras que los idiomas con menor representación enfrentan costos de token significativamente más altos.
Aviso legal: La información de esta página puede proceder de terceros y no representa los puntos de vista ni las opiniones de Gate. El contenido que aparece en esta página es solo para fines informativos y no constituye ningún tipo de asesoramiento financiero, de inversión o legal. Gate no garantiza la exactitud ni la integridad de la información y no se hace responsable de ninguna pérdida derivada del uso de esta información. Las inversiones en activos virtuales conllevan riesgos elevados y están sujetas a una volatilidad significativa de los precios. Podrías perder todo el capital invertido. Asegúrate de entender completamente los riesgos asociados y toma decisiones prudentes de acuerdo con tu situación financiera y tu tolerancia al riesgo. Para obtener más información, consulta el
Aviso legal.
Artículos relacionados
Parallel de Parag Agrawal recauda $100M Serie B para infraestructura de búsqueda para agentes de IA
Según Beating, Parallel Web Systems, fundada por el ex CEO de Twitter Parag Agrawal, completó una ronda de $100 millones de la Serie B liderada por Sequoia Capital, valorando a la empresa en $2 mil millones. Kleiner Perkins, Index Ventures y Khosla Ventures también participaron. La financiación llega seis meses después de que la empresa recaudara millones en la Serie A con una valoración de millones, casi triplicando su valoración.
GateNewsHace4m
La investigadora multimodal de DeepSeek insinúa un nuevo modelo de visión el 29 de abril
El 29 de abril, la investigadora del equipo multimodal de DeepSeek, Xiaokang Chen, publicó en X: "Ahora, te vemos," acompañada de dos imágenes del personaje ballena de DeepSeek: una con los ojos cerrados y la otra con los ojos abiertos. La publicación parece insinuar un modelo de visión que se avecina, en línea con el papel de Chen como investigadora en Dee
GateNewsHace44m
LG amplía su asociación con Nvidia hacia la IA física, abarcando robótica y centros de datos
Mensaje de Gate News, 29 de abril — LG Electronics de Corea del Sur anunció durante su conferencia de resultados del primer trimestre de 2026 que está ampliando su colaboración con Nvidia hacia la IA física, con proyectos planificados en robótica, movilidad y centros de datos.
LG planea integrar su robot doméstico CLOiD con Nvidia
GateNewshace1h
Analistas de semiconductores se muestran optimistas con el mercado de la IA: “al menos otros tres años”; el empaquetado avanzado es el cuello de botella de la industria
Bubble Boi: 指 que el ciclo de inversión de IA aún está en sus etapas iniciales y prevé al menos otros tres años de alza, sin tener intención de cerrar posiciones para obtener ganancias. Cree que el empaquetado avanzado es el verdadero cuello de botella de los semiconductores, y que es necesario integrar más HBM y chips más grandes dentro del mismo encapsulado. Está alcista en NAND/Flash y considera que los precios podrían seguir subiendo; en el futuro, quizá también se incorpore a la cadena de suministro de memoria flash. Su estrategia personal es pedir prestado para aumentar sus tenencias, y usar su formación en la práctica de la ingeniería para comprender los detalles técnicos, ya que considera que esto es una ventaja.
ChainNewsAbmediahace1h
AWS Amplía la Integración de OpenAI en Amazon Bedrock
Amazon Web Services anunció el 29 de abril una expansión significativa de su asociación con OpenAI, integrando las últimas capacidades de OpenAI en su infraestructura en la nube. La expansión trae tres nuevas ofertas a Amazon Bedrock: los últimos modelos de OpenAI (vista previa limitada), el Codex de programación
CryptoFrontierhace2h
Investigadores de OpenAI: los sistemas de IA podrían manejar la mayor parte del trabajo de investigación en dos años
Mensaje de Gate News, 29 de abril — Los investigadores de OpenAI Sébastien Bubeck y Ernest Ryu afirman que los sistemas de IA podrían realizar la mayor parte del trabajo de investigación humano en dos años, presentando las matemáticas como una medida clara del progreso de la IA. A diferencia de las pruebas de rendimiento vagas, los problemas matemáticos ofrecen una verificación precisa: las respuestas son correctas o incorrectas, sin dejar margen para la ambigüedad:
GateNewshace2h
