Повідомлення Gate News, 29 квітня — AI-дослідник Аран Комацузаки провів порівняльний аналіз ефективності токенізації на базі шести провідних AI-моделей, переклавши фундаментальну працю Річа Саттона “The Bitter Lesson” дев’ятьма мовами та обробивши їх токенізаторами OpenAI, Gemini, Qwen, DeepSeek, Kimi та Claude. Виходячи з кількості токенів в англійській версії в OpenAI як базового рівня (1x), дослідження виявило суттєві відмінності: обробка того самого контенту китайською вимагала 1.65x токенів у Claude, тоді як у OpenAI — лише 1.15x. Хінді показав ще більш екстремальний результат у Claude, перевищивши базовий рівень більш ніж у 3 рази. Anthropic посів найнижче місце серед шести протестованих моделей.
Критично важливо: коли ідентичний китайський текст обробляли в різних моделях — усі результати, порівняні з однією й тією самою англійською базою — результати різко розійшлися: Kimi спожив лише 0.81x токенів (навіть менше, ніж англійська), Qwen — 0.85x, тоді як Claude потребував 1.65x. Цей розрив свідчить про чисту проблему ефективності токенізації, а не про властиві мовні особливості. Китайські моделі демонстрували вищу ефективність під час обробки китайської, що вказує: відмінність зумовлена оптимізацією токенізатора, а не самою мовою.
Практичні наслідки для користувачів суттєві: зростання споживання токенів безпосередньо підвищує API-витрати, збільшує затримку відповіді моделі та швидше виснажує контекстні вікна. Ефективність токенізації залежить від лінгвістичного складу навчальних даних моделі: моделі, натреновані переважно на англійській, стискають англійський текст ефективніше, тоді як мови з нижчою представленістю токенізуються на менші, менш ефективні фрагменти.
Висновок Комацузаки підкреслює фундаментальний принцип: розмір ринку визначає ефективність токенізації. Більші ринки отримують кращу оптимізацію, а мови, представлені недостатньо, стикаються зі значно вищими токен-витратами.
Застереження: Інформація на цій сторінці може походити від третіх осіб і не відображає погляди або думки Gate. Вміст, що відображається на цій сторінці, є лише довідковим і не є фінансовою, інвестиційною або юридичною порадою. Gate не гарантує точність або повноту інформації і не несе відповідальності за будь-які збитки, що виникли в результаті використання цієї інформації. Інвестиції у віртуальні активи пов'язані з високим ризиком і піддаються значній ціновій волатильності. Ви можете втратити весь вкладений капітал. Будь ласка, повністю усвідомлюйте відповідні ризики та приймайте обережні рішення, виходячи з вашого фінансового становища та толерантності до ризику. Для отримання детальної інформації, будь ласка, зверніться до
Застереження.
Пов'язані статті
Parallel Парага Агравала залучила $100M Series B для інфраструктури пошуку для AI-агентів
За даними Beating, Parallel Web Systems, заснована колишнім генеральним директором Twitter Парагом Агравалом, завершила раунд Series B на $100 мільйонів доларів під керівництвом Sequoia Capital, оцінивши компанію в $2 мільярдів. Участь також взяли Kleiner Perkins, Index Ventures і Khosla Ventures. Фінансування надійшло через шість місяців після того, як компанія залучила мільйонів у раунді Series A за оцінкою мільйонів, майже утричі збільшивши свою вартість.
GateNews4хв. тому
Дослідник мультимодального напрямку DeepSeek натякає на нову візійну модель 29 квітня
29 квітня дослідник мультимодальної команди DeepSeek Сяокан Чень опублікував на X: «Тепер ми бачимо вас», супроводивши це двома зображеннями китового талісмана DeepSeek — одне з заплющеними очима, а інше з розплющеними. Пост, схоже, натякає на майбутню візійну модель, що відповідає ролі Ченя як дослідника в Dee
GateNews44хв. тому
LG розширює партнерство з Nvidia до фізичного ШІ, охоплюючи робототехніку та центри обробки даних
Повідомлення Gate News, 29 квітня — південнокорейська LG Electronics оголосила під час телефонної конференції щодо фінансових результатів за перший квартал 2026 року, що розширює співпрацю з Nvidia у напрямі фізичного ШІ, плануючи проєкти в робототехніці, мобільності та центрах обробки даних.
LG планує інтегрувати свого домашнього робота CLOiD із Nvidia
GateNews1год тому
Напівпровідникові аналітики налаштовані оптимістично щодо ринку AI «принаймні ще на три роки»: передове складання є вузьким місцем галузі
Bubble Boi вважає, що цикл AI-інвестицій усе ще перебуває на ранній стадії: очікується принаймні ще три роки зростання, і він не планує фіксувати прибуток. На його думку, передові корпусні (advanced packaging) технології є справжньою вузькою ланкою в напівпровідниках; потрібно в межах одного корпусу інтегрувати більше HBM і більші кристали. Він налаштований оптимістично щодо NAND/Flash, ціни можуть і надалі зростати, а в майбутньому, можливо, буде додано флеш-ланцюг постачання. Його особиста стратегія — позичати кошти для докупівлі, а також розуміти технічні деталі, спираючись на інженерний практичний досвід; він вважає, що це є перевагою.
ChainNewsAbmedia1год тому
AWS розширює інтеграцію OpenAI в Amazon Bedrock
Amazon Web Services оголосила 29 квітня про суттєве розширення партнерства з OpenAI, інтегрувавши найновіші можливості OpenAI в свою хмарну інфраструктуру. Розширення додає три нові пропозиції до Amazon Bedrock: найновіші моделі OpenAI (обмежений прев’ю), програмування Codex
CryptoFrontier2год тому
Дослідники OpenAI: системи ШІ можуть впоратися з більшою частиною дослідницької роботи протягом двох років
Повідомлення Gate News, 29 квітня — дослідники OpenAI Себастьєн Бюбек і Ернест Рю кажуть, що системи ШІ зможуть виконувати більшість людської дослідницької роботи вже протягом двох років, представляючи математику як чітку міру прогресу ШІ. На відміну від розмитих тестів продуктивності, математичні задачі дають точну перевірку: відповіді або правильні, або неправильні, тож без двозначностей.
GateNews2год тому
