Просте пояснення X новий алгоритм рекомендацій: від «збір даних» до «оцінювання»

Написано: KarenZ, Foresight News

Маск змінив рекомендуючу систему Twitter з «ручного набору правил і більшості евристичних алгоритмів» на «чисто AI великі моделі, які вгадують самі»?

20 січня Twitter (X) офіційно розкрив новий алгоритм рекомендацій, тобто логіку за стрічкою «Рекомендує для вас» на головній сторінці Twitter.

Простіше кажучи, теперішній алгоритм: поєднує «контент від тих, за ким ви стежите» і «можливий для вас контент з усього інтернету», сортує їх за привабливістю для вас на основі ваших попередніх дій у X — лайків, коментарів тощо, — і проходить дві фільтрації, у результаті чого з’являється стрічка рекомендованих постів.

Ось основна логіка, перекладена простою мовою:

Створення профілю

Система спершу збирає контекстну інформацію про користувача, щоб створити «образ» для подальших рекомендацій:

Послідовність поведінки користувача: історія взаємодій (лайки, репости, час перебування тощо).

Особисті характеристики користувача: список підписок, налаштування переваг тощо.

Звідки береться контент?

Щоразу, коли ви оновлюєте стрічку «Рекомендує для вас», алгоритм шукає контент у двох джерелах:

Знайомі кола (Thunder): твіти від тих, за ким ви стежите.

Незнайомі кола (Phoenix): твіти від незнайомих, але AI підбирає їх за вашим смаком, витягуючи з безкрайнього моря постів ті, що можуть вас зацікавити (навіть якщо ви не стежите за автором).

Обидва ці потоки контенту змішуються, утворюючи кандидатів на показ.

Доповнення даних і попередня фільтрація

Після збору тисяч постів система витягує їхні повні метадані (інформацію про автора, медіафайли, основний текст) — цей процес називається Hydration. Потім відбувається швидка очистка: видаляються дублікати, старі пости, пости, створені користувачем, або контент авторів, яких ви заблокували, або з ключовими словами, що ви заблокували.

Цей крок економить обчислювальні ресурси і запобігає потраплянню неактуального контенту до основного етапу оцінки.

Як оцінюють?

Це найважливіша частина. Модель Transformer на базі Phoenix Grok аналізує кожен залишковий кандидатний пост, обчислюючи ймовірність того, що ви виконаєте певну дію. Це гра з додаванням і відніманням балів:

Позитивні фактори (зворотній зв’язок): AI вважає, що ви можете поставити лайк, репостнути, відповісти, натиснути на зображення або перейти на профіль.

Негативні фактори (зворотній зв’язок): AI вважає, що ви можете заблокувати автора, вимкнути звук або повідомити про пост.

Кінцева оцінка = (ймовірність лайка × вага) + (ймовірність відповіді × вага) - (ймовірність блокування × вага)…

Варто зазначити, що у новому алгоритмі є компонент Author Diversity Scorer (оцінювач різноманітності авторів), який зазвичай втручається після обчислення кінцевої оцінки. Якщо в кандидатній групі з’являється кілька постів одного автора, цей інструмент автоматично «знижує» їхній бал, щоб зробити стрічку більш різноманітною.

Зрештою, пости сортуються за оцінкою, і вибирається група з найвищими балами.

Другий етап фільтрації

Система ще раз перевіряє найкращі за оцінкою пости, видаляє порушення (спам, насильство), уникає дублювання кількох гілок одного й того ж треду, і потім сортує їх за зменшенням оцінки — так формується стрічка, яку ви бачите.

Підсумок

X вже виключив із системи всі ручні функції та більшість евристичних алгоритмів. Основний прогрес нового алгоритму — у тому, що «AI навчається користувачам самостійно», зробивши перехід від «інструктування машини, що робити» до «навчання машини, як робити».

По-перше, рекомендації стали більш точними, «багатовимірне передбачення» краще відповідає реальним потребам. Новий алгоритм використовує модель Grok для прогнозування різних поведінкових сценаріїв — не лише ймовірності лайка або репосту, а й «перейде за посиланням», «як довго затримається», «підписатися на автора», і навіть «заблокує або повідомить». Така деталізована оцінка дозволяє максимально точно відповідати підсвідомим потребам користувача.

По-друге, механізм алгоритму став більш справедливим і здатним у певній мірі зламати «монополію великих акаунтів», надаючи шанс новим і малим акаунтам: раніше евристичні алгоритми мали критичну проблему — великі акаунти через високий рівень взаємодій отримували високий охоплення незалежно від якості контенту, тоді як нові, навіть якісні пости, через «відсутність даних» залишалися непоміченими. Механізм ізоляції кандидатів дозволяє кожному посту оцінюватися незалежно і не залежати від того, чи є він «вірусним у групі». Також Author Diversity Scorer зменшує ймовірність «засмічення» стрічки постами одного й того ж автора у межах однієї групи.

Щодо компанії X: це крок до зниження витрат і підвищення ефективності — замість людських ресурсів використовує обчислювальні потужності, замість ручних налаштувань — AI для утримання користувачів. Для користувача це — «суперрозум», що постійно вгадує наші бажання. Чим краще він нас розуміє, тим більше ми від нього залежні, але саме через це ми ризикуємо потрапити у «інформаційний кокон», створений алгоритмами, і стати легкою здобиччю для емоційно забарвленого контенту.