Большой разговор о разборе новой рекомендательной системы X: от «сбора данных» до «оценки»

Публикация: KarenZ, Foresight News

Маск изменил рекомендательную систему Twitter с «ручных правил и большинства эвристических алгоритмов» на «чисто AI большие модели, угадывающие предпочтения»?

20 января Twitter (X) официально раскрыл новый алгоритм рекомендаций, то есть логику работы ленты «Для вас» на главной странице Twitter.

Проще говоря, текущий алгоритм следующий: он объединяет «контент от тех, за кем вы следите», и «весь интернет-контент, который может вам понравиться», сортирует его по привлекательности для вас на основе ваших предыдущих лайков, комментариев и других действий в X, после чего проходит два этапа фильтрации и в итоге формирует рекомендованный информационный поток.

Ниже — основная логика, переведённая простым языком:

Создание профиля

Система сначала собирает контекстную информацию о пользователе, чтобы создать «образ» для последующих рекомендаций:

Последовательность действий пользователя: история взаимодействий (лайки, ретвиты, время просмотра и т.д.).

Характеристики пользователя: список подписок, настройки предпочтений и т.п.

Откуда берётся контент?

Каждый раз, когда вы обновляете ленту «Для вас», алгоритм ищет контент в двух источниках:

Круг знакомых (Thunder): твиты тех, за кем вы следите.

Круг незнакомых (Phoenix): твиты, которых вы не подписаны, но AI по вашим вкусам ищет среди огромного количества постов, чтобы найти те, что могут вам понравиться (даже если вы не подписаны на автора).

Эти два потока контента смешиваются, образуя кандидатные твиты.

Дополнение данных и первичная фильтрация

После того, как система собирает тысячи постов, она извлекает их полные метаданные (информацию об авторе, медиафайлы, основной текст). Этот процесс называется Hydration. Затем проводится быстрая очистка: удаление дублирующегося контента, старых постов, постов, опубликованных самим пользователем, а также контента авторов, которых вы заблокировали или ключевых слов, которые вы заблокировали.

Эта стадия предназначена для экономии вычислительных ресурсов и исключения неактуального или нерелевантного контента из основного этапа оценки.

Как происходит оценка?

Это самый важный этап. Модель Transformer на базе Phoenix Grok анализирует каждое оставшееся после фильтрации кандидатное сообщение, вычисляя вероятность того, что вы выполните определённое действие (лайк, комментарий, переход по ссылке и т.п.). Это игра с плюсом и минусом:

Положительные факторы (обратная связь): AI предполагает, что вы можете поставить лайк, ретвитнуть, ответить, кликнуть по изображению или перейти на профиль.

Отрицательные факторы (обратная связь): AI предполагает, что вы можете заблокировать автора, отключить звук (Mute), пожаловаться.

Итоговая оценка = (вероятность лайка × вес) + (вероятность ответа × вес) - (вероятность блокировки × вес)…

Стоит отметить, что в новой рекомендательной системе обычно вмешивается Author Diversity Scorer (оценщик разнообразия авторов), который после вычисления итогового балла автоматически «понижает» оценки постов одного автора, если в выбранной группе есть несколько его публикаций, чтобы сделать выбор более разнообразным.

В конце, по результатам оценки, выбирается группа постов с наивысшими баллами.

Вторичная фильтрация

Система ещё раз проверяет наиболее высоко оценённые посты, исключая нарушающий правила контент (спам, насильственный контент), а также удаляет дубли по одному и тому же треду. После этого посты сортируются по убыванию оценки и формируют итоговую информационную ленту, которую вы видите.

Краткое резюме

X уже исключил из рекомендательной системы все функции, созданные вручную, и большинство эвристических алгоритмов. Основной прогресс нового алгоритма — в том, что «AI самостоятельно учится предпочтениям пользователя», что позволяет перейти от «инструкций для машины» к «самообучающейся системе».

Во-первых, рекомендации стали более точными, благодаря «многомерному предсказанию», более соответствующему реальным потребностям. Новый алгоритм использует большие модели Grok для прогнозирования различных пользовательских действий — не только «лайк/ретвит», но и «переход по ссылке», «время задержки», «подписка на автора», а также предсказывает «жалобы/блокировки». Такая тонкая оценка позволяет максимально точно соответствовать подсознательным потребностям пользователя.

Во-вторых, механизм алгоритма стал более справедливым, что в определённой мере разрушает монополию «больших аккаунтов», предоставляя больше возможностей новым и малым аккаунтам: прошлые эвристические алгоритмы имели критическую проблему: крупные аккаунты благодаря высокой активности получали высокий охват, а качественный контент новых аккаунтов оставался незамеченным из-за «недостатка данных». Механизм изоляции кандидатов позволяет оценивать каждый пост независимо, без учёта «взрывных» характеристик других постов в той же группе. Также Author Diversity Scorer снижает вероятность «засорения» ленты постами одного и того же автора в одной группе.

Для компании X: это мера снижения затрат и повышения эффективности — использование вычислительных мощностей вместо человеческих ресурсов, AI вместо удержания. Для пользователей — это «супермозг», который постоянно угадывает наши предпочтения. Чем лучше он нас понимает, тем сильнее мы от него зависимы, но и тем больше рискуем попасть в «информационный кокон» и стать мишенью для эмоционально окрашенного контента.