#2
🔗 Открыть источник ↗Meta GEM: The Central Brain Accelerating Ads Recommendation
✍️ Meta Engineering📅 Ноябрь 2025
📌 Первичный источник — инженерный блог Meta, команда ML applications
📝 Краткое содержание
GEM — крупнейшая в индустрии foundation-модель для рекомендательных систем, обученная на масштабе LLM. Центральный мозг рекламной системы Meta. Работает на тысячах GPU одновременно.
🎯 Ключевые инсайты
1Foundation-модель обучена на масштабе LLM: 23x больше эффективных training FLOPS, 16x больше GPU
2Архитектура Wukong: stackable factorization machines для моделирования взаимодействий признаков
3Pyramid-Parallel: обрабатывает последовательности поведения пользователя длиной в тысячи событий
4InterFormer: сохраняет полную информацию о последовательности при cross-feature learning
5Multi-Domain Learning: отдельная оптимизация для Facebook Feed, Instagram, Business Messaging
6Knowledge Transfer: 2x эффективнее стандартных подходов knowledge distillation
7GEM разделяет входные данные на sequence features (история активности) и non-sequence features (атрибуты пользователя/объявления)
8В 4 раза эффективнее предыдущих моделей при генерации прироста перформанса
📊 Метрики и результаты
+5%
Конверсии в Instagram
+3%
Конверсии в Facebook Feed
4x
Эффективность vs. предыдущих моделей
23x рост
Effective Training FLOPS
+1.43x
MFU (Model FLOPs Utilization)
🏷️ Теги
AIGEMFoundation ModelRankingLLM-scale