AI
Llama 3 8B
31 мая 2024 г.
Llama-3-8B: Эффективная языковая модель для диалоговых систем
Meta-Llama-3-8B - это языковая модель с 8 миллиардами параметров, разработанная компанией Meta в рамках семейства моделей Meta Llama 3.
Она оптимизирована для использования в диалоговых системах и превосходит многие доступные модели с открытым исходным кодом по общепринятым отраслевым показателям. При разработке модели особое внимание уделялось оптимизации полезности и безопасности.Meta-Llama-3-8B использует оптимизированную архитектуру трансформеров и обучена с использованием методов supervised fine-tuning (SFT) и reinforcement learning with human feedback (RLHF) для лучшего соответствия человеческим предпочтениям в отношении полезности и безопасности.
Характеристики
- 8 миллиардов параметров
- Оптимизированная архитектура трансформеров
- Обучение с использованием SFT и RLHF
- Длина контекста: 8000 токенов
- Использование Grouped-Query Attention (GQA) для улучшенной масштабируемости вывода
Преимущества
- Высокая производительность в диалоговых системах
- Оптимизация полезности и безопасности
- Превосходит многие модели с открытым исходным кодом по отраслевым показателям
- Возможность тонкой настройки под конкретные задачи
Ограничения
- Обучена преимущественно на английском языке
- Возможность генерации неточных, предвзятых или нежелательных ответов в некоторых случаях
- Необходимость дополнительного тестирования и настройки безопасности перед развертыванием в приложениях
Области применения
- Чат-боты и виртуальные ассистенты
- Генерация текста и кода
- Ответы на вопросы и понимание естественного языка
- Тонкая настройка под специфические задачи обработки естественного языка
- Производительность
Интересные факты
- При обучении модели использовалось более 15 триллионов токенов данных из общедоступных источников, а также более 10 миллионов примеров с аннотациями, сделанными людьми.
- Общий объем вычислений при предварительном обучении составил 7.7 миллионов GPU-часов, что привело к выбросам 2290 тонн CO2-эквивалента, которые были полностью компенсированы программой устойчивого развития Meta.
- Компания Meta разработала руководство по ответственному использованию (Responsible Use Guide) и предоставляет инструменты, такие как Meta Llama Guard 2 и Code Shield, для обеспечения безопасности при развертывании приложений на основе Llama 3.