Llama 3.1 70B Instruct
нейросеть
Llama 3.1 70B Instruct — модель Meta на 70 миллиардов параметров, дообученная на инструкциях и настроенная на диалоги.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 131 072 токена
- Макс. длина ответа
- 8 192 токена
- Возможности
- вызов функций
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Llama 3.1 70B Instruct?
Llama 3.1 70B Instruct — модель Meta из семейства Llama 3.1, которое вышло сразу в нескольких размерах и вариантах. Версия на 70 миллиардов параметров дообучена на инструкциях и оптимизирована под качественные диалоги: она держит заданную роль, следует правилам ответа и разворачивает мысль в связный текст. В BotHub модель работает из России без VPN и зарубежной карты, баланс пополняется российской картой, а платите вы по факту за токены, без подписки. Рядом в одном окне более 250 нейросетей: ответ Llama легко сравнить с другими моделями и переключиться на любую из них, не переписывая интеграцию, — API единый и совместимый с OpenAI. Компаниям доступны договор, счёт, ЭДО и админ-панель с лимитами на сотрудников. Модель пригодится, если вы собираете чат-бота поддержки с заданным сценарием диалога, готовите черновики писем и описаний, сжимаете длинные переписки и документы до сути, встраиваете ассистента в свой продукт через API или тестируете промпты перед переносом нагрузки на другие модели.Частые вопросы о Llama 3.1 70B Instruct
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
llama-3.1-70b-instruct работает с текстом: пишет и редактирует, помогает с кодом, разбирает документы и изображения, которые вы загружаете. Контекстное окно — 131 072 токена, поэтому в один диалог поместится большой файл или длинная переписка. Подходит для ассистентов, аналитики и автоматизации через вызов функций.
За один ответ модель выдаёт до 16 384 токенов — этого хватает на длинную статью, подробный разбор или большой фрагмент кода. Если текст упёрся в лимит, просто попросите продолжить: контекст в 131 072 токена позволяет держать всю переписку целиком.
В наших данных отдельный режим рассуждений у этой модели не отмечен. При этом вы можете попросить её рассуждать по шагам прямо в промпте: разбить задачу, расписать ход решения. Если нужны модели со встроенным режимом размышления, в BotHub легко переключиться на другую, не переписывая интеграцию.
Да, вызов функций и структурированный вывод в JSON поддерживаются. Модель может сама решить, какой инструмент дёрнуть, и вернуть аргументы в строгом формате — удобно для агентов, парсинга и интеграции с вашим бэкендом. В BotHub это работает через единый OpenAI-совместимый API.
Изображения и документы загрузить можно: модель разберёт картинку или файл и ответит текстом — описание, извлечение данных, разбор таблицы или скриншота. Аудио и видео на вход у неё не заявлены, но в BotHub под них есть отдельные модели в том же окне.
В наших данных нет пометок о поддержке конкретных языков, поэтому обещать не будем — проще проверить на вашей задаче: пара запросов покажет, устраивает ли стиль и точность. Рядом в BotHub открыты другие модели, так что сравнить ответы можно в одном окне.