Llama 3.2 1B Instruct
нейросеть
Llama 3.2 1B Instruct — компактная языковая модель Meta на 1 млрд параметров для диалогов, суммаризации и анализа текста.
Характеристики
- Входные данные
- текст, изображения, документы
- Результат
- текст
- Размер контекста
- 60 000 токенов
- Макс. длина ответа
- 54 000 токенов
Стоимость промпта
(за 1M токенов)
Стоимость ответа
(за 1M токенов)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-1b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-1b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Llama 3.2 1B Instruct?
Llama 3.2 1B Instruct — компактная языковая модель Meta на 1 миллиард параметров. Её задача не в максимальной глубине рассуждений, а в том, чтобы быстро и экономно делать типовую работу с текстом: вести диалог, сжимать длинные материалы до сути, разбирать и классифицировать входящие сообщения. Небольшой размер даёт высокую скорость отклика там, где важен поток запросов, а не единичный сложный ответ. В BotHub модель доступна без VPN и зарубежной карты: токены оплачиваются российской картой по факту, без подписки, и не сгорают. Единый OpenAI-совместимый API подключает модель одним запросом, а переключиться на любую из более чем 250 нейросетей можно без переписывания интеграции; переписка шифруется, все модели собраны в одном окне. Пригодится, если вы делаете массовую суммаризацию писем, тикетов и отчётов, собираете первую линию чат-поддержки, размечаете и классифицируете тексты перед передачей в более крупную модель, готовите короткие описания и черновики в больших объёмах или встраиваете недорогого текстового помощника прямо в продукт.Частые вопросы о Llama 3.2 1B Instruct
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
llama-3.2-1b-instruct — компактная модель семейства Llama с инструктивной настройкой. Она закрывает простые и массовые задачи: короткие ответы, переформулирование, извлечение полей из документов, черновые описания, сортировку заявок. Для потоковых операций, где важнее скорость и предсказуемость, чем глубина анализа, это рабочий вариант.
Максимум — 54 000 токенов в одном ответе, это порядка нескольких десятков страниц текста. Контекстное окно модели составляет 131 072 токена, так что вы можете загрузить объёмные материалы и всё равно оставить запас на развёрнутый ответ без обрыва на середине.
Отдельный режим рассуждений у этой модели в наших данных не отмечен. Но вы можете прямо в промте попросить разобрать задачу по шагам и показать ход мысли — для простых цепочек этого хватает. Для сложных выкладок переключитесь на reasoning-модель в том же окне.
Вызов функций и строгий JSON-режим у этой модели в наших данных не отмечены. Попросить ответ в формате JSON можно в самом промте, но структуру стоит проверять на своей стороне. Нужны гарантии — через единый OpenAI-совместимый API BotHub переключитесь на модель с заявленным function calling.
Изображения и документы загрузить можно: модель принимает их на вход вместе с текстом, подойдут сканы, схемы, скриншоты, текстовые файлы. Аудио и видео среди поддерживаемых форматов ввода нет — для них в каталоге BotHub есть отдельные модели. Ответ приходит текстом.
Семейство Llama 3.2 заявлено разработчиком как многоязычное, и с русским модель работает. При этом версия компактная, всего 1B параметров, поэтому на длинных и сложных текстах качество ниже, чем у крупных моделей. Проверьте на своей задаче — рядом в одном окне доступны модели побольше.