Llama 3.2 3B Instruct
Rede Neural
Llama 3.2 3B Instruct é um modelo de linguagem compacto da Meta para diálogos, raciocínio e resumo, disponível no BotHub.
Especificações
- Entrada
- texto, imagens, documentos
- Saída
- texto
- Tamanho do contexto
- 131 072 tokens
- Comprimento máximo de resposta
- 117 964 tokens
- Recursos
- chamada de funções
Custo do prompt
(por 1M tokens)
Custo da resposta
(por 1M tokens)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-3b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.2-3b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Como funciona Llama 3.2 3B Instruct?
Llama 3.2 3B Instruct é um modelo de linguagem compacto da Meta com 3 bilhões de parâmetros, construído com uma arquitetura transformer moderna e ajustado para diálogos, raciocínio e resumo de texto. O multilinguismo é inerente ao modelo, e seu tamanho reduzido o torna conveniente onde a velocidade de resposta e o volume de processamento são importantes. No BotHub, ele está disponível sem VPN ou cartões estrangeiros: pague em rublos apenas pelo que realmente consumiu, e os tokens não utilizados não expiram. Mais de 250 modelos estão disponíveis na mesma janela, permitindo alternar entre eles para comparar respostas à mesma solicitação, e uma API compatível com OpenAI permite trocar de modelo sem reescrever a integração. As conversas são criptografadas via AES-GCM e os dados não são salvos. Adequado para chatbots e assistentes de suporte de primeira linha, para resumir longas conversas, relatórios e artigos, para processamento preliminar de grandes volumes de texto antes de enviá-los a um modelo mais pesado e para integração em serviços que exigem uma camada de linguagem rápida.Perguntas frequentes sobre Llama 3.2 3B Instruct
Você pode usar os resultados da geração para fins comerciais. Todos os direitos sobre o conteúdo criado pertencem a você. A única restrição: certifique-se de que a solicitação não inclua materiais de terceiros protegidos por direitos autorais. A responsabilidade pelo cumprimento dos direitos sobre os dados de entrada é do usuário.
O modelo trabalha com texto e documentos: resumo, reescrita, respostas baseadas em arquivos carregados, extração de dados, rascunhos e código simples. Aceita imagens como entrada e suporta chamadas de função, sendo fácil de integrar em serviços. A janela de contexto de 131.072 tokens permite manter materiais longos inteiros no diálogo.
Até 117.964 tokens em uma única resposta — o volume de um pequeno livro. Suficiente para uma análise detalhada de documento, um grande fragmento de código ou uma instrução longa. Na prática, a resposta geralmente é mais curta: o modelo escreve o quanto a tarefa e seu prompt exigirem.
Um modo separado de raciocínio passo a passo não está marcado nos nossos dados para este modelo, portanto a resposta vem imediatamente. Se precisar de uma cadeia de raciocínio, peça no prompt para resolver a tarefa passo a passo — assim, o processo de pensamento ficará visível diretamente no texto da resposta.
Sim, ambos. O modelo suporta chamadas de função e saída JSON estruturada, para que você possa conectá-lo às suas ferramentas, bancos de dados e APIs externas. No BotHub, isso funciona através de uma API única compatível com OpenAI — você não precisará reescrever a integração.
Imagens e documentos, sim, podem ser enviados ao modelo junto com a pergunta. Áudio e vídeo não estão marcados nos formatos de entrada, portanto, para narração ou análise de gravações, escolha um modelo especializado na mesma janela do BotHub e alterne para ele com um movimento.
Em nossos dados, o idioma de trabalho não está marcado separadamente, então não prometemos nada — verifique com sua própria tarefa. É fácil fazer isso: no BotHub, o pagamento é feito por uso de tokens, sem assinatura, e outros modelos estão disponíveis na mesma janela para comparação.