Llama 3.1 70B Instruct
Rede Neural
Llama 3.1 70B Instruct é um modelo da Meta com 70 bilhões de parâmetros, ajustado por instruções e otimizado para diálogos.
Especificações
- Entrada
- texto, imagens, documentos
- Saída
- texto
- Tamanho do contexto
- 131 072 tokens
- Comprimento máximo de resposta
- 8 192 tokens
- Recursos
- chamada de funções
Custo do prompt
(por 1M tokens)
Custo da resposta
(por 1M tokens)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'llama-3.1-70b-instruct',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Como funciona Llama 3.1 70B Instruct?
O Llama 3.1 70B Instruct é um modelo da família Llama 3.1 da Meta, disponível em vários tamanhos. Esta versão de 70 bilhões de parâmetros foi ajustada por instruções e otimizada para diálogos de alta qualidade: mantém o papel definido, segue regras de resposta e desenvolve pensamentos em textos coerentes. No BotHub, o modelo funciona sem restrições, com pagamento por uso (tokens), sem necessidade de assinatura. Acesse mais de 250 redes neurais em uma única janela: compare facilmente as respostas do Llama com outros modelos e alterne entre eles sem reescrever a integração, graças a uma API unificada compatível com OpenAI. Empresas têm acesso a contratos, faturas e painel administrativo com limites para funcionários. O modelo é ideal para criar chatbots de suporte com cenários definidos, redigir rascunhos de e-mails e descrições, resumir longas conversas e documentos, integrar um assistente ao seu produto via API ou testar prompts antes de migrar a carga para outros modelos.Perguntas frequentes sobre Llama 3.1 70B Instruct
Você pode usar os resultados da geração para fins comerciais. Todos os direitos sobre o conteúdo criado pertencem a você. A única restrição: certifique-se de que a solicitação não inclua materiais de terceiros protegidos por direitos autorais. A responsabilidade pelo cumprimento dos direitos sobre os dados de entrada é do usuário.
O llama-3.1-70b-instruct trabalha com texto: escreve e edita, ajuda com código, analisa documentos e imagens carregados. A janela de contexto é de 131.072 tokens, permitindo arquivos grandes ou longas conversas. Adequado para assistentes, análise e automação via chamada de funções.
Em uma única resposta, o modelo gera até 16.384 tokens — suficiente para um artigo longo, análise detalhada ou grande trecho de código. Se atingir o limite, basta pedir para continuar: o contexto de 131.072 tokens permite manter toda a conversa.
Não há um modo de raciocínio separado marcado para este modelo. No entanto, você pode pedir para ele raciocinar passo a passo no prompt: dividir a tarefa e detalhar a solução. Se precisar de modelos com modo de raciocínio integrado, no BotHub é fácil alternar sem reescrever a integração.
Sim, a chamada de funções e a saída estruturada em JSON são suportadas. O modelo pode decidir qual ferramenta usar e retornar argumentos em formato estrito — útil para agentes, parsing e integração com seu backend. No BotHub, isso funciona via API unificada compatível com OpenAI.
Imagens e documentos podem ser carregados: o modelo analisará a imagem ou arquivo e responderá com texto — descrição, extração de dados, análise de tabela ou captura de tela. Áudio e vídeo não são suportados como entrada, mas no BotHub existem modelos específicos para isso na mesma janela.
Não temos dados sobre suporte a idiomas específicos, então é melhor testar com sua tarefa: alguns prompts mostrarão se o estilo e a precisão atendem às suas necessidades. No BotHub, outros modelos estão disponíveis para comparação na mesma janela.