Ternary Bonsai 2 9B
Rede Neural
Ternary Bonsai 2 9B — modelo aberto compacto da PrismML para diálogos, raciocínio e chamada de funções
Especificações
- Entrada
- texto, imagens, documentos
- Saída
- texto
- Tamanho do contexto
- 262 144 tokens
- Comprimento máximo de resposta
- 65 536 tokens
- Níveis de raciocínio
- baixo, médio, alto
- Recursos
- raciocínio, chamada de funções
Custo do prompt
(por 1M tokens)
Custo da resposta
(por 1M tokens)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'ternary-bonsai-2-9b',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'ternary-bonsai-2-9b',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Como funciona Ternary Bonsai 2 9B?
Ternary Bonsai 2 9B é um modelo de linguagem compacto de pesos abertos da PrismML, criado para produtos de diálogo, raciocínio e chamada de funções. Baseado na arquitetura Qwen3.5, seus pesos são armazenados de forma ternária e compactados em dois bits, o que reduz significativamente os requisitos de memória durante a inferência e facilita a execução onde cada gigabyte importa. No BotHub, o modelo está disponível junto aos outros: a troca não exige reescrever a integração, o pagamento é feito em rublos conforme o consumo de tokens, e o acesso funciona sem VPN ou cartão estrangeiro. Para equipes que constroem sistemas multimodais, a API compatível com OpenAI é útil, e para empresas, oferecemos contrato, fatura e limites no painel administrativo. O modelo é adequado para assistentes de chat e bots de suporte internos, raciocínio passo a passo e análise de tarefas, agentes com chamada de ferramentas externas, protótipos em hardware limitado e para comparar respostas com modelos maiores diretamente na interface do BotHub.Perguntas frequentes sobre Ternary Bonsai 2 9B
Você pode usar os resultados da geração para fins comerciais. Todos os direitos sobre o conteúdo criado pertencem a você. A única restrição: certifique-se de que a solicitação não inclua materiais de terceiros protegidos por direitos autorais. A responsabilidade pelo cumprimento dos direitos sobre os dados de entrada é do usuário.
O modelo trabalha com texto, documentos e imagens: analisa o conteúdo de arquivos, responde a perguntas sobre eles, raciocina antes de responder e chama ferramentas externas. É adequado para análise de documentação, extração de dados, escrita e análise de código, bem como para tarefas que exigem saída estruturada em JSON conforme um esquema definido.
Em uma única resposta, o modelo gera até 65.536 tokens, e o contexto total da solicitação e resposta chega a 262.144 tokens. Na prática, isso significa documentos volumosos e respostas longas, mas o tamanho exato em palavras ou páginas depende do idioma e da formatação, por isso é melhor basear-se no contador de tokens.
Sim, o modelo consegue raciocinar antes de responder: o suporte a raciocínio está indicado em nossos dados. Ele constrói passos intermediários e só então formula o resultado, o que ajuda em matemática, tarefas com múltiplas condições, análise de código e verificação de lógica. Em solicitações simples, isso não é necessário, e a resposta pode ser obtida mais rapidamente.
Sim, ambas as capacidades estão indicadas em nossos dados. O modelo pode acessar funções externas e retornar a resposta de forma estruturada, por exemplo, em JSON conforme um esquema definido. Isso é conveniente para integrações: ele decide qual ferramenta chamar, e o resultado é facilmente analisado programaticamente sem edição manual.
O modelo aceita imagens e documentos como entrada — isso está indicado em nossos dados, então você pode carregar uma imagem ou arquivo e fazer perguntas sobre o conteúdo. A entrada de áudio e vídeo não está indicada em nossos dados, portanto, não conte com isso; verifique com o suporte se isso for importante para sua tarefa.
Não há uma avaliação separada da qualidade do português em nossos dados, portanto, afirmar algo concreto seria desonesto. Teste o modelo com seus próprios exemplos: forneça perguntas típicas, fragmentos de documentos e as formulações de resposta esperadas. Assim, você verá se a precisão é suficiente para sua tarefa antes de integrá-lo ao seu produto.