Ternary Bonsai 2 9B
Red Neuronal
Ternary Bonsai 2 9B es un modelo abierto compacto de PrismML para diálogos, razonamiento y llamada a funciones
Características
- Entrada
- texto, imágenes, documentos
- Salida
- texto
- Tamaño del contexto
- 262 144 tokens
- Longitud máxima de respuesta
- 65 536 tokens
- Niveles de razonamiento
- bajo, medio, alto
- Funciones
- razonamiento, llamada a funciones
Costo del prompt
(por 1M tokens)
Costo de la respuesta
(por 1M tokens)
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'ternary-bonsai-2-9b',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'ternary-bonsai-2-9b',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Cómo funciona Ternary Bonsai 2 9B?
Ternary Bonsai 2 9B es un modelo de lenguaje compacto de pesos abiertos de PrismML, diseñado para productos de diálogo, razonamiento y llamada a funciones. Se basa en la arquitectura Qwen3.5, con pesos almacenados en formato ternario y empaquetados en dos bits, lo que reduce significativamente los requisitos de memoria durante la inferencia y facilita la ejecución donde cada gigabyte cuenta. En BotHub, el modelo está disponible junto a otros: el cambio no requiere reescribir la integración, el pago se realiza en rublos según el consumo de tokens y el acceso funciona sin VPN ni tarjetas extranjeras. Para equipos que crean sistemas multimodelo, resulta útil la API compatible con OpenAI, y para empresas, ofrecemos contrato, factura y límites en el panel de administración. El modelo es ideal para asistentes de chat y bots de soporte internos, razonamiento paso a paso, análisis de tareas, agentes con llamadas a herramientas externas, prototipos en hardware limitado y para comparar respuestas con modelos más grandes directamente en la interfaz de BotHub.Preguntas frecuentes sobre Ternary Bonsai 2 9B
Puede usar los resultados generados con fines comerciales. Todos los derechos sobre el contenido creado le pertenecen. La única restricción: asegúrese de que la solicitud no incluya material de terceros protegido por derechos de autor. El usuario es responsable de respetar los derechos sobre los datos de entrada.
El modelo trabaja con texto, documentos e imágenes: analiza el contenido de archivos, responde preguntas sobre ellos, razona antes de responder y llama a herramientas externas. Es adecuado para el análisis de documentación, extracción de datos, escritura y análisis de código, así como para tareas que requieren una salida estructurada en JSON según un esquema definido.
En una sola respuesta, el modelo genera hasta 65 536 tokens, y el contexto total de solicitud y respuesta alcanza los 262 144 tokens. En la práctica, esto equivale a documentos extensos y respuestas largas, pero el tamaño exacto en palabras o páginas depende del idioma y el formato, por lo que es mejor guiarse por el contador de tokens.
Sí, el modelo puede razonar antes de responder: el soporte para razonamiento está indicado en nuestros datos. Construye pasos intermedios y luego formula el resultado, lo que ayuda en matemáticas, tareas con múltiples condiciones, análisis de código y verificación lógica. En consultas simples, esto no es necesario y la respuesta se puede obtener más rápido.
Sí, ambas capacidades están indicadas en nuestros datos. El modelo puede llamar a funciones externas y devolver una respuesta en formato estructurado, por ejemplo, en JSON según un esquema definido. Esto es útil para integraciones: el modelo decide qué herramienta llamar y el resultado es fácil de analizar mediante programación sin edición manual.
El modelo acepta imágenes y documentos como entrada (esto está indicado en nuestros datos), por lo que puede cargar una imagen o archivo y hacer preguntas sobre su contenido. La recepción de audio y video no está indicada en nuestros datos, por lo que no debe contar con ello; consulte con el soporte si esto es importante para su tarea.
No hay una evaluación separada de la calidad del idioma ruso en nuestros datos, por lo que afirmar algo concreto sería deshonesto. Pruebe el modelo con sus propios ejemplos: proporcione preguntas típicas, fragmentos de documentos y las formulaciones de respuesta esperadas. Así verá si la precisión es suficiente para su tarea antes de integrarlo en su producto.