Switchyard
нейросеть
Switchyard — открытый роутер моделей, который сам распределяет запросы между нейросетями и оптимизирует их стоимость.
Характеристики
- Входные данные
- текст, документы
- Результат
- текст
- Размер контекста
- 1 000 000 токенов
- Макс. длина ответа
- 330 000 токенов
import OpenAI from 'openai';
const openai = new OpenAI({
apiKey: '<your bothub access token>',
baseURL: 'https://openai.bothub.chat/v1'
});
// Sync - Text generation
async function main() {
const chatCompletion = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'switchyard',
});
}
// Async - Text generation
async function main() {
const stream = await openai.chat.completions.create({
messages: [{ role: 'user', content: 'Say this is a test' }],
model: 'switchyard',
stream: true
});
for await (const chunk of stream) {
const part: string | null = chunk.choices[0].delta?.content ?? null;
}
}
main();
Как работает Switchyard?
Switchyard — роутер запросов с открытым исходным кодом: вместо одной фиксированной нейросети он сам подбирает модель под конкретное обращение, опираясь на рыночные данные о востребованности моделей, и удерживает стоимость запроса. В BotHub модель работает из России без VPN и зарубежной карты, оплата идёт российскими картами по факту за токены, без подписки, а неизрасходованный баланс не сгорает. Рядом в одном окне больше 250 нейросетей, поэтому ответ роутера легко сравнить с выбранной вручную моделью, а единый OpenAI-совместимый API позволяет менять модель в интеграции без переписывания кода. Переписка шифруется по AES-GCM, данные не сохраняются, а компаниям доступны договор, счёт, ЭДО и админ-панель с лимитами. Пригодится, если нужно удешевить поток однотипных обращений, собрать прототип мультимодельного сервиса, закрыть первую линию ответов в продукте, прогнать черновую генерацию и редактуру текстов или проверить, какая нейросеть точнее справляется с вашей задачей.Частые вопросы о Switchyard
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
switchyard — текстовая модель от NVIDIA. Принимает на вход текст и документы, поэтому подходит для работы с длинными материалами: анализ отчётов, выжимки и структурирование, редактура и переписывание, ответы на вопросы по содержанию файлов, помощь с кодом и технической документацией.
Максимальный объём одного ответа — 330 000 токенов, это сотни страниц. Такого запаса хватает на длинный отчёт, перевод большого документа или подробную техническую документацию целиком, без ручной разбивки на части. Контекстное окно при этом — миллион токенов.
Отдельный режим рассуждений в наших данных не отмечен, но это не значит, что его нет. Если нужны пошаговые выкладки, попросите об этом прямо в запросе: модель разберёт задачу по шагам внутри самого ответа — для разбора логики или расчётов этого обычно достаточно.
Пометки о вызове функций и строгом структурированном выводе в наших данных нет, поэтому гарантировать поддержку мы не будем. На практике формат можно задать прямо в промте и попросить вернуть только JSON. Перед продакшеном проверьте модель на своих сценариях через единый API BotHub.
Документы — да, это подтверждённая возможность: загружайте файлы и задавайте по ним вопросы. Картинки, аудио и видео как входные форматы в наших данных не отмечены. Если нужна работа с медиа, в BotHub рядом доступны мультимодальные модели, переключение происходит в одном окне.
Отдельных данных о качестве русского именно у этой модели у нас нет, поэтому обещать ничего не станем. Проще всего проверить на своём тексте: откройте switchyard на сайте или в Telegram-боте BotHub. Доступ из России без VPN и зарубежной карты, оплата рублями.