Как работает Rerank 3 Lite?
Rerank 3 Lite — компактный реранкер, оптимизированный под низкую задержку и качество; по сравнению с rerank-2.5-lite даёт прирост в среднем 0,94% NDCG@10 на доменных оценках и подключается как прямая замена без переписывания пайплайна. Работает второй ступенью поиска: отбирает кандидатов по векторам, затем уточняет их порядок по релевантности запросу. В BotHub — единый OpenAI-совместимый API без VPN и зарубежной карты, оплата в рублях по факту, шифрование и более 250 моделей в одном окне, для команд доступны договор, счёт, ЭДО и лимиты. Полезен в RAG на Qdrant и pgvector, в поиске по базе знаний, в подборе товаров и документов, в вопросах-ответах по регламентам и в отсеве нерелевантных фрагментов.Частые вопросы о Rerank 3 Lite
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Это реранкер: он оценивает, насколько каждый фрагмент текста соответствует запросу, и переставляет результаты по релевантности. Применяйте его поверх поиска или RAG, чтобы поднять точные ответы выше и убрать случайные совпадения перед отправкой в генеративную модель.
Связный текст он не пишет — на выходе ранжирование и оценки релевантности. За один запрос модель принимает до 32000 токенов контекста вместе с документами, лимит вывода — 28800 токенов, которые уходят на служебный ответ, а не на сочинение.
В наших данных такая возможность не отмечена. Реранкер решает узкую задачу — сравнить запрос с фрагментом и выставить оценку соответствия, поэтому длинных цепочек рассуждений от него не ждут. Для пошаговых размышлений берите генеративную модель в BotHub.
Вызов функций и структурированный вывод JSON в наших данных не отмечены. Задача модели — вернуть оценки релевантности для списка фрагментов, и для интеграции обычно хватает обычного HTTP-запроса из вашего пайплайна поиска.
Приём изображений, аудио и видео в наших данных не отмечен — модель работает с текстом: запросом и фрагментами документов. Скриншоты или записи ей не передать, зато текст можно отправлять через BotHub без VPN и зарубежной карты.
Отдельных сведений о работе с русским языком в данных модели нет, поэтому обещать качество не буду. Реранкер сравнивает смысл запроса и фрагмента, и разумно проверить его на своих документах: прогнать десяток запросов и посмотреть, как выстроилась выдача.