Как работает bge-reranker-v2-m3?
Частые вопросы о bge-reranker-v2-m3
Вы можете использовать результаты генерации в коммерческих целях. Все права на созданный контент принадлежат вам. Единственное ограничение: убедитесь, что в запросе не использовались защищённые авторским правом материалы третьих сторон. Ответственность за соблюдение прав на входные данные лежит на пользователе.
Это реранкер: он получает поисковый запрос и список документов, а затем переоценивает их релевантность и возвращает оценки для пересортировки. Подходит как второй этап в RAG и семантическом поиске после выдачи из векторной базы вроде Qdrant или pgvector.
Модель не пишет текст: на выходе вы получаете числовые оценки релевантности для переданных пар запрос-документ. Планируйте не длину генерации, а объём входа — контекст составляет 4095 токенов, то есть запрос вместе с фрагментом документа должен в него укладываться.
Отдельный режим рассуждений в наших данных не отмечен, и для реранкера он не нужен: модель за один проход сравнивает запрос с документом и выдаёт оценку. Если вам нужны цепочки рассуждений, подключите в BotHub текстовую модель — API остаётся тем же.
Function calling в наших данных не отмечен. При этом ответ реранкера сам по себе машиночитаем: вы получаете оценки релевантности по каждому документу и легко разбираете их в своём коде для пересортировки результатов поиска перед передачей в генеративную модель.
Приём других модальностей в наших данных не отмечен — работайте с текстовыми парами запрос-документ. Если в пайплайне нужны картинки, аудио или видео, переключитесь на подходящую модель в BotHub: единый OpenAI-совместимый API позволяет сделать это без переписывания интеграции.
Семейство M3 от BAAI изначально проектировалось как многоязычное, поэтому реранкер применяют и к русскоязычным коллекциям. Качество всё же зависит от ваших данных, поэтому замерьте метрики ранжирования на собственной выборке — через BotHub это доступно без VPN и зарубежной карты.