Перейти к основному содержимому

Интеграция с LibreChat

Как настроить LibreChat для доступа к нейросетям через BotHub​

Примечание. Программа LibreChat обладает ограниченными функциями (и сложна в установке). Если требуется больше гибкости, лучше выбрать одно из следующих решений:

• Msty, Cherry Studio (для Windows, Linux, macOS);

• Open WebUI (сервер + доступ через браузер).

LibreChat — это бесплатное опенсорсное приложение для чат‑ботов «всё в одном», своего рода ChatGPT‑клон, который не привязан к одному поставщику ИИ.

У LibreChat есть веб‑интерфейс (очень похожий на обычные чат-боты), куда вы можете подключать любые сервисы с OpenAI‑совместимым API.

Как установить и настроить​

Убедитесь, что у вас установлены Git (https://git‑scm.com/downloads и Node.js (https://nodejs.org/en/download, если нет — их нужно установить.

1. Установка MongoDB​

Скачайте и установите MongoDB (https://www.mongodb.com/try/download/community.

2. Клонирование LibreChat​

Скачайте проект LibreChat следующей командой:

git clone https://github.com/danny-avila/LibreChat.git D:\LibreChat

3. Настройка LibreChat\env​

Перейдите в папку проекта D:\LibreChat и найдите файл .env.example. Скопируйте его под именем .env (всего в имени четыре символа).

Настройка секретных ключей​

Откройте .env в текстовом редакторе и заполните секретные ключи: CREDS_KEY, CREDS_IV, JWT_SECRET, JWT_REFRESH_SECRET, MEILI_MASTER_KEY. Эти ключи нужны для шифрования в LibreChat. Создать их можно в официальном генераторе. Просто нажмите Generate и скопируйте получившиеся строки в соответствующие поля файла .env (после знаков =). Это нужно сделать перед первым запуском LibreChat.

Ключ доступа к агрегатору нейросетей​

Дальше добавим ключ доступа BotHub API Key.

1. Переходим на https://bothub.chat/ru/profile/for‑developers

2. Нажимаем Добавить ключ.

3. Пишем произвольное название, которое поможет отличать этот ключ от других. Например, «LibreChat».

4. В файл .env дописываем в любом месте новую строку, написав ключ после знака =:

BOTHUB_API_KEY=abc56f3657f7b65bd765...

4. Настройка LibreChat\librechat.yaml​

Теперь пропишем в настройках LibreChat точку доступа к BotHub. Скопируйте файл librechat.yaml.example (там же в корне LibreChat) под именем librechat.yaml. Откройте его и в разделе endpoints.custom добавьте блок - name: "BotHub".

Не забывайте про отступы: - name начинается с 4 пробелов, последующая строка с 6 пробелов и так далее.

endpoints:
  custom:
    # ...Здесь предыдущие custom-эндпойнты (которые можно удалить)...

    - name: "BotHub"
      baseURL: "https://openai.bothub.chat/v1"
      apiKey: "${BOTHUB_API_KEY}"
      models:
        default:
          [
            "gpt-5",
            "claude-sonnet-4",
            "grok-4",
            "deepseek-r1-0528",
            "gemini-2.5-pro-preview",
            "kimi-k2",
          ]
        fetch: true
      titleConvo: true
      titleModel: "current_model"
      modelDisplayLabel: "BotHub"

"${BOTHUB_API_KEY}" — так и пишется в виде переменной, сюда не нужно вставлять фактический ключ — он подхватится из файла .env.

Набор моделей в списке (gpt-5, claude-sonnet-4, grok-4 и т. д.) — просто для примера, так как насовсем удалять параметр default нельзя. На самом же деле, благодаря включённому fetch: true, список будет подгружаться автоматически.

5. Установка зависимостей LibreChat​

Выполним через командную строку команду npm ci, которая установит необходимые модули:

cd /d D:\LibreChat && npm ci

Это команда запустит Node.js, который установит нужные компоненты, требующиеся для LibreChat (они описаны в файлах package.json и package-lock.json).

Теперь соберём фронтенд:

cd /d D:\LibreChat && npm run frontend

Скриншоты процесса установки:

6. Запуск сервера + создание ярлыка​

Процесс запуска выглядит следующим образом:

  1. Запускаем сервер: npm start backend;

  2. Открываем LibreChat в любом браузере: http://locahost:3080

Появившиеся строчки журнала с датой‑временем указывают на то, что сервер находится в активном состоянии:

Чтобы не делать это вручную каждый раз, создайте ярлык, который сначала запустит сервер, а потом браузер (в Windows: правая кнопка мыши → Создать → Ярлык). В качестве пути к объекту укажите такую команду (она одновременно проверяет сервер и открывает страницу):

C:\Windows\System32\cmd.exe /c "curl -s http://localhost:3080 >nul 2>&1 && (start http://localhost:3080) || (start cmd /k cd /d D:\LibreChat ^&^& npm run backend & timeout /t 3 >nul & start http://localhost:3080)"

Если после запуска LibreChat страница в браузере не загружается, подождите несколько минут и обновите её.

7. Регистрация и тестирование чата​

Регистрация​

1. Находясь в открытом LibreChat, нажмите Sign up.

2. Введите данные: имя, никнейм (опционально), электронную почту, пароль с подтверждением. Данные никуда не отправляются, поэтому можно написать произвольные.

3. На следующем экране войдите в систему с теми же почтой и паролем.

Интерфейс LibreChat​

Откроется главная страница LibreChat — интерфейс, напоминающий ChatGPT или Grok.

Основные функции здесь:

  1. Отобразить/скрыть список чатов.

  2. Начать новый чат.

  3. Выбор модели. В списке уже будет BotHub, который мы добавили. Нажмите на него и выберите одну из моделей (например, gpt-5 или claude‑sonnet-4.5). LibreChat обращается к BotHub через API и получает сгенерированные ответы.

  4. Активировать функцию «временных чатов», которые не сохранятся в списке.

  5. Отбразить правую боковую панель, в которой есть несколько дополнительных функций (выбор заготовленных промптов, функция памяти и др).

Искать модели можно в двух полях: Search models... или Search BotHub models....

Теперь можно начать диалог: задайте боту любой вопрос и посмотрите, как ответ и рассуждения появятся в потоковом режиме.

Если вы хотите убрать ненужные элементы из списка моделей, сделать это можно редактированием файла librechat.yaml — просто удалив ненужные элементы. Благодаря этому, ускорится поиск через Search models..., ведь из результатов исчезнут стандартные заготовки.

Какие строки можно удалить из librechat.yaml (~97 строк):

# Groq Example
- name: "groq"
  apiKey: "${GROQ_API_KEY}"
---

---

---
forcePrompt: false
modelDisplayLabel: "Portkey"
iconURL: https://images.crunchbase.com/image/upload/c_pad,f_auto,q_auto:eco,dpr_1/rjqy7ghvjoiu4cd1xjbf

В браузере можно создать дополнительные закладки для быстрого запуска моделей. Например:
• http://localhost:3080/c/new?endpoint=BotHub&model=gpt-5 • http://localhost:3080/c/new?endpoint=BotHub&model=claude‑sonnet-4 • http://localhost:3080/c/new?endpoint=BotHub&model=deepseek‑r1-0528

Как обновить?​

Если в будущем вы захотите обновить программу LibreChat, сделать это можно следующей командой:

cd /d D:\LibreChat && npm ci

Отличия установки для Linux и Mac​

Отличия для Linux​

1. MongoDB можно также установить из пакетного менеджера: sudo apt install -y mongodb.

2. В Linux используйте пути вида /home/you/LibreChat или ~/LibreChat.

3. Расположение .env:
~/LibreChat/.env

4. Расположение librechat.yaml:
~/LibreChat/librechat.yaml

5. Отличается путь: cd ~/LibreChat && npm ci. Иногда npm ci может запросить права sudo, но лучше ставить без него.

6. В Linux нет ярлыков, зато можно сделать файл .desktop или shell‑скрипт. Например, создайте скрипт ~/LibreChat/start_librechat.sh (права chmod +x) с содержимым:

#!/bin/bash
cd ~/LibreChat
npm run backend &
sleep 2
xdg-open http://localhost:3080

Отличия для Mac​

1. При наличии Homebrew можно выполнить brew tap mongodb/brew и brew install mongodb-community.

2. Отличаются пути: /Users/you/LibreChat или ~/LibreChat.

3. Расположение .env:
~/LibreChat/.env

4. Расположение librechat.yaml:
~/LibreChat/librechat.yaml

5. Путь тоже линуксообразный: cd ~/LibreChat && npm ci. Если появятся ошибки прав, возможно следует исправить владельца папки перед установкой: sudo chown -R \$(whoami) ~/LibreChat.

6. Схоже с Linux: можно создать Automator‑приложение или shell‑скрипт, состоящий из команд npm run backend и open http://localhost:3080.

Настройка прикрепления файлов​

В LibreChat не имеется встроенной поддержки загрузки файлов. Если точнее, можно загружать лишь изображения, а все прочие форматы — plain text (.txt, .csv, .tsv, исходный код и т. д.), офисные (.pdf, .docx, .xlsx, .pptx и др.) — «из коробки» недоступны.

Чтобы она заработала, нужно установить несколько дополнительных приложений, об этом рассказывается ниже.

Важно отметить, что даже после этого работа с офисными форматами файлов (.pdf, .docx, .xlsx, .pptx и др.) будет ограниченной — только в режиме RAG. Поэтому LibreChat не подходит, например, для суммаризации привычных форматов файлов. Если вам нужна более привычная работа с вложениями, лучше переключиться на Open WebUI (https://bothub.chat/api/documentation/open_webui) или веб-версию BotHub. Обходной путь — предварительно конвертировать файлы в .txt.

1. Установите PostgreSQL (https://www.postgresql.org/download/.

2. В процессе установки нужно будет придумать пароль суперпользователя, сохраните его.

3. Установите или обновите Build Tools for Visual Studio. Эти инструменты нужны, чтобы собрать расширение pg_vector.

4. Клонируйте проект pgvector:

git clone https://github.com/pgvector/pgvector.git D:\pgvector

5. Через «Пуск» запустите x64 Native Tools Command Prompt for VS 2022 — специальную консольную среду, которая активирует нужные переменные. (Этот ярлык откроет следующий .bat‑файл: %comspec% /k "C:\Program Files (x86)\Microsoft Visual Studio\2022\BuildTools\VC\Auxiliary\Build\vcvars64.bat".)

Как вариант, её можно запустить через новую вкладку в уже открытой командной строке:

6. В открывшейся среде соберите pg_vector при помощи команды:

set "PGROOT=C:\Program Files\PostgreSQL\17" && cd /d D:\pgvector && nmake /F Makefile.win && nmake /F Makefile.win install

x64 Native Tools Command Prompt for VS 2022 можно закрыть. После успешного запуска появятся собранные файлы расширений в этих папках:

  • C:\Program Files\PostgreSQL\17\share\extension\

  • C:\Program Files\PostgreSQL\17\include\server\extension\vector\

7. Откройте консольный PosgreSQL (psql) от имени суперпользователя postgres:

"c:\Program Files\PostgreSQL\17\bin\psql.exe" -U postgres -h localhost -p 5432

Если запросит, введите заданный при установке пароль и нажмите Enter. Пароль не отображается при вводе (даже звёздочками).

8. Находясь в psql, создадим для RAG базу данных и виртуального пользователя. С помощью такой команды:

CREATE DATABASE rag_db; CREATE USER rag_user WITH PASSWORD 'rag_password_123456' SUPERUSER;

(Если менять пароль на другой, его нужно модифицировать также в файле D:\rag_api\env.)

9. Клонируйте проект rag_api:

git clone https://github.com/danny-avila/rag_api D:\

10. Переходим к Python. Для rag_api подходит только Python 3.11 или 3.12. Если у вас нет 3.12, установите отсюда: https://www.python.org/downloads/

Лучше ставить в папку с коротким путём, например C:\Python312\. Обязательно включите опцию Add python.exe to PATH, иначе селектор py не найдёт нужную версию.

11. Следующей командой создадим и активируем виртуальное окружение, а также установим зависимости:

py -3.12 -m venv C:\rag_env && C:\rag_env\Scripts\activate && cd /d D:\rag_api && pip install -r requirements.txt

12. Создадим файл D:\rag_api\.env, следующего содержания:

VECTOR_DB_TYPE=pgvector
POSTGRES_DB=rag_db
POSTGRES_USER=rag_user
POSTGRES_PASSWORD=rag_password_123456
DB_HOST=localhost
DB_PORT=5432
DB_NAME=rag_db
COLLECTION_NAME=ragapicollection

# Перед началом индексации данные делятся на фрагменты длиной 1500 символов,
# с перехлестом в 100 символов. Эти значения можно изменить ниже.
CHUNK_SIZE=1500
CHUNK_OVERLAP=100

# Указываем провайдера и модель для эмбеддингов.
# Для intfloat/multilingual-e5-base (≈110M параметров)
# требуется 1,2–1,5 RAM/VRAM.
# Примеры других мультиязычных моделей, которые попробовать:
# - sentence-transformers/all-MiniLM-L6-v2 (≈22M параметров, ~0,4–0,6 ГБ RAM/VRAM)
# - BAAI/bge-large-zh/bge-large-m3 (≈330M параметров, ~3,5–4,5 ГБ RAM/VRAM)
EMBEDDINGS_PROVIDER=huggingface
EMBEDDINGS_MODEL=intfloat/multilingual-e5-base

# Параметры сервера RAG API:
RAG_HOST=0.0.0.0
RAG_PORT=8000

13. Наконец, подключаем RAG‑сервер к LibreChat’у. Откройте файл D:\LibreChat\.env и добавьте строку:

RAG_API_URL=http://0.0.0.0:8000

Подготовка закончена, дальше начинается запуск и тестирование.

Запуск RAG-сервера​

Запустим RAG-сервер следующей командой:

cd /d D:\rag_api && C:\rag_env\Scripts\python.exe ‑m uvicorn main:app ‑host 0.0.0.0 ‑port 8000

Вдобавок к основному ярлыку (запускающему LibreChat) можно создать и второй, который будет стартовать RAG-сервер.

Создайте такой ярлык в Windows, назвав его «RAG‑сервер для LibreChat», и присвойте ему команду: cmd /k "cd /d D:\rag_api && C:\rag_env\Scripts\python.exe -m uvicorn main:app --host 0.0.0.0 --port 8000".

При первом выполнении скачается эмбеддинг‑модель с Hugging Face.

Так выглядит окно запущенного RAG-сервера:

Как прикреплять файлы в режиме RAG​

Пока активен запущенный в командной строке RAG‑сервер, в LibreChat становится возможным прикреплять файлы обычного текста вроде .txt (в полном виде — через Upload as text, в режиме RAG — через Upload for file search), а также стандартные офисные форматы: .pdf, .docx, .xlsx, .ppts и т. д. (через Upload for file search).

Файлы можно прикреплять не только значком скрепки, но и перетаскиванием из проводника в браузер — во втором случае тоже отобразится меню для выбора способа.

Когда файл или файлы приложены к чату (кстати, доступно добавление разных форматов в одном сообщении, например текстов и изображений), они становятся частью сообщения и диалога: можно просить выполнить суммаризацию, рерайт, перевод, поиск и объяснение информации, проверку, сравнение и многое другое.

Более подробная версия статьи: