Як підключити Open WebUI до Unquant

1. 1

   Додайте підключення

   В Open WebUI відкрийте Панель адміністратора → Налаштування → Підключення та додайте підключення в розділі OpenAI API:

   Підключення до OpenAI API

   URLhttps://api.unquant.io/v1

   КлючВаш API-ключ Unquant

   Збережіть зміни. Open WebUI отримує список моделей через /v1/models, тому модель вашого тарифу автоматично з’явиться в списку вибору моделей.

2. 2

   Установіть довжину контексту

   У розширених параметрах моделі встановіть довжину контексту відповідно до вікна вашого тарифу (до 262 144 токенів), щоб довгі розмови й документи не обрізалися.

Зображення та документи

• Розпізнавання зображеньобидві моделі приймають зображення. Open WebUI вбудовує завантажені файли в запит у форматі base64 (PNG, JPEG або WebP) — саме такий формат приймає Unquant. Зображення за URL-посиланнями не завантажуються.
• Документиз вікном контексту на 262 тис. токенів ви часто можете вставити документ цілком, замість того щоб покладатися на знайдені в ньому фрагменти.

Спільне використання з командою

Усі користувачі вашого екземпляра Open WebUI спільно використовують ваш тариф. Кількість одночасних потоків у тарифі визначає, скільки відповідей можуть генеруватися водночас; надлишкові запити отримують код 429, а не сповільнюють роботу всіх користувачів. Тому виберіть тариф із достатньою кількістю потоків для всіх, хто користуватиметься сервісом одночасно. Перегляньте тарифи.

Усунення несправностей