Cách kết nối Open WebUI với Unquant

1. 1

   Thêm kết nối

   Trong Open WebUI, mở Bảng quản trị → Cài đặt → Kết nối rồi thêm một kết nối trong mục API OpenAI:

   Kết nối API OpenAI

   URLhttps://api.unquant.io/v1

   KhóaKhóa API Unquant của bạn

   Lưu lại. Open WebUI đọc /v1/models, nên mô hình thuộc gói của bạn sẽ tự động xuất hiện trong danh sách chọn mô hình.

2. 2

   Đặt độ dài ngữ cảnh

   Trong phần tham số nâng cao của mô hình, đặt độ dài ngữ cảnh bằng kích thước cửa sổ ngữ cảnh của gói bạn dùng (tối đa 262.144 token) để các cuộc trò chuyện và tài liệu dài không bị cắt bớt.

Hình ảnh và tài liệu

• Khả năng hiểu hình ảnhcả hai mô hình đều nhận đầu vào là hình ảnh. Open WebUI gửi ảnh tải lên trực tiếp trong yêu cầu dưới dạng base64 (PNG, JPEG hoặc WebP), đúng định dạng Unquant chấp nhận. Unquant không tải ảnh từ liên kết URL.
• Tài liệuvới cửa sổ ngữ cảnh 262K, bạn thường có thể dán toàn bộ tài liệu thay vì phụ thuộc vào các đoạn trích được truy xuất.

Dùng chung trong nhóm

Mọi người trên bản triển khai Open WebUI của bạn đều dùng chung gói của bạn. Số luồng đồng thời trong gói là số câu trả lời có thể được tạo cùng lúc; các yêu cầu vượt mức sẽ nhận mã lỗi 429 thay vì làm chậm tất cả mọi người, vì vậy bạn nên chọn gói có đủ luồng cho số người sử dụng cùng lúc. Xem các gói dịch vụ.

Khắc phục sự cố