Open WebUI를 Unquant에 연결하는 방법

1. 1

   연결 추가

   Open WebUI에서 관리자 패널 → 설정 → 연결을 열고 OpenAI API 아래에 연결을 추가하세요:

   OpenAI API 연결

   URLhttps://api.unquant.io/v1

   키Unquant API 키

   저장하세요. Open WebUI가 /v1/models를 읽으므로 플랜의 모델이 모델 선택기에 자동으로 나타납니다.

2. 2

   컨텍스트 길이 설정

   모델의 고급 파라미터에서 컨텍스트 길이를 플랜의 윈도우(최대 262,144 토큰)로 설정하세요. 그래야 긴 대화와 문서가 잘리지 않습니다.

이미지와 문서

• 비전두 모델 모두 이미지를 허용합니다. Open WebUI는 업로드를 base64 인라인(PNG, JPEG 또는 WebP)으로 전송하며, 이것이 Unquant가 허용하는 방식입니다. URL 형태의 이미지 링크는 가져오지 않습니다.
• 문서262K 윈도우를 사용하면 검색 스니펫에 의존하지 않고 전체 문서를 붙여넣을 수 있는 경우가 많습니다.

팀과 공유

Open WebUI 인스턴스의 모든 사용자가 플랜을 공유합니다. 플랜의 동시 스트림은 동시에 생성할 수 있는 답변 수입니다; 추가 요청은 모든 사람의 속도를 늦추는 대신 429를 반환하므로, 동시 사용 인원에 맞는 충분한 스트림이 있는 티어를 선택하세요. 플랜을 확인하세요.

문제 해결