วิธีเชื่อมต่อ Open WebUI กับ Unquant

1. 1

   เพิ่มการเชื่อมต่อ

   ใน Open WebUI ให้เปิด แผงผู้ดูแลระบบ → การตั้งค่า → การเชื่อมต่อ แล้วเพิ่มการเชื่อมต่อในส่วน OpenAI API:

   การเชื่อมต่อ OpenAI API

   URLhttps://api.unquant.io/v1

   คีย์คีย์ API ของ Unquant ของคุณ

   บันทึกการตั้งค่า Open WebUI จะอ่านข้อมูลจาก /v1/models โมเดลที่รวมอยู่ในแพ็กเกจของคุณจึงปรากฏในรายการเลือกโมเดลโดยอัตโนมัติ

2. 2

   ตั้งค่าความยาวบริบท

   ในพารามิเตอร์ขั้นสูงของโมเดล ให้ตั้งค่าความยาวบริบทให้ตรงกับขนาดหน้าต่างบริบทของแพ็กเกจ (สูงสุด 262,144 โทเคน) เพื่อไม่ให้บทสนทนาและเอกสารขนาดยาวถูกตัดทอน

รูปภาพและเอกสาร

• การเข้าใจภาพทั้งสองโมเดลรับรูปภาพได้ Open WebUI จะส่งรูปภาพที่อัปโหลดแนบไปในคำขอในรูปแบบ base64 (PNG, JPEG หรือ WebP) ซึ่งเป็นรูปแบบที่ Unquant รองรับ ระบบจะไม่ดึงรูปภาพจากลิงก์ URL
• เอกสารด้วยหน้าต่างบริบทขนาด 262K คุณมักจะวางเอกสารทั้งฉบับได้โดยไม่ต้องพึ่งการค้นคืนข้อความเฉพาะบางส่วน

ใช้งานร่วมกับทีม

ทุกคนที่ใช้ Open WebUI อินสแตนซ์เดียวกันจะใช้แพ็กเกจของคุณร่วมกัน จำนวนสตรีมที่ทำงานพร้อมกันในแพ็กเกจคือจำนวนคำตอบที่ระบบสร้างได้ในเวลาเดียวกัน คำขอที่เกินขีดจำกัดจะได้รับรหัส 429 แทนที่จะทำให้ทุกคนใช้งานช้าลง จึงควรเลือกระดับแพ็กเกจที่มีสตรีมเพียงพอสำหรับจำนวนผู้ใช้งานพร้อมกัน ดูแพ็กเกจ

การแก้ไขปัญหา