สถานะ

สถานะ

วัดผลจากกรุงเทพฯ เปิดเผยตัวเลขจริงเสมอ ไม่ว่าจะเป็นผลดีหรือผลเสียกับเรา

วัดต่อเนื่อง เมตริกต่อโมเดล จากกรุงเทพฯ

เมตริกสาธารณะ

ยังไม่เปิดใช้งาน

หน้านี้จะแสดง time-to-first-token และ tokens-per-second ของแต่ละโมเดล วัดต่อเนื่องจากกรุงเทพฯ ด้วย benchmark เดียวกับที่ใช้กำหนดค่า routing เริ่มต้นของเรา การเผยแพร่ตัวเลขที่เราไม่ได้วัดจริงจะแย่กว่าการไม่เผยแพร่อะไรเลย หน้านี้จึงว่างไว้ก่อนจนกว่าการวัดผลจะเป็นของจริง

สิ่งที่จะแสดงที่นี่

เมื่อตัวเลขเป็นของจริง

  • Time-to-first-token (TTFT) ต่อโมเดล วัดอย่างต่อเนื่อง
  • Tokens-per-second (TPS) จาก harness ชุดเดียวกัน
  • สัญญาณความพร้อมใช้งาน / error ไม่ใช่แค่ latency ตอนปกติ
  • ชุดวัดเดียวกับที่ป้อนค่า routing เริ่มต้น — ไม่ใช่ probe แยกเพื่อการตลาด

ระหว่างนี้

สร้าง key หรืออ่านว่า routing กับ streaming ทำงานอย่างไรตอนนี้