Pokee-Isaac 28B โมเดล context 10 ล้าน token ที่เคลมว่ายังจำได้จริงตอนเต็มถัง และรันบนการ์ดใบเดียว
สารบัญ
สรุปให้ไว
context 10 ล้าน token
ป้อนโค้ดทั้งโปรเจกต์หรือแชตทั้งปีเข้าไปทีเดียวได้ ไม่ต้องหั่นเป็นชิ้น
เคลมว่า "จำได้จริง"
ทดสอบ RULER ที่ 10 ล้าน token ยังได้ 93.3% ขณะที่หลายรุ่นดังตกเหลือ 0 หลังเกิน 2 ล้าน
รันบนการ์ดใบเดียว
เริ่มจาก RTX 4090 ระดับที่คนทั่วไปซื้อได้ ไม่ต้องมีคลัสเตอร์
เป็น agent ในตัว
วางแผน เรียกเครื่องมือ และทำงานหลาย step ได้ ไม่ใช่แค่ตอบคำถาม
01มันคืออะไร
Pokee-Isaac 28B เป็นโมเดลจาก Pokee AI ที่มีพารามิเตอร์ 28 พันล้าน จัดเป็นขนาดกลาง ไม่เล็กไม่ใหญ่ จุดที่ทำให้คนหันมามองคือคำเคลมว่ามันเป็นโมเดลแรกที่รับ context ได้ถึง 10 ล้าน token แบบ "ใช้ได้จริง" 10 ล้าน token คิดคร่าว ๆ ราว 15 ล้านคำ เท่ากับโค้ดทั้ง codebase ประวัติแชตทีมทั้งปี หรือสัญญายาว ๆ หลายสิบฉบับรวมกันในพรอมป์เดียว โดยไม่ต้องหั่นเอกสารเป็นชิ้นเล็ก ๆ แล้วค่อย ๆ ป้อน และมันถูกออกแบบมาให้ทำงานแบบ agent คือวางแผนและเรียกเครื่องมือทำงานยาว ๆ ได้เอง
02ทำไมต้องย้ำคำว่า "จริง"
เรื่องที่วงการรู้กันคือ ตัวเลข context บนกล่องกับสิ่งที่โมเดลใช้ได้จริงมักไม่ตรงกัน หลายรุ่นบอกว่ารับได้ล้านหรือสองล้าน token แต่พอทดสอบด้วยวิธี RULER ซึ่งเป็นการซ่อนข้อเท็จจริงไว้ลึก ๆ ในกองข้อความแล้วให้ไปหา โมเดลดัง ๆ กลับตกลงเหลือศูนย์เมื่อเกิน 2 ล้าน token แปลว่าหน้าต่างมีอยู่บนกระดาษ แต่ดึงอะไรกลับมาไม่ได้ Pokee เคลมว่ารุ่นนี้ยังอยู่เหนือ 93% ไปจนสุด 10 ล้าน token และได้ 93.3% ที่จุดเต็มถัง ซึ่งถ้าจริงตามที่รายงาน นี่คือความต่างสำคัญระหว่าง "หน้าต่างใหญ่" กับ "หน้าต่างที่ยังทำงานตอนเต็ม"
จุดเด่นทางเทคนิค
- ★
รันบนเครื่องเดียว
เริ่มจาก GPU ใบเดียวระดับ RTX 4090 ขึ้นไป ไม่ต้องมีห้องเซิร์ฟเวอร์
- ★
เก็บข้อมูลในกำแพงตัวเอง
รันในคลาวด์ส่วนตัว ออฟฟิศ หรือบนอุปกรณ์ได้ ข้อมูลไม่ต้องออกนอกองค์กร
- ★
รองรับตั้งแต่วันแรก
เชื่อมกับ vLLM และ SGLang ที่คนใช้เสิร์ฟโมเดลกันอยู่แล้ว
- ★
สถาปัตยกรรมเฉพาะ
ไม่ใช่ decoder-only ล้วน ๆ ทำให้ประคองหน่วยความจำได้ยาวกว่าปกติ
03จุดที่ต้องระวัง
ตัวเลขทั้งหมดมาจากการทดสอบและรายงานของผู้สร้างเอง จึงควรถือเป็นคำเคลมที่รอการยืนยันจากภายนอกก่อน อีกจุดที่ต่างจากโมเดลเปิดหลายตัวคือ Pokee-Isaac ปล่อยเป็น API และตัวเลือกติดตั้งเองเป็นหลัก ไม่ได้เปิดน้ำหนักให้โหลดฟรีแบบโมเดลโอเพนซอร์ส ดังนั้นถ้าจะใช้ในองค์กรต้องดูเงื่อนไขการติดตั้งและค่าใช้จ่ายให้ชัด
04เกี่ยวอะไรกับเรา
ฟันธง: น่าจับตา แต่ยังไม่ต้องรีบทุ่ม ถ้างานคุณคือให้ AI อ่านของยาวมาก ๆ ทีเดียว เช่น รวมเอกสารทั้งโครงการ ไล่สัญญาหลายฉบับพร้อมกัน หรือให้ผู้ช่วยเข้าใจบริบทงานทั้งก้อนโดยไม่ต้องตัดทอน ความสามารถแบบนี้ตอบโจทย์ตรงจุด และการที่รันในกำแพงองค์กรได้ก็ช่วยเรื่องความเป็นส่วนตัวของข้อมูล แต่เพราะตัวเลขยังเป็นคำเคลมของผู้สร้าง วิธีที่ปลอดภัยคือรอรีวิวอิสระ หรือถ้าจะลองก่อน ให้ทดสอบกับงานจริงของคุณเองแล้ววัดว่ามันดึงข้อมูลจากส่วนลึกของเอกสารได้แม่นแค่ไหน อย่าเชื่อตัวเลขบนสไลด์อย่างเดียว และงานที่ข้อมูลอ่อนไหวต้องมีคนตรวจก่อนใช้เสมอ