Bonsai 27B — บีบโมเดล 27B ทั้งตัวจาก Qwen ให้เหลือ 3.9GB จนรันบนมือถือได้

เมื่อ 14 ก.ค. บริษัทชื่อ PrismML (ทีมนักวิจัยสาย Caltech ที่ Pasadena) เปิดตัว Bonsai 27B และเคลมว่าเป็นโมเดลระดับ 27B ตัวแรกที่รันบนมือถือได้ ความน่าสนใจอยู่ตรงตัวเลขขนาด โมเดล 27 พันล้านพารามิเตอร์แบบเต็ม 16-bit กินหน่วยความจำราว 54GB แม้แต่เวอร์ชัน 4-bit ก็ยังราว 17.5GB ซึ่งมือถือ (และโน้ตบุ๊กส่วนใหญ่) แตะไม่ได้ แต่ PrismML บีบมันลงเหลือ 3.9GB

จุดที่ต้องเน้นคือ Bonsai ไม่ใช่โมเดลใหม่ที่สร้างจากศูนย์ แต่เป็น Qwen 3.6 27B ของ Alibaba ที่เก็บ weight ด้วยวิธีใหม่ โครงสร้างและจำนวนพารามิเตอร์เท่าเดิม เปลี่ยนแค่วิธีเข้ารหัส มีสองรุ่น: แบบ 1-bit ขนาด 3.9GB สำหรับมือถือ และแบบ 1.58-bit (ternary) ขนาด 5.9GB สำหรับโน้ตบุ๊กที่มีที่ว่างกว่าและอยากได้คุณภาพเพิ่ม ทั้งคู่เปิดใต้ Apache 2.0 และอยู่บน Hugging Face แล้ว

มันไม่ใช่ผู้ช่วยแบบตัดทอน แต่เป็น multimodal คือรับภาพได้ด้วย อ่าน screenshot เอกสาร หรือภาพจากกล้องบนเครื่องได้เลย มาพร้อม thinking mode ที่คิดเป็นขั้นตอน ทำ tool calling แบบมีโครงสร้างเพื่อเสียบเข้า agent workflow ได้ และถือ context ได้ถึง 262,000 token บนเครื่อง ซึ่งยาวพอจะกินเอกสารทั้งชุดหรือทั้ง repo โค้ดไว้ในหัวพร้อมกัน

ด้านความเร็ว บน iPhone 17 Pro Max ได้ราว 11 token/วินาที บนโน้ตบุ๊ก M5 Pro ราว 44 token/วินาที และที่น่าสนใจคือกินแบตประมาณ 672 token ต่อแบต 1% หรือราว 67,000 token ต่อการชาร์จเต็มหนึ่งครั้ง แปลว่าใช้ทำงานจริงได้ ไม่ใช่โชว์ครั้งเดียวแล้วหมดแบต

มุมที่ใช้ได้จริงของโมเดลรันบนเครื่องไม่ใช่ "เร็ว" แต่คือ "ข้อมูลไม่ออกจากเครื่อง" ถ้าคุณทำงานกับเอกสารอ่อนไหว — ไฟล์ลูกค้า สัญญา ข้อมูลภายใน — การประมวลผลบนอุปกรณ์แปลว่าพรอมป์และไฟล์ไม่ต้องส่งขึ้นคลาวด์ นี่คือเหตุผลหลักที่ควรจับตาสายนี้ และเป็นวิธีลองโมเดลจริงจังบนเครื่องที่มีอยู่แล้วโดยไม่ต้องสมัครหรือรอคิว

ฟันธงการใช้งาน: ถ้าอยู่โน้ตบุ๊กให้เลือกรุ่น ternary 5.9GB เพราะคุณภาพต่างกันจริงและมีที่ว่างพอ ใช้รุ่น 1-bit เฉพาะตอนลงมือถือจริง ๆ และอย่าใช้มันเป็นสารานุกรม เพราะความจำข้อเท็จจริงตกก่อนเพื่อน (ซีอีโอเองก็บอกกับ CNBC ว่าสิ่งแรกที่เสื่อมคือ factual recall ก่อนพวกเหตุผล/คณิต/โค้ด) ให้ใช้มันคิดต่อจากข้อมูลที่เรามีอยู่แล้วมากกว่าถามหาข้อเท็จจริงใหม่ จุดที่ต้องระวังเพิ่ม: ตัวเลขทั้งหมดยังเป็นการทดสอบของผู้ผลิตเอง ยังไม่มีเจ้าอื่นยืนยันอิสระ และมีรายงานผู้ใช้บางส่วนเจอ output เพี้ยนช่วงแรก — ถือเป็นของใหม่ที่น่าตื่นเต้นแต่ยังมีขอบหยาบ ควรลองในงานที่ไม่คอขาดบาดตายก่อน