Gemma 4 รันในเครื่องเร็วขึ้นเกือบเท่าตัว — บิลด์ MLX ลง Ollama บน Apple Silicon แล้ว

MLX คือเฟรมเวิร์กสำหรับรันโมเดลบนชิป Apple โดยเฉพาะ ที่ผ่านมาถ้ารันโมเดลในเครื่องแบบไม่มี MLX มักช้ามาก ล่าสุด Ollama เพิ่มบิลด์ MLX ของ Gemma 4 เข้าไปแล้ว แปลว่าโหลด Ollama ตัวเดียว (ฟรี) ก็ได้ Gemma 4 แบบเร่งความเร็วมาเลย ไม่ต้องไปตั้ง MLX เอง

หลักที่ทำให้เร็วขึ้นคือเทคนิคเดาล่วงหน้า (speculative decoding) — โมเดลจะร่างและเดาผลถัดไปราว 3–5 สเต็ป แล้วเก็บอันที่เดาถูก ทำให้ได้ผลลัพธ์ไวขึ้นโดยจูนเองว่าจะเดากี่ token เพื่อไม่ให้ช้าลง

ตัวเลขที่วัดได้คือจากราว 50 tokens ต่อวินาที ขยับเป็นราว 95 tokens ต่อวินาที ซึ่งคิดเป็นเกือบเท่าตัว งานสายโค้ดดิ้งเห็นผลชัด แต่ต้องเข้าใจตรงกันว่าเลข 90% เป็นเคสดีที่สุด ไม่ใช่ทุกงาน หลายงานจริงเร็วขึ้นราว 60%

และต้องตั้งความคาดหวังให้ถูก: นี่เป็นโมเดลฟรีขนาดเล็ก ไม่ใช่ระดับ frontier งานเบา ๆ อย่าง to-do app, landing page, ดราฟต์คอนเทนต์ ทำได้ดี แต่งานที่ต้องกราฟิกเยอะหรือซับซ้อนมากยังต้องพึ่งโมเดลตัวใหญ่อยู่

ฟันธง: ถ้ามีเครื่อง Apple Silicon อยู่แล้ว อันนี้ลองได้ เพราะเปลี่ยนโมเดลในเครื่องจาก "ช้าจนแทบใช้ไม่ได้" มาเป็นพอใช้งานประจำได้จริง และช่วยประหยัด token เพราะไม่ต้องยิง API ทุกครั้ง

จุดที่ต้องระวัง: คุณภาพยังไม่เท่าโมเดล frontier งานยาก ๆ อย่าฝากไว้กับมันทั้งหมด ต่อยอด: ตั้ง Gemma 4 เป็นเครื่องยนต์งานประจำในเครื่องสำหรับงานซ้ำ ๆ แล้วส่งเฉพาะงานยากไปให้โมเดลตัวใหญ่ วิธีนี้ได้ทั้งความเร็ว ความเป็นส่วนตัว (ข้อมูลไม่ออกจากเครื่อง) และประหยัดค่าใช้จ่าย