ข้อมูล Benchmarks ของ Io.net เผยจุดสมดุลค่าใช้จ่าย-ประสิทธิภาพที่ “เหมาะสมที่สุด” สำหรับคลัสเตอร์ RTX 4090
บทความวิชาการที่ผ่านการตรวจสอบโดยผู้ทรงคุณวุฒิและได้รับการยอมรับให้นำเสนอในงานประชุม 6th International Artificial Intelligence and Blockchain Conference (AIBC 2025) ระบุว่า GPU ของผู้บริโภคที่ไม่ได้ใช้งาน เช่น Nvidia RTX 4090 สามารถช่วยลดต้นทุนในการรันการอนุมานของโมเดลภาษาใหญ่ (LLM) ได้อย่างมีนัยสำคัญ เมื่อใช้งานร่วมกับฮาร์ดแวร์ดาต้าเซ็นเตอร์แบบดั้งเดิม
บทความนี้มีชื่อว่า “Idle Consumer GPUs as a Complement to Enterprise Hardware for LLM Inference” โดย io.net เป็นการศึกษาแรกที่เผยแพร่ชุดข้อมูลเปรียบเทียบแบบเปิดของคลัสเตอร์ GPU แบบผสมบนคลาวด์แบบกระจายศูนย์ของโครงการ การวิเคราะห์เปรียบเทียบคลัสเตอร์ของการ์ดผู้บริโภคกับตัวเร่งประสิทธิภาพระดับดาต้าเซ็นเตอร์ H100 และพบการแลกเปลี่ยนระหว่างต้นทุนกับประสิทธิภาพที่ชัดเจน ซึ่งอาจเปลี่ยนแปลงแนวทางการออกแบบกลุ่มเซิร์ฟเวอร์อนุมานขององค์กรต่างๆ
จากบทความนี้ ระบุว่า คลัสเตอร์ที่สร้างจาก RTX 4090 สามารถให้ปริมาณงาน (throughput) ได้ระหว่าง 62 ถึง 78 เปอร์เซ็นต์ของ H100 โดยมีต้นทุนเพียงประมาณครึ่งหนึ่ง ในกรณีที่เป็นงานแบบกลุ่มหรือแอปพลิเคชันที่ทนต่อความหน่วง (latency-tolerant) ต้นทุนต่อโทเคนลดลงได้สูงสุดถึง 75 เปอร์เซ็นต์ นักวิจัยเน้นว่า การประหยัดนี้จะโดดเด่นที่สุดเมื่อผู้พัฒนาสามารถยอมรับความหน่วงสูงที่ปลายหาง หรือใช้ฮาร์ดแวร์ผู้บริโภคกับงานล้นและงานเบื้องหลัง เช่น การพัฒนา การประมวลผลแบบกลุ่ม การสร้าง embedding และการประเมินผลขนาดใหญ่
Aline Almeida หัวหน้าฝ่ายวิจัยของ IOG Foundation และผู้เขียนนำของบทความกล่าวว่า “ผลการศึกษาของเราแสดงให้เห็นว่าการกำหนดเส้นทางแบบผสมระหว่าง GPU ระดับองค์กรและผู้บริโภค มอบสมดุลที่เหมาะสมระหว่างประสิทธิภาพ ต้นทุน และความยั่งยืน แทนที่จะเลือกแบบใดแบบหนึ่ง โครงสร้างพื้นฐานแบบผสมช่วยให้องค์กรสามารถปรับแต่งตามข้อกำหนดด้านความหน่วงและงบประมาณ พร้อมลดผลกระทบต่อสิ่งแวดล้อม”
ฟลีต GPU แบบผสม
บทความนี้ไม่หลีกเลี่ยงการกล่าวถึงจุดแข็งของ H100: การ์ดดาต้าเซ็นเตอร์ของ Nvidia สามารถรักษาประสิทธิภาพ P99 time-to-first-token ต่ำกว่า 55 มิลลิวินาที แม้ภายใต้โหลดสูง ซึ่งเป็นขีดจำกัดที่ทำให้ H100 ยังขาดไม่ได้สำหรับแอปพลิเคชันที่ต้องการประสิทธิภาพแบบเรียลไทม์และไวต่อความหน่วง เช่น แชทบอทในระบบผลิตและเอเจนต์แบบโต้ตอบ ในทางตรงกันข้าม คลัสเตอร์ GPU ผู้บริโภคเหมาะกับทราฟฟิกที่สามารถทนต่อความหน่วงปลายหางที่ยาวขึ้น โดยผู้เขียนชี้ถึงช่วง P99 200–500 มิลลิวินาที ว่าเป็นจริงได้สำหรับงานวิจัยและการพัฒนา/ทดสอบหลายประเภท
พลังงานและความยั่งยืนก็เป็นส่วนหนึ่งของสมการเช่นกัน แม้ H100 จะมีประสิทธิภาพด้านพลังงานต่อโทเคนดีกว่าประมาณ 3.1 เท่า แต่การศึกษาชี้ว่าการใช้ GPU ผู้บริโภคที่ไม่ได้ใช้งานสามารถลดคาร์บอนฟุตพริ้นท์โดยรวมของการประมวลผลได้ ด้วยการยืดอายุใช้งานฮาร์ดแวร์และใช้โครงข่ายไฟฟ้าที่เกิดจากพลังงานหมุนเวียน กล่าวโดยสรุป ฟลีตแบบผสมสามารถทั้งถูกกว่าและเป็นมิตรต่อสิ่งแวดล้อมมากกว่า หากนำมาใช้เชิงกลยุทธ์
Gaurav Sharma ซีอีโอของ io.net กล่าวว่า “การวิเคราะห์ที่ผ่านการตรวจสอบโดยผู้เชี่ยวชาญนี้ยืนยันวิสัยทัศน์หลักของ io.net: อนาคตของการประมวลผลจะต้องกระจายศูนย์ เป็นแบบผสม และเข้าถึงได้ ด้วยการใช้ทั้งฮาร์ดแวร์ระดับดาต้าเซ็นเตอร์และผู้บริโภค เราสามารถทำให้ทุกคนเข้าถึงโครงสร้างพื้นฐาน AI ขั้นสูงได้อย่างเท่าเทียมพร้อมความยั่งยืนมากขึ้น”
คำแนะนำเชิงปฏิบัติจากบทความนี้มุ่งเป้าไปยังทีม MLOps และนักพัฒนา AI ผู้เขียนแนะนำให้ใช้ GPU ระดับองค์กรสำหรับการรับส่งข้อมูลแบบเรียลไทม์และความหน่วงต่ำ ขณะที่งานพัฒนา งานทดลอง และงานปริมาณมากให้ปรับไปที่คลัสเตอร์ผู้บริโภค พวกเขารายงานจุดที่เหมาะสมในการปฏิบัติงานคือการใช้ RTX 4090 สี่ใบ ซึ่งให้ต้นทุนต่อหนึ่งล้านโทเคนที่ดีที่สุด อยู่ระหว่าง $0.111 ถึง $0.149 พร้อมให้ประสิทธิภาพใกล้เคียง H100 ในสัดส่วนที่มาก
นอกเหนือจากผลการทดสอบนี้ งานวิจัยยังตอกย้ำพันธกิจของ io.net ในการขยายขีดความสามารถการประมวลผล โดยผสาน GPU กระจายศูนย์เข้าเป็นพูลที่ตั้งโปรแกรมและเรียกใช้งานได้ตามต้องการ บริษัทวางตำแหน่งสแต็กของตนที่ประกอบด้วยโครงสร้างพื้นฐาน io.cloud ที่ตั้งโปรแกรมได้ ร่วมกับชุดเครื่องมือ API ของ io.intelligence เป็นโซลูชันครบวงจรสำหรับสตาร์ทอัพที่ต้องการฝึกโมเดล รันเอเจนต์ และอนุมานขนาดใหญ่โดยไม่ต้องลงทุนซื้อฮาร์ดแวร์ดาต้าเซ็นเตอร์เพียงอย่างเดียว
ชุดข้อมูลทดสอบและระเบียบวิธีทั้งหมดเปิดเผยบน GitHub ของ io.net สำหรับผู้ที่ต้องการเจาะลึกตัวเลขและทำซ้ำการทดลองนี้ การศึกษานี้เติมเต็มเสียงเชิงประจักษ์ที่สำคัญให้กับการอภิปรายว่าควรขยายการใช้งาน LLM อย่างคุ้มค่าและยั่งยืนในอนาคตอย่างไร