Nvidia giới thiệu chip Groq LPX đầu tiên: Kết hợp với Vera Rubin nâng cao hiệu suất suy luận lên tới 35 lần trên mỗi megawatt, và trưng bày nguyên mẫu Kyber thế hệ tiếp theo

Tin tức Gate News, ngày 17 tháng 3, Nvidia ra mắt chip Groq 3 LPU (đơn vị xử lý ngôn ngữ), đây là chip đầu tiên sau khi Nvidia mua lại startup chip suy luận AI Groq vào tháng 12 năm ngoái với giá khoảng 20 tỷ USD. Dự kiến sẽ bắt đầu xuất xưởng vào quý III năm nay. Khung máy Groq 3 LPX có thể chứa 256 LPU, trang bị 128GB SRAM tích hợp trên chip và băng thông liên kết mở rộng 640TB mỗi giây. Chính thức cho biết khi kết hợp LPX với Vera Rubin NVL72, mỗi megawatt công suất suy luận có thể tăng tới 35 lần, đồng thời mở ra tiềm năng doanh thu từ các kịch bản suy luận với hàng nghìn tỷ tham số và hàng triệu token ngữ cảnh. Jensen Huang mô tả hai bộ xử lý này là “cực kỳ khác biệt nhưng lại thống nhất: một hướng tới thông lượng cao, một hướng tới độ trễ thấp”, bộ nhớ trên chip của LPX đã mở rộng đáng kể tổng bộ nhớ có thể sử dụng của mô hình. Khung máy LPX dự kiến sẽ ra mắt cùng nền tảng Vera Rubin vào nửa cuối năm nay. Ngoài ra, Jensen Huang còn trình diễn nguyên mẫu kiến trúc khung máy thế hệ tiếp theo mang mã Kyber. Kyber sẽ chuyển đổi khay tính toán gồm 144 GPU sang dạng xếp dọc để nâng cao mật độ vật lý, giảm độ trễ, dự kiến sẽ trang bị cho nền tảng kế nhiệm Vera Rubin là Vera Rubin Ultra, dự kiến ra mắt vào năm 2027.