Máy chủ AI của Lenovo lần đầu tiên triển khai cục bộ, DeepSeek toàn mô hình dưới 1TB, hỗ trợ 100 đồng thời

GoldenOctober2024
DEEPSEEK-4,06%
G30,36%

Dữ liệu Kim Tứ ngày 3 tháng 3, Lenovo Group mới đây đã thông báo rằng dựa trên máy chủ Lenovo Hỏi Thiên WA7780 G3, họ đã thành công triển khai mô hình lớn DeepSeek-R1/V3 671B trên một máy duy nhất lần đầu tiên trong ngành, với dung lượng VRAM thấp hơn so với 1TGB được công nhận trong ngành (thực tế là 768GB), mang lại trải nghiệm mượt mà cho 100 người dùng song song. Theo dữ liệu thử nghiệm thực tế của Lenovo, trong môi trường thử nghiệm chuẩn 512 token, hệ thống này có thể hỗ trợ 100 người dùng song song liên tục nhận được đầu ra ổn định 10 token mỗi giây, với thời gian phản hồi token đầu tiên được nén xuống dưới 30 giây.

Xem bản gốc
Tuyên bố miễn trừ trách nhiệm: Thông tin trên trang này có thể đến từ bên thứ ba và không đại diện cho quan điểm hoặc ý kiến của Gate. Nội dung hiển thị trên trang này chỉ mang tính chất tham khảo và không cấu thành bất kỳ lời khuyên tài chính, đầu tư hoặc pháp lý nào. Gate không đảm bảo tính chính xác hoặc đầy đủ của thông tin và sẽ không chịu trách nhiệm cho bất kỳ tổn thất nào phát sinh từ việc sử dụng thông tin này. Đầu tư vào tài sản ảo tiềm ẩn rủi ro cao và chịu biến động giá đáng kể. Bạn có thể mất toàn bộ vốn đầu tư. Vui lòng hiểu rõ các rủi ro liên quan và đưa ra quyết định thận trọng dựa trên tình hình tài chính và khả năng chấp nhận rủi ro của riêng bạn. Để biết thêm chi tiết, vui lòng tham khảo Tuyên bố miễn trừ trách nhiệm.
Bình luận
0/400
Andruchovip
· 2025-03-03 05:30
tác giả tuyệt vời!!!
Xem bản gốcTrả lời0
Giao dịch tiền điện tử mọi lúc mọi nơi
qrCode
Quét để tải xuống ứng dụng Gate
Cộng đồng
Tiếng Việt
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)