Hôm nay đánh dấu sự ra mắt của kết quả Suy luận MLPerf v4.0, kết quả này đã nổi lên như một chuẩn mực ngành cho các hệ thống AI. Các điểm chuẩn này chịu trách nhiệm đánh giá hiệu suất ở cấp hệ thống bao gồm các ngăn xếp phần cứng và phần mềm hiện đại. Bộ điểm chuẩn bao gồm phân loại hình ảnh, phát hiện đối tượng, xử lý ngôn ngữ tự nhiên, nhận dạng giọng nói, đề xuất, phân đoạn hình ảnh y tế, trả lời câu hỏi LLM 6B và LLM 70B cũng như điểm chuẩn văn bản thành hình ảnh nhằm mục đích tái tạo các kịch bản triển khai khác nhau như trung tâm dữ liệu và biên .

Dell Technologies là thành viên sáng lập của MLCommons™ và đã tích cực đưa ra các đề xuất kể từ khi bắt đầu các tiêu chuẩn Suy luận và Đào tạo. Xem MLPerf™ Inference v2.1 của chúng tôi với Điểm chuẩn dựa trên GPU NVIDIA trên    sách trắng Máy chủ Dell PowerEdge giới thiệu điểm chuẩn Suy luận MLCommons.

Kết quả hoạt động của chúng tôi rất xuất sắc, đóng vai trò là chỉ số rõ ràng về quyết tâm của chúng tôi trong việc mang lại hiệu suất hệ thống vượt trội. Những cải tiến này cho phép hiệu năng hệ thống cao hơn khi cần thiết nhất, chẳng hạn như đối với khối lượng công việc AI tổng hợp (GenAI) đòi hỏi khắt khe.

Suy luận 4.0 có gì mới? 

Suy luận 4.0 và đệ trình của Dell bao gồm:

• Các tiêu chuẩn về tính năng trả lời câu hỏi và văn bản sang hình ảnh ổn định của Llama 2 mới được giới thiệu cũng như gửi trên các nền tảng Dell PowerEdge XE khác nhau. 
• Cải thiện hiệu suất GPT-J (cải thiện 225 phần trăm) và DLRM-DCNv2 (cải thiện 100 phần trăm). Hiệu suất thông lượng được cải thiện của khối lượng công việc GPTJ và DLRM-DCNv2 đồng nghĩa với việc các tác vụ xử lý ngôn ngữ tự nhiên như tóm tắt và đề xuất liên quan nhanh hơn sẽ giúp tăng doanh thu tương ứng.
• Gửi kết quả máy chủ lần đầu tiên với máy chủ PowerEdge R7615 và PowerEdge XR8620t được phát hành gần đây với bộ tăng tốc NVIDIA.
• Bên cạnh các kết quả dựa trên bộ tăng tốc, các kết quả chỉ dựa trên CPU của Intel. 
• Kết quả cho máy chủ PowerEdge có bộ tăng tốc Qualcomm.
• Kết quả về sức mạnh cho thấy điểm hiệu suất/watt cao cho các bài nộp. 
• Kết quả ảo hóa trên máy chủ Dell với Broadcom.  

Tổng quan về kết quả 

Dell Technologies đã cung cấp 187 trung tâm dữ liệu, 28 kết quả về nguồn điện cho trung tâm dữ liệu, 42 biên và 24 biên. Một số kết quả ấn tượng hơn đã được chúng tôi tạo ra:

• Dell PowerEdge XE9680, XE9640, XE8640 và máy chủ có GPU NVIDIA H100 Tensor Core
• Máy chủ Dell PowerEdge R7515, R750xa và R760xa với GPU NVIDIA L40S và A100 Tensor Core
• Máy chủ Dell PowerEdge XR7620 và XR8620t với GPU NVIDIA L4 Tensor Core
• Máy chủ Dell PowerEdge R760 với CPU Intel Emerald Rapids
• Dell PowerEdge R760 với bộ tăng tốc Qualcomm QAIC100 Ultra

Kết quả dựa trên NVIDIA bao gồm các GPU sau:

• GPU NVIDIA H100 tám chiều (SXM)
• GPU NVIDIA H100 bốn chiều (SXM)
• GPU NVIDIA A100 bốn chiều (PCIe)
• GPU NVIDIA L40S bốn chiều (PCIe)
• GPU NVIDIA L4

Các bộ tăng tốc này đã được đo điểm chuẩn trên các máy chủ khác nhau như máy chủ PowerEdge XE9680, XE8640, XE9640, R760xa, XR7620 và XR8620t trên các bộ trung tâm dữ liệu và bộ biên.

Dell đã đóng góp vào khoảng 1/4 ^{số lượng} đệ trình về trung tâm dữ liệu đóng và biên. Số lượng lớn các lựa chọn kết quả mang đến cho người dùng cuối cơ hội đưa ra quyết định mua hàng dựa trên dữ liệu cũng như đặt ra các kỳ vọng về hiệu suất và thiết kế trung tâm dữ liệu.

Điểm dữ liệu thú vị của Dell 

Các điểm dữ liệu thú vị nhất bao gồm:

• Kết quả hiệu suất trên các điểm chuẩn khác nhau đều rất xuất sắc và cho thấy máy chủ Dell đáp ứng nhu cầu ngày càng tăng để phục vụ các loại khối lượng công việc khác nhau. 
• Trong số 20 người nộp đơn, Dell Technologies là một trong số ít công ty đáp ứng được tất cả các tiêu chuẩn trong bộ phận khép kín dành cho bộ trung tâm dữ liệu. 
• Các máy chủ PowerEdge XE8640 và PowerEdge XE9640 so với các hệ thống bốn chiều khác đã giành được danh hiệu chiến thắng trên tất cả các điểm chuẩn, bao gồm cả điểm chuẩn khuếch tán ổn định mới ra mắt và điểm chuẩn Llama 2. 
• Máy chủ PowerEdge XE9680 so với các hệ thống tám chiều khác đã giành được một số danh hiệu chiến thắng về điểm chuẩn như ResNet Server, 3D-Unet, BERT-99 và BERT-99.9 Server.
• Máy chủ PowerEdge XE9680 mang lại hiệu suất/watt cao nhất so với các máy chủ khác với GPU NVIDIA H100 8 chiều cho ResNet Server, GPTJ Server và Llama 2 offline 
• Máy chủ Dell XR8620t cho các điểm chuẩn biên với GPU NVIDIA L4 vượt trội so với các bài nộp khác.
• Máy chủ PowerEdge R750xa với GPU NVIDIA A100 PCIe vượt trội so với các bài gửi khác trên các điểm chuẩn ResNet, RetinaNet, 3D-Unet, RNN-T, BERT 99.9 và BERT 99.
• Máy chủ PowerEdge R760xa với GPU NVIDIA L40S vượt trội hơn các bài gửi khác trên Máy chủ ResNet, Máy chủ RetinaNet, RetinaNet ngoại tuyến, 3D-UNet 99, RNN-T, BERT-99, BERT-99.9, DLRM-v2-99, DLRM-v2-99.9 , GPTJ-99, GPTJ-99.9, Máy chủ khuếch tán ổn định XL và Điểm chuẩn ngoại tuyến khuếch tán ổn định XL. 

Điểm nổi bật

Hình sau đây hiển thị các kịch bản hiệu suất Máy chủ và Ngoại tuyến khác nhau trong bộ trung tâm dữ liệu. Những kết quả này cung cấp một cái nhìn tổng quan; các blog tiếp theo sẽ cung cấp thêm chi tiết về kết quả.

Hình dưới đây cho thấy các máy chủ này mang lại hiệu suất tuyệt vời cho tất cả các kiểu máy trong tiêu chuẩn như ResNet, RetinaNet, 3D-UNet, RNN-T, BERT, DLRM-v2, GPT-J, Stable Diffusion XL và Llama 2. Lưu ý rằng điểm chuẩn khác nhau hoạt động trên quy mô khác nhau. Tất cả chúng đều được hiển thị theo trục y có tỷ lệ theo cấp số nhân trong hình sau:

Hình 1: Thông lượng hệ thống của các hệ thống được gửi cho bộ trung tâm dữ liệu.

Hình dưới đây hiển thị kết quả kịch bản một luồng và đa luồng cho biên cho các điểm chuẩn ResNet, RetinaNet, 3D-Unet, RNN-T, BERT 99, GPTJ và Stable Diffusion XL. Độ trễ càng thấp thì kết quả càng tốt và đối với kịch bản Ngoại tuyến thì càng cao càng tốt.

Hình 2: Kết quả biên với tổng quan về máy chủ PowerEdge XR7620 và XR8620t

Phần kết luận

Các kết quả trước đó đã được chính thức gửi tới MLCommons. Chúng là các kết quả tuân thủ MLPerf cho điểm chuẩn Inference v4.0 trên nhiều điểm chuẩn và bộ khác nhau cho tất cả các tác vụ trong điểm chuẩn như phân loại hình ảnh, phát hiện đối tượng, xử lý ngôn ngữ tự nhiên, nhận dạng giọng nói, đề xuất, phân đoạn hình ảnh y tế, LLM 6B và LLM 70B trả lời câu hỏi, chuyển văn bản thành hình ảnh. Những kết quả này chứng minh rằng các máy chủ Dell PowerEdge XE9680, XE8640, XE9640 và R760xa có khả năng mang lại hiệu suất cao cho khối lượng công việc suy luận. Dell Technologies đã giành được một số danh hiệu số 1 giúp máy chủ Dell PowerEdge trở thành sự lựa chọn tuyệt vời cho việc triển khai trung tâm dữ liệu và suy luận biên. Người dùng cuối có thể hưởng lợi từ vô số nội dung gửi giúp đưa ra các quyết định về hiệu suất và kích thước máy chủ, cuối cùng mang lại sự chuyển đổi AI cho doanh nghiệp và thể hiện cam kết của Dell trong việc mang lại hiệu suất cao hơn.