Tổng quan về suy luận MLPerf

Kể từ tháng 3 năm 2021, suy luận MLPerf đã gửi ba phiên bản: v0.5, v0.7 và v1.0. Phiên bản mới nhất, v1.0, sử dụng cùng điểm chuẩn như v0.7 với các ngoại lệ sau:

• Gửi nhanh — Hỗ trợ gửi nhanh, là một trình bao bọc xung quanh gửi suy luận.
• Mã kết nối lỗi (ECC) —ECC phải được đặt thành BẬT.
• Thời gian chạy 10 phút —Thời gian chạy điểm chuẩn mặc định là 10 phút.
• Số lần chạy cần thiết để gửi và kiểm tra kiểm tra —Số lần chạy cần thiết để gửi Kịch bản máy chủ là một.

v1.0 đáp ứng các yêu cầu của v0.7, do đó kết quả v1.0 có thể so sánh với kết quả v0.7. Do các lần gửi MLPerf v1.0 bị hạn chế hơn nên kết quả v0.7 không đáp ứng các yêu cầu của v1.0.  

Trong khung đánh giá suy luận MLPerf, trình tạo tải LoadGen gửi các truy vấn suy luận đến hệ thống đang được kiểm tra (SUT). Trong trường hợp của chúng tôi, SUT là máy chủ Dell EMC với nhiều cấu hình GPU khác nhau. SUT sử dụng chương trình phụ trợ (ví dụ: TensorRT, TensorFlow hoặc PyTorch) để thực hiện suy luận và trả kết quả về LoadGen.

MLPerf đã xác định bốn kịch bản khác nhau cho phép thử nghiệm đại diện cho nhiều nền tảng suy luận và trường hợp sử dụng khác nhau. Sự khác biệt chính giữa các kịch bản này dựa trên cách gửi và nhận truy vấn:

• Ngoại tuyến —Một truy vấn với tất cả các mẫu được gửi đến SUT. SUT có thể gửi lại kết quả một lần hoặc nhiều lần theo bất kỳ thứ tự nào. Số liệu hiệu suất là mẫu mỗi giây.
• Máy chủ —Các truy vấn được gửi đến SUT theo phân phối Poisson (để lập mô hình các sự kiện ngẫu nhiên trong thế giới thực). Một truy vấn có một mẫu. Chỉ số hiệu suất là số truy vấn mỗi giây (QPS) trong giới hạn độ trễ.
• Single-stream —Một mẫu cho mỗi truy vấn được gửi đến SUT. Truy vấn tiếp theo không được gửi cho đến khi nhận được phản hồi trước đó. Chỉ số hiệu suất là độ trễ phân vị thứ 90.
• Đa luồng —Một truy vấn có N mẫu được gửi với một khoảng thời gian cố định. Chỉ số hiệu suất là N tối đa khi độ trễ của tất cả truy vấn nằm trong giới hạn độ trễ.

Quy tắc suy luận MLPerf mô tả các quy tắc suy luận chi tiết và các ràng buộc về độ trễ. Blog này tập trung vào các kịch bản Ngoại tuyến và Máy chủ, được thiết kế cho môi trường trung tâm dữ liệu. Các kịch bản đơn luồng và đa luồng được thiết kế cho cài đặt không phải trung tâm dữ liệu (cạnh và IoT).

Kết quả suy luận MLPerf được gửi theo một trong các bộ phận sau:

• Bộ phận khép kín— Bộ phận khép kín cung cấp sự so sánh “tương tự như” giữa các nền tảng phần cứng hoặc khung phần mềm. Nó yêu cầu sử dụng cùng một mô hình và trình tối ưu hóa như triển khai tham chiếu.

  Bộ phận Đóng yêu cầu sử dụng tiền xử lý, hậu xử lý và mô hình tương đương với triển khai tham chiếu hoặc thay thế. Nó cho phép hiệu chuẩn để lượng tử hóa và không cho phép đào tạo lại. MLPerf cung cấp triển khai tham chiếu cho từng điểm chuẩn. Việc triển khai điểm chuẩn phải sử dụng một mô hình tương đương, như được định nghĩa trong Quy tắc suy luận MLPerf, với mô hình được sử dụng trong quá trình triển khai tham chiếu.

• Bộ phận mở— Bộ phận mở thúc đẩy các mô hình và trình tối ưu hóa nhanh hơn, đồng thời cho phép mọi phương pháp ML có thể đạt được chất lượng mục tiêu. Nó cho phép sử dụng tiền xử lý hoặc hậu xử lý tùy ý và mô hình, bao gồm đào tạo lại. Việc triển khai điểm chuẩn có thể sử dụng một mô hình khác để thực hiện cùng một nhiệm vụ.

Để cho phép so sánh tương tự các kết quả của Dell Technologies và cho phép khách hàng cũng như đối tác của chúng tôi lặp lại kết quả của chúng tôi, chúng tôi đã chọn thử nghiệm theo bộ phận Đóng, như kết quả trong blog này cho thấy.

Tiêu chí gửi kết quả điểm chuẩn MLPerf Inference v1.0  

Đối với bất kỳ điểm chuẩn nào, kết quả gửi phải đáp ứng tất cả các thông số kỹ thuật được hiển thị trong bảng sau. Ví dụ: nếu chúng tôi chọn mô hình Resnet50 thì nội dung gửi phải đáp ứng độ chính xác mục tiêu là 76,46 phần trăm và độ trễ phải nằm trong khoảng 15 mili giây đối với tập dữ liệu hình ảnh tiêu chuẩn có kích thước 224 x 224 x 3.

Bảng 1: Điểm chuẩn phân chia đóng cho suy luận MLPerf v1.0 với kỳ vọng

Không bắt buộc phải nộp tất cả các điểm chuẩn. Tuy nhiên, nếu một điểm chuẩn cụ thể được gửi, thì tất cả các kịch bản bắt buộc cho điểm chuẩn đó cũng phải được gửi.

Mỗi điểm chuẩn của trung tâm dữ liệu yêu cầu các kịch bản trong bảng sau:

Bảng 2: Nhiệm vụ và các kịch bản yêu cầu tương ứng cho bộ điểm chuẩn trung tâm dữ liệu trong suy luận MLPerf v1.0.

cấu hình SUT

Chúng tôi đã chọn các máy chủ sau với các loại GPU NVIDIA khác nhau làm SUT của mình để tiến hành các điểm chuẩn suy luận trung tâm dữ liệu. Bảng sau đây liệt kê các cấu hình hệ thống MLPerf:

Bảng 3: Cấu hình hệ thống MLPerf

Kết quả điểm chuẩn MLPerf inference 1.0

Các biểu đồ sau bao gồm các chỉ số hiệu suất cho các kịch bản Ngoại tuyến và Máy chủ. 

Đối với kịch bản Ngoại tuyến, chỉ số hiệu suất là Mẫu ngoại tuyến mỗi giây. Đối với kịch bản Máy chủ, chỉ số hiệu suất là số truy vấn mỗi giây (QPS). Nói chung, các số liệu đại diện cho thông lượng. Một thông lượng cao hơn là một kết quả tốt hơn.

Resnet50 kết quả

Hình 1: Kịch bản máy chủ và ngoại tuyến Resnet50 v1.5 với mục tiêu chính xác 99 phần trăm

Hình 2: Kịch bản Máy chủ và Ngoại tuyến Resnet50 v1.5 với mục tiêu chính xác 99 phần trăm trên mỗi thẻ

Bảng 4: Mỗi số thẻ và chênh lệch tỷ lệ phần trăm theo kịch bản

Thông lượng ngoại tuyến trên mỗi thẻ vượt quá Thông lượng máy chủ trên mỗi thẻ cho tất cả các máy chủ trong nghiên cứu này. 

Bảng 5: Chênh lệch tỷ lệ phần trăm trên mỗi thẻ từ hệ thống XE8545_7713_A100-SXM4-40GBx4

Kết quả SSD-Resnet34

 

Hình 3: SSD với kịch bản Máy chủ và Ngoại tuyến Resnet34 với mục tiêu chính xác 99 phần trăm

Hình 4: Kịch bản SSD-Resnet34, Ngoại tuyến và Máy chủ với các mục tiêu chính xác 99 phần trăm trên mỗi thẻ

Bảng 6: Số thẻ và chênh lệch tỷ lệ phần trăm kịch bản trên SSD-Resnet34 

Lưu ý : Giá trị chênh lệch phần trăm âm cho biết kịch bản Máy chủ hoạt động tốt hơn kịch bản Ngoại tuyến.

Bảng 7: Chênh lệch tỷ lệ phần trăm trên mỗi thẻ từ hệ thống XE8545_7713_A100-SXM4-40GBx4 với thẻ A100 SXM4

Kết quả BERT

Hình 4: Kịch bản Máy chủ và Ngoại tuyến BERT với các mục tiêu chính xác 99% và 99,9%

Hình 5: Kịch bản Máy chủ và Ngoại tuyến BERT với các mục tiêu chính xác 99% và 99,9% trên mỗi thẻ

Bảng 8: Mỗi số thẻ và chênh lệch phần trăm kịch bản trên BERT với mục tiêu chính xác 99 phần trăm 

Bảng 9: Chênh lệch tỷ lệ phần trăm trên mỗi thẻ từ hệ thống XE8545_7713_A100-SXM4-40GBx4 với thẻ A100 SXM4

Bảng 10: Mỗi số thẻ và chênh lệch tỷ lệ phần trăm kịch bản trên BERT với mục tiêu chính xác 99,9 phần trăm  

Bảng 11: Chênh lệch tỷ lệ phần trăm trên mỗi thẻ từ hệ thống XE8545_7713_A100-SXM4-40GBx4 với thẻ A100 SXM4

Kết quả RNN-T

Hình 6: Kịch bản máy chủ và ngoại tuyến RNN-T với mục tiêu chính xác 99 phần trăm

Hình 7: Kịch bản máy chủ và ngoại tuyến RNN-T với mục tiêu chính xác 99 phần trăm trên mỗi thẻ

Bảng 12: Mỗi số thẻ và chênh lệch phần trăm kịch bản trên RNNT với mục tiêu chính xác 99 phần trăm 

Lưu ý : Giá trị âm cho chênh lệch phần trăm cho biết rằng kịch bản Máy chủ hoạt động tốt hơn kịch bản Ngoại tuyến. 

Bảng 13: Chênh lệch tỷ lệ phần trăm trên mỗi thẻ từ hệ thống XE8545_7713_A100-SXM4-40GBx4 với thẻ A100 SXM4

Kết quả 3D-UNet

Hình 8: Kịch bản máy chủ và ngoại tuyến 3D-UNet với mục tiêu chính xác 99 phần trăm và 99,9 phần trăm

Hình 9: Kịch bản máy chủ và ngoại tuyến 3D-UNet với mục tiêu chính xác 99 phần trăm và 99,9 phần trăm

Sự kết luận

Trong blog này, chúng tôi đã định lượng hiệu suất suy luận MLCommons MLPerf v1.0 trên các máy chủ Dell EMC DSS8440, PowerEdge R750xa và PowerEdge XE8545 với hệ số dạng A100 PCIE và SXM bằng cách sử dụng các tiêu chuẩn như Resnet50, SSD w/Resnet34, BERT, RNN-T, và 3D-UNet. Các điểm chuẩn này mở rộng các nhiệm vụ từ tầm nhìn đến đề xuất. Các máy chủ Dell EMC mang lại hiệu suất suy luận hàng đầu được chuẩn hóa theo số lượng bộ xử lý trong số các kết quả có sẵn trên thị trường. 

Máy chủ PowerEdge XE8545 vượt trội so với số thẻ trên mỗi máy chủ khác trong nghiên cứu này. Kết quả này có thể là do GPU SXM của nó, cung cấp tốc độ xung nhịp cơ bản và tăng cao hơn.

Mô hình phân đoạn hình ảnh SSD-Resnet34 được hưởng lợi đáng kể từ GPU dựa trên yếu tố hình thức SXM. Kết quả cho thấy chênh lệch hiệu suất xấp xỉ 34 phần trăm so với PCIE từ hệ số, so với các kiểu máy khác có mức chênh lệch trung bình khoảng 20 phần trăm.

Máy chủ PowerEdge R750xa với GPU A100 hoạt động tốt hơn trong kịch bản Máy chủ so với kịch bản Ngoại tuyến cho mô hình RNN-T.

Máy chủ DSS 8440 với GPU A100 hoạt động tốt hơn trong kịch bản Máy chủ so với kịch bản Ngoại tuyến đối với các kiểu máy BERT, RNN-T và SSD-Resnet34.

Ngoài ra, chúng tôi nhận thấy rằng hiệu suất của máy chủ DSS8440 với 10 thẻ A100 PCIE vượt quá các lần gửi MLCommons MLPerf inference v1.0 khác cho điểm chuẩn Máy chủ RNN-T.

Bước tiếp theo

Trong các blog trong tương lai, chúng tôi dự định mô tả cách:

• Chạy MLCommons Suy luận MLPerf v1.0
• Hiểu kết quả suy luận MLPerf MLCommons trên các máy chủ PowerEdge R750xa và PowerEdge XE8545 mới phát hành gần đây
• Chạy điểm chuẩn trên các máy chủ khác