Máy chủ Dell EMC tỏa sáng trong điểm chuẩn MLPerf Inference v0.7

Khi các ứng dụng và hệ thống phần mềm sử dụng Trí tuệ nhân tạo (AI) được áp dụng phổ biến trong tất cả các ngành, khối lượng công việc suy luận cho các hoạt động đang diễn ra đang trở thành nguồn tiêu thụ tài nguyên lớn hơn trong trung tâm dữ liệu. MLPerf là ​​một bộ điểm chuẩn được sử dụng để đánh giá hồ sơ hiệu suất của hệ thống cho cả nhiệm vụ AI đào tạo và suy luận. Trong blog này, chúng tôi xem xét kỹ hơn các kết quả gần đây do Dell EMC gửi và cách các máy chủ khác nhau của chúng tôi hoạt động trong danh mục trung tâm dữ liệu.  

Lý do chúng tôi thực hiện loại công việc này là để giúp khách hàng hiểu nền tảng máy chủ nào phù hợp nhất với trường hợp sử dụng của họ. Dell Technologies muốn đưa ra lựa chọn dễ dàng hơn và giảm bớt công việc cho khách hàng để họ không lãng phí nguồn tài nguyên quý giá của mình. Chúng tôi muốn khách hàng sử dụng thời gian của mình để tập trung vào trường hợp sử dụng, giúp đẩy nhanh thời gian tạo ra giá trị cho doanh nghiệp.

Dell Technologies có tổng cộng 210 bài gửi cho MLPerf Inference v0.7 trong danh mục Trung tâm dữ liệu sử dụng nhiều nền tảng máy chủ và trình tăng tốc khác nhau. Tại sao nhiều như vậy? Đó là bởi vì nhiều khách hàng chưa bao giờ chạy AI trong môi trường của họ nên các trường hợp sử dụng là vô tận trong các ngành và chuyên môn còn hạn chế. Khách hàng đã cho chúng tôi biết rằng họ cần trợ giúp để xác định nền tảng máy chủ chính xác dựa trên khối lượng công việc của họ.

Chúng tôi tự hào về những gì mình đã làm nhưng tất cả vẫn là giúp khách hàng áp dụng AI. Bằng cách chia sẻ kiến ​​thức chuyên môn và cung cấp hướng dẫn về cơ sở hạ tầng cho AI, chúng tôi giúp khách hàng thành công và đưa trường hợp sử dụng của họ vào sản xuất.

Điểm chuẩn MLPerf

MLPerf được thành lập vào năm 2018 với mục tiêu tăng tốc cải thiện hiệu suất hệ thống ML. Được hình thành như một sự hợp tác của các công ty và nhà nghiên cứu từ các tổ chức giáo dục hàng đầu, MLPerf tận dụng mã nguồn mở, các mô hình Machine Learning (ML) hiện đại nhất và các bộ dữ liệu có sẵn công khai đóng góp cho cộng đồng ML. Các bộ MLPerf bao gồm MLPerf Training và MLPerf Inference.

MLPerf Training đo lường tốc độ hệ thống có thể đào tạo các mô hình học máy. Điểm chuẩn đào tạo đã được xác định để phân loại hình ảnh, phát hiện đối tượng nhẹ và nặng, dịch ngôn ngữ, xử lý ngôn ngữ tự nhiên, khuyến nghị và học tăng cường. Mỗi điểm chuẩn bao gồm thông số kỹ thuật cho bộ dữ liệu đầu vào, mục tiêu chất lượng và mô hình triển khai tham chiếu. Vòng gửi bài đào tạo đầu tiên đã được công bố trên trang web MLPerf vào tháng 12 năm 2018 với kết quả do Google, Intel và NVIDIA gửi.

Bộ suy luận MLPerf đo lường tốc độ mạng lưới thần kinh được đào tạo có thể đánh giá dữ liệu mới và thực hiện dự báo hoặc phân loại cho nhiều ứng dụng. Suy luận MLPerf bao gồm phân loại hình ảnh, phát hiện đối tượng và dịch máy với các mô hình, bộ dữ liệu, chất lượng, độ trễ máy chủ và các hạn chế về độ trễ đa luồng cụ thể. MLPerf đã xác thực và công bố kết quả cho MLPerf Inference v0.7 vào ngày 21 tháng 10 năm 2020. Trong blog này, chúng tôi xem xét kỹ hơn các kết quả cho MLPerf Inference v0.7 do Dell EMC gửi và cách các máy chủ hoạt động trong danh mục trung tâm dữ liệu.  

Bản tóm tắt những điểm nổi bật chính trong kết quả của Dell EMC được hiển thị trong Bảng 1. Những kết quả này được lấy từ các kết quả được gửi trong danh mục đóng trung tâm dữ liệu MLPerf . Xếp hạng và tuyên bố dựa trên phân tích của Dell về dữ liệu MLPerf được công bố. Mỗi chương trình tăng tốc được tính bằng cách chia chỉ số chính của tổng hiệu suất cho số lượng chương trình tăng tốc được báo cáo.

Dell EMC đã có tổng cộng 210 bài gửi cho MLPerf Inference v0.7 trong danh mục Trung tâm dữ liệu sử dụng nhiều nền tảng và bộ tăng tốc Dell EMC khác nhau từ các nhà cung cấp hàng đầu. Chúng tôi đã đạt được kết quả ấn tượng khi so sánh với các bài nộp khác trong cùng loại nền tảng.

Danh mục suy luận MLPerf và Thành tích Dell EMC

Bộ điểm chuẩn được tạo thành từ các nhiệm vụ hoặc mô hình từ các trường hợp sử dụng tầm nhìn, lời nói, ngôn ngữ và thương mại. Suy luận MLPerf đo lường tốc độ hệ thống có thể thực hiện suy luận ML bằng cách sử dụng trình tạo tải dựa trên Hệ thống đang thử nghiệm (SUT) nơi triển khai mô hình đã đào tạo.

Có ba loại kiểm tra điểm chuẩn được xác định trong suy luận MLPerf v0.7, một dành cho hệ thống trung tâm dữ liệu, một dành cho hệ thống biên và một dành cho hệ thống di động. MLPerf sau đó có bốn kịch bản khác nhau để cho phép thử nghiệm đại diện cho nhiều nền tảng suy luận và trường hợp sử dụng khác nhau:

• Luồng đơn
• Nhiều luồng
• Máy chủ  
• Ngoại tuyến

Các kịch bản một luồng và nhiều luồng chỉ được sử dụng cho các điểm chuẩn suy luận biên và suy luận di động. Loại điểm chuẩn trung tâm dữ liệu nhắm mục tiêu đến các hệ thống được thiết kế để triển khai trung tâm dữ liệu và yêu cầu đánh giá cả kịch bản máy chủ và ngoại tuyến. Số liệu được sử dụng trong danh mục Trung tâm dữ liệu là các phép toán suy luận/giây. Trong kịch bản máy chủ , trình tạo tải MLPerf gửi các truy vấn mới tới SUT theo phân phối Poisson. Đây là đại diện cho các ứng dụng AI trực tuyến như dịch thuật, gắn thẻ hình ảnh có kiểu xuất hiện thay đổi dựa trên lưu lượng truy cập của người dùng cuối. Ngoại tuyến thể hiện các nhiệm vụ AI được thực hiện thông qua xử lý hàng loạt, chẳng hạn như phân loại ảnh trong đó tất cả dữ liệu đều có sẵn trước thời hạn.

Dell EMC đã công bố nhiều kết quả trong danh mục hệ thống trung tâm dữ liệu. Thông tin chi tiết về các mô hình, tập dữ liệu và các kịch bản được gửi cho điểm chuẩn trung tâm dữ liệu khác nhau được trình bày trong Bảng 2

Tiếp theo, chúng tôi nêu bật một số thành tựu chính về hiệu suất của nhiều giải pháp có sẵn trong danh mục Dell EMC dành cho các trường hợp sử dụng và triển khai suy luận.

1. Dell EMC đứng số 1 về tổng số lần gửi trung tâm dữ liệu trong bộ phận đóng bao gồm cả việc gửi kim loại trần bằng cách sử dụng các GPU, CPU Xeon, Xilinx FPGA khác nhau và gửi ảo hóa trên VMware vSphere 

Bộ phận khép kín cho phép so sánh trực tiếp và bao gồm các nền tảng máy chủ được sử dụng từ Edge đến các đám mây riêng tư hoặc công cộng. Nhóm kỹ thuật của Dell Technologies đã gửi 210 kết quả trên tổng số 509 kết quả. 

Chúng tôi vẫn cam kết giúp khách hàng triển khai khối lượng công việc suy luận một cách hiệu quả nhất có thể, đáp ứng các yêu cầu riêng về sức mạnh, mật độ, ngân sách và hiệu suất của họ. Hàng loạt máy chủ do Dell Technologies cung cấp là minh chứng cho cam kết này –

• Nhà cung cấp duy nhất gửi nhiều giải pháp suy luận khác nhau – tận dụng GPU, FPGA và CPU cho trung tâm dữ liệu/đám mây riêng và Edge
• Duy nhất trong ngành bằng cách gửi kết quả trên nhiều máy chủ, từ máy chủ phổ thông (R740/R7525) đến máy chủ dày đặc được tối ưu hóa GPU hỗ trợ tới 16 GPU NVIDIA (DSS8440).
• Chứng minh rằng những khách hàng yêu cầu hội thảo thời gian thực tại công ty viễn thông hoặc bán lẻ Edge có thể triển khai tối đa 4 GPU trong máy chủ PowerEdge XE2420 tương thích NEBS ở độ sâu ngắn.
• Chứng minh hiệu suất suy luận hiệu quả bằng cách sử dụng nền tảng Intel Xeon có thể mở rộng thế hệ ^thứ 2 trên nền tảng PowerEdge R640 và PowerEdge R740 dành cho khách hàng muốn chạy suy luận trên CPU Intel.
• Các đề xuất của Dell sử dụng Xilinx U280 trong PowerEdge R740 đã chứng minh rằng những khách hàng muốn suy luận có độ trễ thấp có thể tận dụng các giải pháp FPGA.

2. Dell EMC đứng số 1 về hiệu suất “trên mỗi Bộ tăng tốc” với PowerEdge R7525 và A100-PCIe cho nhiều điểm chuẩn

Dell EMC PowerEdge R7525 được thiết kế nhằm mục đích mang lại hiệu suất tăng tốc vượt trội. Kết quả MLPerf đã xác nhận hiệu suất hàng đầu trong nhiều tình huống bao gồm:

3. Dell đạt điểm suy luận cao nhất với GPU NVIDIA Quadro RTX sử dụng DSS 8440 và R7525

Đội ngũ kỹ thuật của Dell Technologies hiểu rằng vì đào tạo không phải là khối lượng công việc AI duy nhất nên việc sử dụng công nghệ phù hợp cho từng công việc sẽ tiết kiệm chi phí hơn nhiều. Dell là nhà cung cấp duy nhất gửi kết quả sử dụng GPU NVIDIA RTX6000 và RTX8000 cung cấp bộ nhớ HBM lên tới 48GB cho các mô hình suy luận lớn. Đạt được DSS 8440 với 10 Quadro RTX

• Hiệu suất hệ thống cao nhất thứ 2 và thứ 3 trên RNN-T cho kịch bản Ngoại tuyến.

Xếp hạng số 1 được phân phối bằng cách sử dụng NVIDIA A100 SXM4 8x được giới thiệu vào tháng 5 năm 2020 và là một hệ thống mạnh mẽ giúp khách hàng đào tạo các mô hình học sâu hiện đại. Dell Technologies chiếm vị trí số 2 và số 3 với máy chủ DSS8440 được trang bị 10x NVIDIA RTX8000 và DSS8440 với 10x NVIDIA RTX6000, cung cấp năng lượng tốt hơn và tiết kiệm chi phí cho khối lượng công việc suy luận so với các sản phẩm gửi khác.

4. Dell EMC khẳng định vị trí số 1 về nền tảng NVIDIA T4 với DSS 8440, XE2420 và PowerEdge R7525 

Dell Technologies cung cấp các tùy chọn hệ thống để khách hàng triển khai khối lượng công việc suy luận phù hợp với yêu cầu riêng của họ. Máy gia tốc ngày nay khác nhau đáng kể về giá cả, hiệu suất và mức tiêu thụ điện năng. Ví dụ: NVIDIA T4 là tùy chọn GPU cấu hình thấp, công suất thấp hơn được triển khai rộng rãi để suy luận do hiệu suất năng lượng vượt trội và giá trị kinh tế cho trường hợp sử dụng đó.

Kết quả MLPerf chứng thực hiệu suất suy luận mẫu mực của NVIDIA T4 trên Máy chủ Dell EMC. T4 dẫn đầu về hiệu suất trên mỗi GPU trong số 20 máy chủ được sử dụng để gửi điểm bằng GPU NVIDIA T4  

• #1 về hiệu suất trên mỗi GPU trong kịch bản ngoại tuyến 3d-unet-99 và 3d-unet-99.9
• #1 về hiệu suất trên mỗi GPU trên Máy chủ Bert-99 và kịch bản ngoại tuyến Bert-99.9
• Hiệu suất #1, #2 và #3 với T4 trên kịch bản Máy chủ DLRM-99 & DLRM-99.9
• #1 về hiệu suất trên mỗi GPU trong kịch bản ResNet50 ngoại tuyến
• #1 về hiệu suất trên mỗi GPU trên Máy chủ RNN-T và kịch bản Ngoại tuyến
• #1 về hiệu suất trên mỗi GPU trên kịch bản ngoại tuyến cỡ lớn SSD

Điểm số tốt nhất đạt được cho bảng xếp hạng NVIDIA T4 “Mỗi GPU” ở trên và các nền tảng tương ứng được hiển thị trong bảng:

5. Dell là nhà cung cấp duy nhất gửi kết quả về cơ sở hạ tầng ảo hóa với vCPU và GPU ảo NVIDIA (vGPU) trên VMware vSphere

Những khách hàng quan tâm đến việc triển khai khối lượng công việc suy luận cho AI trên cơ sở hạ tầng ảo hóa có thể tận dụng các máy chủ Dell với phần mềm VMware để tận dụng những lợi ích của ảo hóa.

Để chứng minh hiệu suất ảo hóa hiệu quả trên bộ xử lý Intel Xeon có thể mở rộng thế hệ ^thứ 2 , Dell EMC và VMware đã gửi kết quả bằng cách sử dụng vSphere và OpenVino trên PowerEdge R640.

• Chi phí ảo hóa cho một VM được quan sát là ở mức tối thiểu và thử nghiệm cho thấy rằng việc sử dụng nhiều VM có thể được triển khai trên một máy chủ để đạt được thông lượng tốt hơn ~ 26% so với môi trường kim loại trần.

Dell EMC đã xuất bản hướng dẫn về cách ảo hóa GPU bằng DirectPath I/O, NVIDIA Virtual Computing Server (vCS) và hơn thế nữa. Dell EMC và VMware đã sử dụng phần mềm ảo hóa NVIDIA vCS trong vSphere để đo điểm chuẩn suy luận MLPerf trên GPU NVIDIA T4 ảo hóa

• VMware vSphere sử dụng NVIDIA vCS mang lại hiệu năng gần như bình thường cho các điểm chuẩn MLPerf Inference v0.7. Thông lượng suy luận (các truy vấn được xử lý mỗi giây) tăng tuyến tính khi số lượng vGPU được gắn vào VM tăng lên.

Các blog trình bày chi tiết hơn về các thử nghiệm ảo hóa này được xuất bản tại trang Blog hiệu suất của VMware .

Điều này kết thúc phạm vi đưa tin của chúng tôi về 5 điểm nổi bật hàng đầu trong số hơn 200 bài gửi do Dell EMC thực hiện trong bộ phận trung tâm dữ liệu. Tiếp theo, chúng ta thảo luận về các khía cạnh quan trọng khác của danh mục tối ưu hóa GPU đối với khách hàng – chất lượng và hỗ trợ.

Dell có số lần gửi GPU NVIDIA cao nhất sử dụng hệ thống NVIDIA NGC Ready

Các nền tảng hỗ trợ GPU của Dell là một phần của chương trình xác thực NVIDIA NGC-Ready và NGC-Ready for Edge. Tại Dell, chúng tôi hiểu rằng hiệu suất là rất quan trọng nhưng khách hàng không sẵn sàng đánh đổi chất lượng và độ tin cậy để đạt được hiệu suất tối đa. Khách hàng có thể tự tin triển khai suy luận và các ứng dụng phần mềm khác từ danh mục NVIDIA NGC khi biết rằng hệ thống Dell đáp ứng tất cả các yêu cầu do NVIDIA đặt ra để triển khai khối lượng công việc của khách hàng tại chỗ hoặc tại Edge.

Các cấu hình được xác thực NVIDIA NGC đã được sử dụng cho vòng gửi MLPerf này là:

• Dell EMC PowerEdge XE2420 (4x T4)
• Dell EMC DSS 8440 (10x Quadro RTX 8000) 
• Dell EMC DSS 8440 (12x T4) 
• Dell EMC DSS 8440 (16x T4)
• Dell EMC DSS 8440 (8x Quadro RTX 8000)
• Dell EMC PowerEdge R740 (4x T4)
• Dell EMC PowerEdge R7515 (4x T4)
• Dell EMC PowerEdge R7525 (2x A100-PCIE)
• Dell EMC PowerEdge R7525 (3x Quadro RTX 8000)

Danh mục Dell EMC có thể đáp ứng nhu cầu suy luận của khách hàng từ tại chỗ đến biên

Trong blog này, chúng tôi nêu bật các kết quả do Dell EMC gửi để chứng minh hiệu suất hoạt động của các máy chủ khác nhau của chúng tôi trong danh mục trung tâm dữ liệu. Danh mục máy chủ Dell EMC cung cấp nhiều tùy chọn cho khách hàng muốn triển khai suy luận AI trong trung tâm dữ liệu của họ hoặc ở vùng biên. Chúng tôi cũng cung cấp nhiều tùy chọn tăng tốc bao gồm cả nhiều mô hình GPU và FPGA để chạy suy luận trên cơ sở hạ tầng ảo hóa hoặc kim loại trần có thể đáp ứng các yêu cầu triển khai và ứng dụng cụ thể.  

Cuối cùng, chúng tôi liệt kê hiệu suất của một tập hợp con các nền tảng máy chủ mà chúng tôi thấy ngày nay được khách hàng sử dụng phổ biến nhất để chạy khối lượng công việc suy luận. Các bảng xếp hạng này nhấn mạnh rằng nền tảng này có thể hỗ trợ nhiều trường hợp sử dụng suy luận được trình bày trong bộ MLPerf.

 1. Dell EMC PowerEdge XE2420 với 4x GPU NVIDIA T4: Xếp hạng từ #1 đến #3 trong 14 trên 16 hạng mục điểm chuẩn khi so sánh với các Máy chủ T4 khác

2. Dell EMC PowerEdge R7525 với GPU 8x T4: Xếp hạng từ #1 đến #5 trong 11/16 hạng mục điểm chuẩn trong bài nộp máy chủ T4

3. Dell EMC PowerEdge R7525 với tối đa 3xA100-PCIe: được xếp hạng từ #3 đến #10 trong 15 trên 16 danh mục điểm chuẩn trên tất cả các bài nộp của trung tâm dữ liệu

4. Dell EMC DSS 8440 với 16x T4 được xếp hạng từ #3 đến #7 khi so sánh với tất cả các bài nộp sử dụng T4

5. Dell EMC DSS 8440 với 10x RTX6000 được xếp hạng từ #2 đến #6 trong 14/16 điểm chuẩn khi so sánh với tất cả các bài nộp

6. Dell EMC DSS 8440 với 10x RTX8000 được xếp hạng từ #2 đến #6 khi so sánh với tất cả các bài dự thi

Nhận thêm thông tin về kết quả MLPerf tại www.mlperf.org và tìm hiểu thêm về các máy chủ PowerEdge được tối ưu hóa cho AI / ML / DL tại www.DellTechnology.com/Servers