Hiệu suất máy chủ Dell sử dụng điểm chuẩn MLPerf™ Training v3.0 (2)

Máy chủ Dell PowerEdge\

Tổng quan

Các máy chủ PowerEdge sau đã được sử dụng trong quá trình đo điểm chuẩn.

Máy chủ Dell PowerEdge XE9680

Máy chủ PowerEdge XE9680  là máy chủ hiệu suất cao được thiết kế và tối ưu hóa cho việc đào tạo AI và sử dụng HPC như:

  • Mô hình ngôn ngữ lớn
  • Công cụ đề xuất
  • Động lực phân tử và giải trình tự bộ gen

Hình sau đây hiển thị máy chủ PowerEdge XE9680:

Hình 2.   Máy chủ Dell PowerEdge XE9680

Máy chủ Dell PowerEdge XE8640

Máy chủ PowerEdge  XE8640 là máy chủ làm mát bằng không khí giúp tăng tốc quá trình đào tạo và suy luận AI truyền thống, lập mô hình, mô phỏng và các ứng dụng điện toán hiệu suất cao (HPC) khác với tính toán được tối ưu hóa, chuyển đổi dữ liệu và tự động hóa thông tin chuyên sâu về kết quả bằng nền tảng GPU bốn chiều . Kiến trúc mạnh mẽ và sức mạnh của hai bộ xử lý Intel Xeon thế hệ thứ 4 với số lượng lõi cao lên tới 56 lõi cùng những cải tiến mới nhất trên chip để tăng cường hoạt động AI và máy học.

Hình sau đây hiển thị  máy chủ PowerEdge XE8640:

 

Hình 3.   Máy chủ Dell PowerEdge XE8640

Máy chủ Dell PowerEdge R760xa

Máy chủ PowerEdge  R760xa  tối đa hóa hiệu suất khối lượng công việc và nâng cao kết quả với quy mô khi bạn phát triển khả năng tính toán. Đây là một máy chủ làm mát bằng không khí/2U socket kép, hỗ trợ linh hoạt nhiều loại GPU để tăng tốc các ứng dụng từ đào tạo và suy luận AI đến đồ họa hiệu năng và môi trường cộng tác sử dụng nhiều năng lượng.

Hình sau đây hiển thị  máy chủ PowerEdge R760xa:

Hinh 4.   Máy chủ Dell PowerEdge R760xa

Máy chủ Dell PowerEdge XE8545

Máy chủ PowerEdge XE8545 là hệ thống 4U, hai ổ cắm được thiết kế để tối ưu hóa các công nghệ công nghiệp mới nhất. Bạn có thể phát triển, đào tạo và triển khai các mô hình máy học tiên tiến, tăng tốc khối lượng công việc tính toán hiệu suất cao phức tạp hoặc lưu trữ các dịch vụ ảo hóa tăng tốc.

Hình sau đây hiển thị máy chủ PowerEdge XE8545:

 Một hình ảnh chứa mô tả máy tính được tạo tự động

Hình 5.   Máy chủ Dell PowerEdge XE8545

Máy chủ Dell PowerEdge R750xa

Máy chủ PowerEdge R750xa là máy chủ chuyên dụng được thiết kế để tăng hiệu suất tăng tốc đáp ứng nhiều nhu cầu nhất của khách hàng.

Máy chủ PowerEdge R750xa ổ cắm kép/2U mang lại hiệu năng vượt trội cho các ứng dụng mới nổi có yêu cầu khắt khe nhất. Nó hỗ trợ tám kênh cho mỗi CPU và tối đa 32 DIMM DDR4 ở tốc độ DIMM 3200 MT/s. Nó giải quyết những cải tiến đáng kể về thông lượng với PCIe Gen 4 và tối đa tám ổ NVMe. Máy chủ PowerEdge R750xa lý tưởng cho AI, học máy, đào tạo và suy luận học sâu, HPC và môi trường ảo hóa.

Hình sau đây hiển thị máy chủ PowerEdge R750xa:

Hình ảnh chứa máy chiếuMô tả được tạo tự động
Hình 6.   Máy chủ Dell PowerEdge R750xa

GPU NVIDIA

 

Tổng quan

GPU NVIDIA A100

GPU NVIDIA A100 Tensor Core mang lại khả năng tăng tốc chưa từng có—ở mọi quy mô—để cung cấp năng lượng cho các trung tâm dữ liệu đàn hồi có hiệu suất cao nhất thế giới dành cho AI, phân tích dữ liệu và ứng dụng HPC. Là công cụ của nền tảng trung tâm dữ liệu NVIDIA, GPU NVIDIA A100 cung cấp hiệu suất cao hơn tới 20 lần so với thế hệ NVIDIA Volta trước đó. GPU NVIDIA A100 có thể mở rộng quy mô hoặc phân chia thành bảy phiên bản GPU riêng biệt một cách hiệu quả bằng GPU đa phiên bản (MIG), cung cấp nền tảng hợp nhất cho phép các trung tâm dữ liệu linh hoạt điều chỉnh linh hoạt theo nhu cầu khối lượng công việc thay đổi.

Hình sau đây cho thấy bộ tăng tốc NVIDIA A100 PCIe:

Hình 7.   Bộ tăng tốc PCIe NVIDIA A100

Hình dưới đây cho thấy bộ tăng tốc NVIDIA A100 SXM:

Hình 8.   Bộ tăng tốc NVIDIA A100 SXM

GPU NVIDIA H100

NVIDIA H100 là một phần không thể thiếu của nền tảng trung tâm dữ liệu NVIDIA. Được xây dựng cho AI, HPC và phân tích dữ liệu, nền tảng này tăng tốc hơn 3.000 ứng dụng và có sẵn ở mọi nơi từ trung tâm dữ liệu đến biên, mang lại cả mức tăng hiệu suất đáng kể lẫn cơ hội tiết kiệm chi phí.

Hình sau đây cho thấy bộ tăng tốc NVIDIA H100 PCIe:

Hình 9.   Bộ tăng tốc PCIe NVIDIA H100

Hình dưới đây cho thấy bộ tăng tốc NVIDIA H100 SXM:

Hình 10.    Bộ tăng tốc NVIDIA H100 SXM

Thông số phần mềm

Thông số kỹ thuật phần mềm cho MLPerf Training v3.0 bao gồm:

  • NGC MXNet 23.04
  • NGC PyTorch 23.04
  • CUDA 12.1.0
  • Trình điều khiển CUDA 530.30.02
  • CUBLAS 12.1.3.
  • CUDnn 8.9.0
  • TenorRT 8.6.1
  • ĐẠI LÝ 1.23.0
  • NCCL 2.17.1
  • OpenMPI 4.1.4+
  • Mofed 5.4-rdmacore36.0