Giải pháp Sẵn sàng cho Sản xuất Kỹ thuật số HPC với AMD EPYC thế hệ thứ 3 cho Siemens Simcenter STAR-CCM+ (2)

Mạng hệ thống

Hầu hết các hệ thống HPC được cấu hình với hai mạng—mạng quản trị và kết cấu chuyển mạch tốc độ cao/độ trễ thấp. Mạng quản trị thường là Gigabit Ethernet kết nối với LOM/NDC trên bo mạch của mọi máy chủ trong cụm. Mạng này được sử dụng để cung cấp, quản lý và quản trị. Trên các máy chủ điện toán, mạng này cũng sẽ được sử dụng để quản lý BMC. Đối với cơ sở hạ tầng và máy chủ lưu trữ, các cổng iDRAC Enterprise có thể được kết nối với mạng này để quản lý máy chủ ngoài băng tần (OOB). Mạng quản lý thường sử dụng bộ chuyển mạch Ethernet Dell EMC PowerSwitch S3048-ON. Nếu có nhiều hơn một công tắc trong hệ thống, nhiều công tắc phải được xếp chồng lên nhau bằng cáp 10 Gigabit Ethernet.

Cấu trúc tốc độ cao/độ trễ thấp được khuyến nghị cho các cụm có nhiều hơn bốn máy chủ. Đề xuất hiện tại là vải HDR InfiniBand. Cấu trúc thường sẽ được lắp ráp bằng cách sử dụng bộ chuyển mạch HDR InfiniBand 40 cổng NVIDIA QM8790. Số lượng công tắc cần thiết phụ thuộc vào kích thước của cụm và tỷ lệ chặn của vải. Đối với khối lượng công việc CAE điển hình, nên sử dụng tỷ lệ chặn trong khoảng từ 1:1 đến 2:1. Tỷ lệ chặn vượt quá 2:1 có thể làm giảm hiệu suất hệ thống, tùy thuộc vào khối lượng công việc đang chạy trên hệ thống.

 

Phần mềm quản lý cụm

Phần mềm quản lý cụm được sử dụng để cài đặt và giám sát hệ thống HPC. Bright Cluster Manager (BCM) là phần mềm quản lý cụm được khuyên dùng.

 

Dịch vụ và Hỗ trợ

Thiết kế được Xác thực cho Sản xuất Kỹ thuật số HPC có sẵn với các dịch vụ triển khai và hỗ trợ phần cứng đầy đủ.

Các thành phần

 

Điểm chuẩn hiệu suất được thực hiện trong Phòng thí nghiệm Đổi mới AI & HPC của Dell Technologies bằng cách sử dụng các cấu hình hệ thống được liệt kê trong bang 2.

Bảng 2. Cấu hình hệ thống chuẩn     

Khối xây dựng

Số lượng

Máy chủ tính toán

  • PowerEdge C6525
  • Bộ xử lý 32 nhân AMD EPYC 7513 kép
  • 256GB RAM 16x16GB 3200 MTps DIMM
  • NVIDIA ConnectX-6 HDR100 InfiniBand HCA

số 8

Máy chủ tính toán

  • PowerEdge C6525
  • Bộ xử lý 24 nhân AMD EPYC 7443 kép
  • 256GB RAM 16x16GB 3200 MTps DIMM
  • NVIDIA ConnectX-6 HDR100 InfiniBand HCA

1

Máy chủ tính toán

  • PowerEdge R6525
  • Bộ xử lý 32 nhân AMD EPYC 7543 kép
  • 256GB RAM 16x16GB 3200 MTps DIMM
  • NVIDIA ConnectX-6 HDR InfiniBand HCA

1

Máy chủ tính toán

  • PowerEdge R6525
  • Bộ xử lý 64 nhân AMD EPYC 7713 kép
  • 256GB RAM 16x16GB 3200 MTps DIMM
  • NVIDIA ConnectX-6 HDR InfiniBand HCA

1

Máy chủ tính toán

  • PowerEdge R6525
  • Bộ xử lý 64 nhân AMD EPYC 7713 kép
  • 256GB RAM 16x16GB 3200 MTps DIMM
  • NVIDIA ConnectX-6 HDR InfiniBand HCA

1

Công tắc NVIDIA QM8790 InfiniBand

1

BIOS

Các tùy chọn cấu hình BIOS được sử dụng cho hệ thống tham chiếu được liệt kê trong Bảng 3

Bảng 3. Cấu hình BIOS     

Tùy chọn BIOS

Cài đặt

Bộ xử lý logic

Tàn tật

Công nghệ ảo hóa

Tàn tật

Hồ sơ hệ thống

Hồ sơ hiệu suất

CCX dưới dạng tên miền NUMA

Tàn tật

NUMA nút trên mỗi ổ cắm

4

Thiết bị IO ưa thích

InfiniBand HCA

IO ưu tiên nâng cao

Đã bật

Phần mềm

Các phiên bản phần mềm được sử dụng cho hệ thống tham chiếu được liệt kê trong Bảng 4.

Bảng 4. Phiên bản phần mềm     

Thành phần

Phiên bản

Hệ điều hành

RedHat Enterprise Linux 8.3

hạt nhân

4.18.0-240.0.el8.x86_64

OFED

Mellanox 5.2-2.2.0.0

Trình quản lý cụm sáng

9.1

Simcenter STAR-CCM+

2021.1.1 Độ chính xác hỗn hợp

 

Simcenter STAR CCM+

Tổng quan

Simcenter STAR CCM+ là một ứng dụng đa môi trường được sử dụng để mô phỏng nhiều loại sản phẩm và thiết kế trong nhiều điều kiện khác nhau. Các điểm chuẩn được báo cáo ở đây chủ yếu sử dụng động lực học chất lỏng tính toán (CFD) và các tính năng truyền nhiệt của Simcenter STAR-CCM+. Các ứng dụng CFD thường mở rộng tốt trên nhiều lõi bộ xử lý và máy chủ, có yêu cầu về dung lượng bộ nhớ khiêm tốn và thường thực hiện I/O đĩa tối thiểu khi ở trong phần bộ giải. Tuy nhiên, một số mô phỏng có thể có nhu cầu I/O lớn hơn, chẳng hạn như phân tích nhất thời.

 

Kết quả

Các vấn đề về điểm chuẩn từ bộ điểm chuẩn Simcenter STAR-CCM+ được đánh giá trên hệ thống tham chiếu. Hiệu suất điểm chuẩn của Simcenter STAR-CCM+ được đo bằng cách sử dụng chỉ số Thời gian đã trôi qua trung bình, là thời gian đã trôi qua trung bình trên mỗi lần lặp lại bộ giải. Thời gian trôi qua nhỏ hơn thể hiện hiệu suất tốt hơn.Hình 3 hiển thị hiệu suất tương đối cho lựa chọn điểm chuẩn Simcenter STAR-CCM+ trên một máy chủ.

Hình 3. Hiệu suất tương đối của một máy chủ—Simcenter STAR-CCM+ 2021.1.1  

Kết quả trong Hình 3 được vẽ tương ứng với hiệu suất của một máy chủ được cấu hình bằng bộ xử lý AMD EPYC 7502. Các điểm chuẩn được chạy bằng cách sử dụng tất cả các lõi bộ xử lý có sẵn trong máy chủ. Giá trị lớn hơn cho thấy hiệu suất tốt hơn. Những kết quả này cho thấy lợi thế về hiệu suất khả dụng với bộ xử lý AMD EPYC sê-ri 7003. Bộ xử lý AMD EPYC 7543 32 nhân mang lại hiệu suất rất tốt cho các tiêu chuẩn này. Trên mỗi máy chủ, AMD EPYC 7713 64 lõi mang lại lợi thế hiệu suất đáng kể so với bộ xử lý 32 lõi.

Hình 4. Chia tỷ lệ song song Simcenter STAR-CCM+—AMD EPYC 7513  

hinh 4 thể hiện khả năng mở rộng song song khi chạy STAR-CCM+ với tối đa tám nút được định cấu hình bằng bộ xử lý AMD EPYC 7513 và ConnectX-6 HDR InfiniBand. Tất cả các lõi bộ xử lý trong mỗi máy chủ đã được sử dụng khi chạy các tiêu chuẩn này. Hiệu suất tại mỗi số lượng nút được trình bày tương ứng với hiệu suất của một nút.

Khả năng mở rộng song song cho các điểm chuẩn này như mong đợi, với hầu hết các mô hình có thể mở rộng gần như tuyến tính thành tám nút. Một số trường hợp điểm chuẩn nhỏ hơn chẳng hạn như TurboCharger không mở rộng quy mô cũng như các điểm chuẩn khác, nhưng điều này được mong đợi là do kích thước mô hình và tính chất vật lý của các trường hợp điểm chuẩn này.

 

Phần kết luận

Tài liệu này trình bày Thiết kế đã được xác thực cho HPC STAR CCM+ với bộ xử lý sê-ri AMD EPYC 7003. Phân tích chi tiết cấu hình máy chủ chứng minh rằng hệ thống được kiến ​​trúc cho một mục đích cụ thể—để cung cấp giải pháp HPC toàn diện cho miền sản xuất. Việc sử dụng phương pháp khối xây dựng này cho phép khách hàng dễ dàng triển khai hệ thống HPC được tối ưu hóa cho các yêu cầu khối lượng công việc cụ thể. Thiết kế giải quyết các yêu cầu về tính toán, lưu trữ, kết nối mạng và phần mềm, đồng thời cung cấp giải pháp dễ cài đặt, định cấu hình và quản lý, với các dịch vụ cài đặt và hỗ trợ luôn sẵn có. Điểm chuẩn hiệu năng thể hiện thiết kế giải pháp, thể hiện hiệu năng của giải pháp với Simcenter STAR-CCM+ của Siemens.