Lưu trữ do HPC xác định bằng phần mềm với PixStor (3)

Thành phần chính cho giải pháp

Tổng quan

Bảng 1 có danh sách các thành phần chính cho giải pháp. Cột mô tả đầu tiên có các thành phần có sẵn cho khách hàng với giải pháp và cột cuối cùng là các thành phần thực sự được sử dụng để mô tả hiệu suất của giải pháp. Các ổ đĩa được liệt kê cho dữ liệu (12TB NLS) và siêu dữ liệu (SSD 960Gb) là những ổ đĩa được sử dụng để mô tả đặc tính hiệu suất, nhưng tất cả các ổ cứng HDD và SSD được hỗ trợ trong Ma trận hỗ trợ ME4 đều có thể được sử dụng cho giải pháp.

Khi bộ điều khiển ME4 là nút thắt cổ chai của giải pháp, thì việc sử dụng các ổ đĩa nhanh hơn (10K, 15K và SSD) sẽ không cung cấp nhiều thông lượng tuần tự hơn, nhưng chúng có thể cung cấp IOP ngẫu nhiên tốt hơn và có thể cải thiện hoạt động tạo/xóa siêu dữ liệu. Để dự phòng đầy đủ mạng tốc độ cao, phải sử dụng hai bộ chuyển mạch tốc độ cao — QM87000 cho IB và SN3700 cho GbE — do đó, mỗi bộ chuyển mạch phải có một thẻ giao diện mạng máy chủ CX6 được kết nối từ mỗi máy chủ.

Các thành phần phần mềm được liệt kê trong Bảng 1mô tả các phiên bản trong quá trình thử nghiệm ban đầu và được lên kế hoạch sử dụng khi phát hành. Tuy nhiên, các phiên bản phần mềm này có thể thay đổi theo thời gian giữa các lần phát hành chính thức để bao gồm các bản sửa lỗi quan trọng, hỗ trợ cho các thành phần phần cứng mới hoặc thêm các tính năng mới quan trọng.

Cuối cùng, để hoàn thiện, danh sách các ổ cứng HDD và SSD siêu dữ liệu có thể có đã được đưa vào, danh sách này dựa trên các ổ đĩa được hỗ trợ như được liệt kê trên ma trận hỗ trợ Dell EMC PowerVault ME4 , có sẵn trực tuyến.

Bảng 1. Các thành phần được sử dụng tại thời điểm xuất xưởng và những thành phần được sử dụng trên giường thử nghiệm     

Thành phần giải pháp

Khi phát hành

giường thử nghiệm

Hệ thống con lưu trữ siêu dữ liệu có nhu cầu cao tùy chọn

Từ 1x đến 4x Dell EMC PowerVault ME4024 (4x ME4024 chỉ dành cho Cấu hình lớn)
24 – 960GB Ổ SSD SAS3 2,5″ (Tùy chọn 480GB, 800GB, 960GB, 1,92TB, 3,84TB)
12 LUN, RAID 1 tuyến tính.

Bộ điều khiển lưu trữ đột kích

Song công 12 Gbps SAS

Dung lượng không mở rộng (với 12TB HDDS)

Nguyên: 4032 TB (3667 TiB hoặc 3,58 PiB)
Đã định dạng ~ 3072 GB (2794 TiB hoặc 2,73 PiB)

Dung lượng w / mở rộng (12 TB HDDS)

Nguyên: 8064 TB (7334 TiB hoặc 7,16 PiB)
Đã định dạng ~ 6144 GB (5588 TiB hoặc 5,46 PiB)

bộ vi xử lý

Cổng/Ngenea

2x Intel Xeon Gold 6326 2,9 GHz, 16C/32T, 11,2GT/s, 24M bộ nhớ đệm , Turbo, HT (185W) DDR4-3200

2x Intel Xeon Platinum 8352Y
2,2 GHz, 32C/64T, 11,2GT/s,
48M bộ nhớ đệm , Turbo, HT (205W)
DDR4-3200

Siêu dữ liệu có nhu cầu cao

nút lưu trữ

nút quản lý

2x Intel Xeon Gold 6330 2GHz, 28C/56T, 11,2GT/s, 42M bộ nhớ đệm, Turbo, HT (185W) DDR4-2933

Ký ức

Cổng/Ngenea

16 x 16GiB 3200 MT/s RDIMM (256 GiB)

Siêu dữ liệu có nhu cầu cao

nút lưu trữ

nút quản lý

Hệ điều hành

Doanh nghiệp mũ đỏ Linux 8.4

Phiên bản hạt nhân

4.18.0-305.12.1.el8_4.x86_64

Phần mềm PixStor

6.0.0.0

Thang đo phổ (GPFS)

5.1.1-2

phiên bản OFED

MLNX_OFED_LINUX-5.4-1.0.3.0

NIC hiệu suất cao

Tất cả: 2x Dell OEM ConnectX-6 Single Port HDR VPI InfiniBand PCIe Low Profile
Gateway và nút Ngenea: 4x bộ điều hợp CX6 VPI, 2x FS & 2x Bên ngoài

Công tắc hiệu suất cao

2x Mellanox QM8700 cho IN HDR hoặc 2x SN3700 cho 200/200 GbE
Một CX6 từ mỗi máy chủ kết nối với một Công tắc khác (dành cho HA)

Đĩa cục bộ (HĐH và phân tích/giám sát)

3x 480GB SSD SAS3 (RAID1 + HS) cho
bộ điều khiển RAID phía trước OS PERC H345

quản lý hệ thống

iDRAC 9 Enterprise + Dell EMC OpenManage 10.0.1-4517

Kết nối tốc độ cao, quản lý và SAS

Vì Thiết kế đã được xác thực cho Bộ lưu trữ HPC PixStor được bán cùng với các dịch vụ triển khai, nên phần mô tả chi tiết về hệ thống cáp cho SAS hoặc mạng tốc độ cao nằm ngoài phạm vi của tài liệu này. Tương tự, hệ thống cáp của các thành phần khác nhau đến công tắc quản lý cũng nằm ngoài phạm vi của tài liệu này.

Máy chủ quản lý là PowerEdge R650s với cấu hình riser 0 có 3 khe cắm x16, Hình 3 hiển thị phân bổ vị trí cho máy chủ. Cổng LAN trên bo mạch chủ 1 (LOM 1) được kết nối với mạng quản lý 1 GbE và được đặt tên là man0, cổng LOM 2 được đặt tên là man2 và cùng với cổng chuyên dụng iDRAC, được kết nối với mạng quản lý bên ngoài để truy cập bộ lưu trữ PixStor giải pháp. Khe cắm 1 và 2 được sử dụng cho bộ điều hợp ConnextX-6 được kết nối với bộ chuyển mạch mạng tốc độ cao và khe cắm 3 có thẻ cổng nối tiếp tùy chọn .

Máy chủ quản lý R650 - phân bổ khe cắm

Hình 3. Máy chủ quản lý PowerEdge R650 – phân bổ khe cắm       

Các nút lưu trữ (SN) và máy chủ siêu dữ liệu nhu cầu cao (HDMD) sử dụng máy chủ PowerEdge R750 với cấu hình Riser 1 có 8 vị trí, 2 x16 và 6 x8, và Hình 4 hiển thị vị trí một vị trí cho máy chủ. Cổng LOM 1 và cổng chuyên dụng iDRAC được kết nối với mạng quản lý 1 GbE. Tất cả các máy chủ PowerEdge R750 đều có khe cắm 3 & 6 (x16) được sử dụng cho bộ điều hợp ConnectX-6 (CX6) được kết nối với bộ chuyển mạch mạng tốc độ cao. Các máy chủ lưu trữ hoặc HDMD được kết nối với mảng PowerVault ME4 có hai thẻ SAS HBA355e ở các khe 2 & 5 (x8). Khe 8 được sử dụng cho thẻ cổng nối tiếp tùy chọn .

Các nút siêu dữ liệu và lưu trữ R750 - phân bổ vị trí

Hình 4. Các nút lưu trữ và siêu dữ liệu PowerEdge R750 – phân bổ vị trí       

Hình 5 hiển thị các bộ điều khiển của PowerVault ME4084, một cổng SAS (A0-A3 & B0-B3) từ mỗi bộ điều khiển (A & B) được kết nối với một HBA khác nhau trong các khe 2 và 7 trên mỗi nút lưu trữ. Đầu nối SAS I/O 0 (phần màu xanh) của mỗi bộ điều khiển được sử dụng để kết nối PowerVault ME484 mở rộng trong Hình 6 sử dụng cổng I/O 0 của mô-đun I/O tương ứng (bộ điều khiển A đến mô-đun I/O A, bộ điều khiển B đến mô-đun I/O B).

ME4084 - bộ điều khiển và cổng SAS

Hình 5. PowerVault ME4084 – bộ điều khiển và cổng SAS       

ME484 - Mô-đun I/O và cổng SAS

Hình 6. PowerVault ME484 – Mô-đun I/O và các cổng SAS       

Hình 7 hiển thị các bộ điều khiển của PowerVault ME4024, một cổng SAS (A0-A3 & B0-B3) từ mỗi bộ điều khiển (A & B) được kết nối với một HBA khác trong các khe 2 và 7 trên mỗi nút siêu dữ liệu có nhu cầu cao.

ME4024 - bộ điều khiển và cổng SAS

Hình 7. PowerVault ME4024 – bộ điều khiển và cổng SAS       

Các nút Gateway/Ngenea sử dụng máy chủ PowerEdge R750 với cấu hình Riser 2 có 6 khe, 2 x8 và 4 x16,Hình 8 hiển thị vị trí một vị trí cho máy chủ. Cổng LOM 1 và cổng chuyên dụng iDRAC được kết nối với mạng quản lý 1 GbE. Tất cả 4 x16 có thể được sử dụng với bộ điều hợp CX6 hoặc các thẻ giao diện mạng (NIC) tốc độ cao khác được hỗ trợ bởi PowerEdge R750, hai chiều cao đầy đủ (FH) ở khe 2 và 7 và hai cấu hình thấp (LP) ở khe 3 và 6 .Khe cắm 4 và 5 (x8) có thể được sử dụng cho mọi NIC được hỗ trợ. Khe cắm 1 và 8 không khả dụng trong cấu hình này .

Cổng R750 hoặc các nút Ngenea - phân bổ vị trí

Hình 8. Cổng PowerEdge R750 hoặc các nút Ngenea – phân bổ vị trí       

Công tắc quản lý cho thế hệ giải pháp này là Dell EMC PowerSwitch N2248X-ON (hiển thị trong Hình 9 ), trừ khi cụm HPC có đủ cổng trống để kết nối tất cả các kết nối dự phòng từ các máy chủ giải pháp PixStor khác nhau .

Công tắc quản lý - N2248X-ON

Hình 9. Công tắc quản lý – N2248X-ON       

Để triển khai InfiniBand, một cặp thiết bị chuyển mạch Mellanox QM8700 IB HDR 200 Gbps (hiển thị trong Hình 10) được sử dụng như một công tắc Lớp 2 đơn giản sử dụng các cổng 1 GbE .

Công tắc được quản lý InfiniBand HDR - QM8700

Hình 10. Công tắc được quản lý InfiniBand HDR – QM8700   

Để triển khai Ethernet, một cặp thiết bị chuyển mạch Mellanox SN3700 Ethernet 200 Gbps (hiển thị trong Hình 11) là bắt buộc, trừ khi cụm HPC có đủ cổng trống để kết nối tất cả các kết nối dự phòng từ các máy chủ lưu trữ PixStor khác nhau. Bộ điều hợp CX6 được giải pháp sử dụng là VPI, có thể được định cấu hình thành InfiniBand hoặc Ethernet khi cần. Ngoài ra còn có phiên bản 100 Gbps của bộ chuyển mạch, SN3700C (không hiển thị).

Bộ chuyển mạch được quản lý Ethernet 200 Gbps - SN3700

Hình 11. Bộ chuyển mạch được quản lý Ethernet 200 Gbps – SN3700