Thiết kế được Dell xác thực cho Bộ lưu trữ HPC pixstor ( 3 )

Giải pháp xây dựng

Thành phần giải pháp (1)

  • Giải pháp này được phát hành cùng với CPU Intel Xeon Scalable thế hệ thứ 3 mới nhất, còn được gọi là Ice Lake và RAM nhanh nhất hiện có (3200 MT/s). Bảng sau đây liệt kê các thành phần chính của giải pháp. Một số khác biệt đã được đưa ra giữa BOM mong muốn và phần cứng thử nghiệm thực tế vì phần cứng tiền phát hành (cấp độ sản xuất) cho dự án của chúng tôi, chỉ có một số mẫu CPU được cung cấp, không bao gồm mẫu vòng đời dự kiến.

    Cột  Khi phát hành  liệt kê các thành phần được lên kế hoạch sử dụng vào thời điểm phát hành và có sẵn cho khách hàng cùng với giải pháp. Cột  Giường thử nghiệm  liệt kê các thành phần thực sự được sử dụng để mô tả hiệu suất của giải pháp. Các ổ đĩa được liệt kê cho dữ liệu (12 TB NLS) đã được sử dụng để mô tả đặc tính hiệu suất, nhưng tất cả các ổ cứng HDD và SSD được hỗ trợ trong  Ma trận hỗ trợ ME4 có thể được sử dụng cho các giải pháp. Do bộ điều khiển ME4 là nút cổ chai của bộ lưu trữ phụ trợ, nên việc sử dụng các ổ đĩa có tốc độ định mức cao hơn (10 K, 15 K và SSD) sẽ không cung cấp nhiều thông lượng tuần tự hơn, nhưng có thể cung cấp IOP ngẫu nhiên tốt hơn và có thể cải thiện việc tạo và xóa siêu dữ liệu hoạt động. Để dự phòng đầy đủ mạng tốc độ cao, phải sử dụng hai bộ chuyển mạch tốc độ cao (QM87000 cho IB và SN3700 cho GbE) và mỗi bộ chuyển mạch phải có một bộ điều hợp CX6 được kết nối từ mỗi máy chủ.

    Các thành phần phần mềm được liệt kê mô tả các phiên bản được sử dụng trong quá trình thử nghiệm ban đầu và những phiên bản được sử dụng trên phiên bản đã phát hành. Tuy nhiên, các phiên bản phần mềm này có thể thay đổi giữa các lần phát hành chính thức để bao gồm các bản sửa lỗi quan trọng, hỗ trợ cho các thành phần phần cứng mới hoặc thêm các tính năng mới.

    Bảng liệt kê các ổ cứng và SSD dữ liệu có thể có, dựa trên các ổ đĩa được hỗ trợ trong  ma trận hỗ trợ Dell PowerVault ME4 .

    Bảng 2.       Các thành phần được sử dụng tại thời điểm xuất xưởng và trên giường thử nghiệm

    thành phần giải pháp Khi phát hành giường thử
    Công tắc quản lý nội bộ Dell PowerSwitch N2248X-ON GbE PowerSwitch S3048-ON
    Hệ thống con lưu trữ dữ liệu 1 x đến 4 x PowerVault ME4084

    4 phần mở rộng PowerVault ME484 tùy chọn (Một phần cho mỗi mảng ME4084)

    80 – 12 TB Ổ cứng HDD 3.5” NL SAS3

    Các tùy chọn thay thế: 15 K RPM:900GB; 10K RPM:1,2TB, 2,4TB;

    SSD: 960GB, 1,92TB, 3,84TB; NLS: 4TB, 8TB, 12TB, 16TB, 18TB

    8 LUN, RAID 6 8+2 tuyến tính, kích thước khối 512 KiB.

    4 – 1,92 TB (hoặc 3,84 TB) SSD SAS3 cho Siêu dữ liệu – 2 x RAID 1 (hoặc 4 – ổ cứng dự phòng toàn cầu, nếu sử dụng HDMD tùy chọn)

    Hệ thống phụ lưu trữ HDDMD tùy chọn Một hoặc nhiều cặp tầng NVMe (dựa trên máy chủ PowerEdge R650) với 10 ổ NVMe PCIe 4
    Bộ điều khiển lưu trữ RAID Song công 12 Gbps SAS
    Dung lượng không cần mở rộng (với ổ cứng 12 TB) Nguyên bản: 4032 TB (3667 TiB hoặc 3,58 PiB)

    Định dạng: khoảng 3072 GB (2794 TiB hoặc 2,73 PiB)

    Công suất mở rộng

    (Ổ cứng 12 TB)

    Nguyên bản: 8064 TB (7334 TiB hoặc 7,16 PiB)

    Định dạng: khoảng 6144 GB (5588 TiB hoặc 5,46 PiB)

    bộ vi xử lý Cổng/ngenea 2 x Intel Xeon Gold 6326 2,9 GHz, 16C/32T, 11,2GT/s, 24M bộ nhớ đệm, Turbo, HT (185 W) DDR4-3200 2 x Intel Xeon Bạch kim 8352Y

    2,2 GHz, 32C/64T, 11,2GT/giây,

    Bộ nhớ đệm 48M, Turbo, HT (205 W)

    DDR4-3200

    nút lưu trữ
    nút quản lý 2 x Intel Xeon Gold 6330 2 GHz, 28C/56T, 11,2GT/s, 42M bộ nhớ đệm, Turbo, HT (185 W) DDR4-2933
    Trí nhớ

     

    Cổng/ngenea 16 x 16 GiB 3200 MT/s RDIMM (256 GiB)
    nút lưu trữ
    nút quản lý
    Hệ điều hành Doanh nghiệp mũ đỏ Linux 8.4
    Phiên bản hạt nhân 4.18.0-305.12.1.el8_4.x86_64
    phần mềm pixstor 6.0.0.0
    Thang đo phổ (GPFS) 5.1.1-2
    phiên bản OFED MLNX_OFED_LINUX-5.4-1.0.3.0
    NIC hiệu suất cao Tất cả: 2 x Dell OEM ConnectX-6 Cổng đơn HDR VPI InfiniBand, Cấu hình thấp

    Các nút cổng và ngenea: 4 bộ điều hợp CX6 VPI, 2 x FS và 2 x bên ngoài

    Công tắc hiệu suất cao 2 x Mellanox QM8700 cho IB HDR hoặc 2 x SN3700 cho 200/200 GbE

    1 bộ chuyển đổi CX6 từ mỗi máy chủ kết nối với một công tắc khác (đối với HA)

    Đĩa cục bộ (hệ điều hành và phân tích/giám sát) 3 x 480 GB SSD SAS3 (RAID 1 + HS) cho hệ điều hành

    Bộ điều khiển RAID phía trước PERC H345

    quản lý hệ thống iDRAC9 Enterprise + Dell OpenManage 10.0.1-4517

    Lưu ý :  Chương 7  và  Chương 8  cung cấp thông tin về các máy chủ được sử dụng làm nút NVMe.

    Kết nối tốc độ cao, quản lý và SAS

    Do Giải pháp Sẵn sàng của Dell cho Bộ lưu trữ HPC pixstor được bán kèm theo các dịch vụ triển khai nên mô tả chi tiết về hệ thống cáp cho SAS, mạng tốc độ cao hoặc hệ thống cáp các thành phần khác nhau tới bộ chuyển mạch quản lý nằm ngoài phạm vi của tài liệu này. Thông tin về các máy chủ được sử dụng cho tầng NVMe sẽ có trong tài liệu tiếp theo.

    Máy chủ quản lý

    Sử dụng máy chủ PowerEdge R650 với cấu hình riser 0 có 3 khe cắm x16. Hình dưới đây cho thấy sự phân bổ vị trí cho máy chủ:

    Hình 3.    Máy chủ quản lý PowerEdge R650 – phân bổ khe cắm

    Cổng LAN Trên Bo mạch chủ 1 (LOM 1), được đặt tên là  man0 , được kết nối với mạng quản lý 1 GbE. Cổng LOM 2 (LOM2), được đặt tên là  man2  và cổng dành riêng cho iDRAC được kết nối với mạng quản lý bên ngoài để truy cập giải pháp pixstor. Khe cắm 1 và 2, được sử dụng cho bộ điều hợp CX6, được kết nối với bộ chuyển mạch mạng tốc độ cao. Khe 3 được sử dụng cho thẻ cổng nối tiếp tùy chọn.

    Máy chủ nút lưu trữ (SN)

    Sử dụng máy chủ PowerEdge R750 với cấu hình riser 1 có tám khe cắm, 2 x6 và 6 x8, như minh họa trong hình sau:

    Hình 4.    Nút lưu trữ R750 – Phân bổ khe

    Cổng LOM 1 và cổng chuyên dụng iDRAC được kết nối với mạng quản lý 1 GbE. Tất cả các máy chủ PowerEdge R750 đều sử dụng khe cắm 3 và 6 (x16) cho bộ điều hợp CX6 được kết nối với bộ chuyển mạch mạng tốc độ cao. Các máy chủ lưu trữ được kết nối với mảng ME4 có hai thẻ SAS HBA355e ở các khe 2 và 7 (x8). Khe 8 được sử dụng cho thẻ cổng nối tiếp tùy chọn.

    Lưu trữ dữ liệu phụ trợ

    Để lưu trữ dữ liệu, giải pháp sử dụng mảng đĩa 5U ME4 mật độ cao. Hình dưới đây cho thấy các bộ điều khiển của mảng ME4084. Một cổng SAS (A0-A3 và B0-B3) từ mỗi bộ điều khiển (A và B) được kết nối với một HBA khác trong các khe 2 và 7 trên mỗi nút lưu trữ.

    Hình 5.    Mảng PowerVault ME4084 – Bộ điều khiển và cổng SAS

    Đầu nối SAS I/O 0 (cổng trong hộp màu xanh) của mỗi bộ điều khiển được sử dụng để kết nối Mô-đun I/O (IOM) trong mảng mở rộng ME484 sử dụng cổng I/O 0 của Mô-đun I/O tương ứng (Bộ điều khiển A đến Mô-đun I/O A, Bộ điều khiển B đến Mô-đun I/O B).

    Hình dưới đây cho thấy mặt sau của mảng mở rộng ME484, trong đó cổng I/O 0 là cổng SAS màu xanh ở bên trái của mỗi IOM.

    Hình 6.    Mở rộng ME484 – Mô-đun I/O và các cổng SAS

    Cổng/ngenea nút

    Sử dụng máy chủ PowerEdge R750 với cấu hình riser 2 có sáu khe cắm, 2 x8 và 4 x16, như minh họa trong hình sau:

    Hình 7.    Nút R750 Gateway hoặc ngenea – Phân bổ vị trí

    Cổng LOM 1 và cổng chuyên dụng iDRAC được kết nối với mạng quản lý 1 GbE. Tất cả 4 khe cắm x16 đều có thể được sử dụng với bộ điều hợp CX6 hoặc NIC tốc độ cao khác được hỗ trợ bởi máy chủ PowerEdge R750, hai Chiều cao đầy đủ (FH) ở khe 2 và 7, và hai Cấu hình thấp (LP) ở khe 3 và 6. Hai CX6 bộ điều hợp phải được kết nối với mạng tốc độ cao của giải pháp, tốt nhất là khe 3 và 6. Khe 4 và 5 (x8) có thể được sử dụng cho mọi NIC được hỗ trợ. Khe 1 và 8 không khả dụng trong cấu hình này.

    Công tắc quản lý

    Thế hệ giải pháp này sử dụng PowerSwitch N2248X-ON được sử dụng làm công tắc Lớp 2 đơn giản sử dụng cổng 1 GbE, như thể hiện trong hình sau:

    Hình 8.    Công tắc quản lý – N2248X-ON