Thiết kế được Dell xác thực cho Bộ lưu trữ HPC pixstor ( 8 )

Công suất và hiệu suất khả dụng ước tính (dựa trên ME4)

  • Bảng sau đây cung cấp thông tin về khả năng sử dụng và hiệu suất cho tất cả các cấu hình khác nhau bao gồm mảng ME4. Lưu ý rằng chỉ các giá trị màu đen được đo hoặc xác định trước (như số lượng đơn vị ME4 hoặc không gian giá đỡ được sử dụng). Các giá trị khác được ngoại suy dựa trên các giá trị đo được và kết quả hoạt động.

    Hình 25.    Dung lượng và hiệu suất khả dụng ước tính cho các kích thước cấu hình khác nhau

     

Cấp NVMe mới

Tổng quan

  • Các mô-đun Bậc NVMe trong bản phát hành này (xem Hình 2) đã được cập nhật để bao gồm các máy chủ PowerEdge R650 và PowerEdge R750 và phần mềm NVIDIA-Excelero NVMesh không còn là một thành phần của giải pháp. Đối với mục đích HA, một giải pháp thay thế dựa trên sao chép GPFS đã được triển khai cho từng cặp máy chủ NVMe. Giải pháp thay thế này duy trì hiệu suất tốt cho tầng NVMe, giảm sự phụ thuộc vào phần mềm bên thứ ba, giảm độ phức tạp từ lớp phần mềm bổ sung và giảm giá cho tầng này (vì không cần cấp phép NVMesh nữa). Các máy chủ được phê duyệt cho tầng này hỗ trợ các thiết bị NVMe PCIe4. Việc kết hợp các thiết bị NVMe PCIe4 với các thiết bị PCIe3 hiệu suất thấp hơn không được khuyến nghị cho giải pháp và không được hỗ trợ cho cùng một bậc NVMe. Hiệu suất và dung lượng cho tầng NVMe này có thể được mở rộng bằng các cặp nút NVMe bổ sung.

    Các cặp máy chủ PowerEdge trong HA (miền chuyển đổi dự phòng) cung cấp tầng dựa trên flash hiệu suất cao cho giải pháp pixstor. Hai máy chủ PowerEdge đã được bổ sung và đo điểm chuẩn như một phần của bậc NVMe: một máy chủ PowerEdge R650 với 10 ổ đĩa NVMe được gắn trực tiếp và một máy chủ PowerEdge R750 với 16 thiết bị được gắn trực tiếp NVMe. Máy chủ PowerEdge R7525 với 24 ổ đĩa gắn trực tiếp được hỗ trợ và cũng có thể được sử dụng, nhưng hiệu suất của nó với các thiết bị PCIe4 không được mô tả. Để duy trì hiệu suất đồng nhất trên tất cả các nút NVMe, cho phép phân chia dữ liệu trên tất cả các nút trong tầng, chúng tôi đặc biệt không khuyến khích kết hợp các mô hình máy chủ khác nhau trong cùng một tầng NVMe vì sự khác biệt về hiệu suất sẽ kìm hãm các nút nhanh hơn trong khi chờ phân chia trên các nút chậm hơn. Tuy nhiên,

    Ổ đĩa trên bất kỳ cặp máy chủ cấp NVMe nào được cấu hình là thiết bị NSD; mỗi NSD có một bản sao trên cùng một cặp máy chủ (miền lỗi) bằng cách sử dụng bản sao GPFS. Cấu hình này cho phép dự phòng dữ liệu không chỉ ở cấp độ thiết bị mà còn ở cấp độ máy chủ, mặc dù dung lượng giảm xuống 50 phần trăm tổng dung lượng của NSD NVMe. Hạn chế duy nhất đối với các máy chủ cấp NVMe này là chúng phải được sử dụng theo cặp.

    Lưu ý rằng HDMD được sử dụng kể từ bản phát hành pixstor ban đầu hiện được thay thế bằng mô-đun cấp NVMe dựa trên một cặp máy chủ PowerEdge R650 được sử dụng để chỉ lưu trữ siêu dữ liệu. Đối với phần còn lại của đặc tính hiệu suất, các mô-đun siêu dữ liệu như vậy được sử dụng và đặc trưng cùng với các cặp tầng NVMe khác để chỉ lưu trữ dữ liệu. Đặc điểm của NVMe HDMD mới này với bộ nhớ dựa trên ME4084 không có trong tài liệu này, nhưng có trong bản cập nhật PowerVault ME5 cho giải pháp pixstor được phát hành vào cuối tháng 7 năm 2022.

    Bảng 7.       Các thành phần máy chủ tầng NVMe (chỉ các thành phần cho tầng này)

    thành phần giải pháp Khi phát hành giường thử
    bộ vi xử lý Nút PowerEdge R650 NVMe 2x Intel Xeon Gold 6326 2,9 GHz, 16C/32T, 11,2GT/s, 24M bộ nhớ đệm, Turbo, HT (185 W) DDR4-3200 2x Intel Xeon Gold 6354 3,00 GHz, 18C/36T, 11,2GT/s, 39M bộ nhớ đệm, Turbo, HT (205 W) DDR4-3200
    Siêu dữ liệu có nhu cầu cao tùy chọn 2x Intel Xeon Gold 6354 3,00 GHz, 18C/36T, 11,2GT/s, 39M bộ nhớ đệm, Turbo, HT (205 W) DDR4-3200
    Nút PowerEdge R750 NVMe 2x Intel Xeon Platinum 8352Y, 2,2 GHz, 32C/64T, 11,2GT/s, 48M bộ nhớ đệm, Turbo, HT (205 W) DDR4-3200
    Nút PowerEdge R7525 NVMe 2x AMD EPYC 7302 3.0 GHz, 16C/32T, 128M L3, (155 W)

    DDR4-3200

    Chưa được thử nghiệm với Thiết bị PCIe4
    Trí nhớ Nút PowerEdge R650 NVMe 16x 16 GB RDIMM, 3200MT/s, Xếp hạng kép (256 GiB)
    Siêu dữ liệu có nhu cầu cao tùy chọn
    Nút PowerEdge R750 NVMe
    Nút PowerEdge R7525 NVMe
    NVMe Nút PowerEdge R650 NVMe Các thiết bị NVMe được hỗ trợ

    10 NSD được sao chép trên cặp máy chủ

    10 Dell AG 1.6 TB (PM1735) PCIe4
    Siêu dữ liệu có nhu cầu cao tùy chọn Các thiết bị NVMe được hỗ trợ

    NSD được sao chép trên cặp máy chủ

    10 Dell AG 1.6 TB (PM1735) PCIe4
    Nút PowerEdge R750 NVMe Các thiết bị NVMe được hỗ trợ

    16 NSD được sao chép trên cặp máy chủ

    16 Dell Intel 1.6 TB (P5600) PCIe4
    Nút PowerEdge R7525 NVMe Các thiết bị NVMe được hỗ trợ

    24 NSD được sao chép trên cặp máy chủ

    Chưa được thử nghiệm với Thiết bị PCIe4
    Hệ điều hành Doanh nghiệp mũ đỏ Linux 8.5
    Phiên bản hạt nhân 4.18.0-348.23.1.el8_5.x86_64
    phần mềm pixstor 6.0.3.1-1
    Phần mềm hệ thống tập tin Thang đo phổ (GPFS) 5.1.3-1
    Kết nối mạng hiệu suất cao Các nút NVMe: 2x ConnectX-6 VPI InfiniBand sử dụng HDR (200 Gbps)
    Công tắc hiệu suất cao 2x Mellanox QM8700 (hoặc SN3700 cho 100 GbE)
    phiên bản OFED Mellanox OFED 5.6-1.0.3.3
    Đĩa cục bộ (hệ điều hành) BOSS-S2 với 2x M.2 240 GB trong RAID 1
    quản lý hệ thống iDRAC9 Enterprise + Dell OpenManage

     

Khách hàng thử giường

  • Bảng sau đây liệt kê các máy khách mà chúng tôi đã sử dụng để mô tả cấp NVMe:

    Bảng 8.      Giường thử nghiệm InfiniBand Client

    Thành phần

    Thông tin chi tiết

    Số nút máy khách

    16

    nút máy khách

    C6420

    Bộ xử lý trên mỗi nút máy khách

    11 nút với 2 x Intel Xeon Gold 6230 20 lõi @ 2,1 GHz

    5 nút với 2 x Intel Xeon Gold 6248 20 lõi @ 2,40 GHz

    Bộ nhớ trên mỗi nút máy khách

    6230 nút với 12 x 16 GiB 2933 MT/s RDIMM (192 GiB)

    6248 nút với 12 x 16 GiB 2666 MT/s RDIMM (192 GiB)

    BIOS

    2.8.2

    Hệ điều hành

    CentOS 8.4.2105

    Nhân hệ điều hành

    4.18.0-305.12.1.el8_4.x86_64

    phần mềm pixstor

    6.0.3.1-1

    Thang đo phổ (GPFS)

    5.1.3-0

    Phiên bản OFED

    MLNX_OFED_LINUX-5.4-1.0.3.0

    CX6 FW

    8 nút với cổng đơn Mellanox CX6: 20.32.1010

    8 nút với cổng đơn Dell OEM CX6: 31.2006

    Do chỉ có 16 nút điện toán khả dụng để thử nghiệm nên khi cần số lượng luồng cao hơn, các luồng đó sẽ được phân bổ đồng đều trên các nút điện toán (nghĩa là 32 luồng = 2 luồng trên mỗi nút, 64 luồng = 4 luồng trên mỗi nút, 128 luồng = 8 luồng trên mỗi nút, 256 luồng = 16 luồng trên mỗi nút, 512 luồng = 32 luồng trên mỗi nút, 1024 luồng = 64 luồng trên mỗi nút). Mục đích là để mô phỏng số lượng máy khách đồng thời cao hơn với số lượng nút tính toán hạn chế. Do các điểm chuẩn hỗ trợ số lượng luồng lớn nên giá trị tối đa lên tới 512 đã được sử dụng dựa trên số lượng lõi của các nút máy khách (ngoại trừ các thử nghiệm ngẫu nhiên và tuần tự IOzone với N máy khách – N tệp). Việc sử dụng nhiều luồng hơn số lõi có thể gây ra hiện tượng chuyển ngữ cảnh quá mức và các tác dụng phụ liên quan khác ảnh hưởng đến kết quả hoạt động.