Dell Validated Design cho HPC pixstor Storage—Giải pháp chung với Kalray (8)

Cấp NVMe mới

Tổng quan

Các mô-đun Bậc NVMe trong bản phát hành này (xem  Hình 2) đã được cập nhật để bao gồm các máy chủ PowerEdge R650 và PowerEdge R750 và phần mềm NVIDIA-Excelero NVMesh không còn là một thành phần của giải pháp. Đối với mục đích HA, một giải pháp thay thế dựa trên sao chép GPFS đã được triển khai cho từng cặp máy chủ NVMe. Giải pháp thay thế này duy trì hiệu suất tốt cho tầng NVMe, giảm sự phụ thuộc vào phần mềm bên thứ ba, giảm độ phức tạp từ lớp phần mềm bổ sung và giảm giá cho tầng này (vì không cần cấp phép NVMesh nữa). Các máy chủ được phê duyệt cho tầng này hỗ trợ các thiết bị NVMe PCIe4. Việc kết hợp các thiết bị NVMe PCIe4 với các thiết bị PCIe3 hiệu suất thấp hơn không được khuyến nghị cho giải pháp và không được hỗ trợ cho cùng một bậc NVMe. Hiệu suất và dung lượng cho tầng NVMe này có thể được mở rộng bằng các cặp nút NVMe bổ sung.

Các cặp máy chủ PowerEdge trong HA (miền chuyển đổi dự phòng) cung cấp tầng dựa trên flash hiệu suất cao cho giải pháp pixstor. Hai máy chủ PowerEdge đã được bổ sung và đo điểm chuẩn như một phần của bậc NVMe: một máy chủ PowerEdge R650 với 10 ổ đĩa NVMe được gắn trực tiếp và một máy chủ PowerEdge R750 với 16 thiết bị được gắn trực tiếp NVMe. Máy chủ PowerEdge R7525 với 24 ổ đĩa gắn trực tiếp được hỗ trợ và cũng có thể được sử dụng, nhưng hiệu suất của nó với các thiết bị PCIe4 không được mô tả. Để duy trì hiệu suất đồng nhất trên tất cả các nút NVMe, cho phép phân chia dữ liệu trên tất cả các nút trong tầng, chúng tôi đặc biệt không khuyến khích kết hợp các mô hình máy chủ khác nhau trong cùng một tầng NVMe vì sự khác biệt về hiệu suất sẽ kìm hãm các nút nhanh hơn trong khi chờ phân chia trên các nút chậm hơn. Tuy nhiên,

Ổ đĩa trên bất kỳ cặp máy chủ cấp NVMe nào được cấu hình là thiết bị NSD; mỗi NSD có một bản sao trên cùng một cặp máy chủ (miền lỗi) bằng cách sử dụng bản sao GPFS. Cấu hình này cho phép dự phòng dữ liệu không chỉ ở cấp độ thiết bị mà còn ở cấp độ máy chủ, mặc dù dung lượng giảm xuống 50 phần trăm tổng dung lượng của NSD NVMe. Hạn chế duy nhất đối với các máy chủ cấp NVMe này là chúng phải được sử dụng theo cặp.

Lưu ý rằng HDMD được sử dụng kể từ bản phát hành pixstor ban đầu hiện được thay thế bằng mô-đun cấp NVMe dựa trên một cặp máy chủ PowerEdge R650 được sử dụng để chỉ lưu trữ siêu dữ liệu. Đối với phần còn lại của đặc tính hiệu suất, các mô-đun siêu dữ liệu như vậy được sử dụng và đặc trưng cùng với các cặp tầng NVMe khác để chỉ lưu trữ dữ liệu. Đặc tính của NVMe HDMD mới này với bộ lưu trữ dựa trên ME5084 không có trong tài liệu này.

Bảng 6.       Các thành phần máy chủ tầng NVMe (chỉ các thành phần cho tầng này)

thành phần giải pháp

Khi phát hành

giường thử

bộ vi xử lý

Nút PowerEdge R650 NVMe

2x Intel Xeon Gold 6326 2,9 GHz, 16C/32T, 11,2GT/s, 24M bộ nhớ đệm, Turbo, HT (185 W) DDR4-3200

2x Intel Xeon Gold 6354 3,00 GHz, 18C/36T, 11,2GT/s, 39M bộ nhớ đệm, Turbo, HT (205 W) DDR4-3200

Siêu dữ liệu có nhu cầu cao tùy chọn

2x Intel Xeon Gold 6354 3,00 GHz, 18C/36T, 11,2GT/s, 39M bộ nhớ đệm, Turbo, HT (205 W) DDR4-3200

Nút PowerEdge R750 NVMe

2x Intel Xeon Platinum 8352Y, 2,2 GHz, 32C/64T, 11,2GT/s, 48M bộ nhớ đệm, Turbo, HT (205 W) DDR4-3200

Nút PowerEdge R7525 NVMe

2x AMD EPYC 7302 3.0 GHz, 16C/32T, 128M L3, (155 W)

DDR4-3200

Chưa được thử nghiệm với Thiết bị PCIe4

Ký ức

Nút PowerEdge R650 NVMe

16x 16 GB RDIMM, 3200MT/s, Xếp hạng kép (256 GiB)

Siêu dữ liệu có nhu cầu cao tùy chọn

Nút PowerEdge R750 NVMe

Nút PowerEdge R7525 NVMe

NVMe

Nút PowerEdge R650 NVMe

Các thiết bị NVMe được hỗ trợ

10 NSD được sao chép trên cặp máy chủ

10 Dell AG 1.6 TB (PM1735) PCIe4

Siêu dữ liệu có nhu cầu cao tùy chọn

Các thiết bị NVMe được hỗ trợ

NSD được sao chép trên cặp máy chủ

10 Dell AG 1.6 TB (PM1735) PCIe4

Nút PowerEdge R750 NVMe

Các thiết bị NVMe được hỗ trợ

16 NSD được sao chép trên cặp máy chủ

16 Dell Intel 1.6 TB (P5600) PCIe4

Nút PowerEdge R7525 NVMe

Các thiết bị NVMe được hỗ trợ

24 NSD được sao chép trên cặp máy chủ

Chưa được thử nghiệm với Thiết bị PCIe4

Hệ điều hành

Doanh nghiệp mũ đỏ Linux 8.5

Phiên bản hạt nhân

4.18.0-348.23.1.el8_5.x86_64

phần mềm pixstor

6.0.3.1-1

Phần mềm hệ thống tập tin

Thang đo phổ (GPFS) 5.1.3-1

Kết nối mạng hiệu suất cao

Các nút NVMe: 2x ConnectX-6 VPI InfiniBand sử dụng HDR (200 Gbps)

Công tắc hiệu suất cao

2x Mellanox QM8700 (hoặc SN3700 cho 100 GbE)

phiên bản OFED

Mellanox OFED 5.6-1.0.3.3

Đĩa cục bộ (hệ điều hành)

BOSS-S2 với 2x M.2 240 GB trong RAID 1

quản lý hệ thống

iDRAC9 Enterprise + Dell OpenManage

 

_____________________

Bảng sau đây liệt kê các máy khách mà chúng tôi đã sử dụng để mô tả cấp NVMe:

Bảng 7.       Giường thử nghiệm InfiniBand Client

Thành phần

Chi tiết

Số nút máy khách

16

nút máy khách

C6420

Bộ xử lý trên mỗi nút máy khách

11 nút với 2 x Intel Xeon Gold 6230 20 lõi @ 2,1 GHz

5 nút với 2 x Intel Xeon Gold 6248 20 lõi @ 2,40 GHz

Bộ nhớ trên mỗi nút máy khách

6230 nút với 12 x 16 GiB 2933 MT/s RDIMM (192 GiB)

6248 nút với 12 x 16 GiB 2666 MT/s RDIMM (192 GiB)

BIOS

2.8.2

Hệ điều hành

CentOS 8.4.2105

Nhân hệ điều hành

4.18.0-305.12.1.el8_4.x86_64

phần mềm pixstor

6.0.3.1-1

Thang đo phổ (GPFS)

5.1.3-0

Phiên bản OFED

MLNX_OFED_LINUX-5.4-1.0.3.0

CX6 FW

8 nút với cổng đơn Mellanox CX6: 20.32.1010

8 nút với cổng đơn Dell OEM CX6: 31.2006

Do chỉ có 16 nút điện toán khả dụng để thử nghiệm nên khi cần số lượng luồng cao hơn, các luồng đó sẽ được phân bổ đồng đều trên các nút điện toán (nghĩa là 32 luồng = 2 luồng trên mỗi nút, 64 luồng = 4 luồng trên mỗi nút, 128 luồng = 8 luồng trên mỗi nút, 256 luồng = 16 luồng trên mỗi nút, 512 luồng = 32 luồng trên mỗi nút, 1024 luồng = 64 luồng trên mỗi nút). Mục đích là để mô phỏng số lượng máy khách đồng thời cao hơn với số lượng nút tính toán hạn chế. Do các điểm chuẩn hỗ trợ số lượng luồng lớn nên giá trị tối đa lên tới 512 đã được sử dụng dựa trên số lượng lõi của các nút máy khách (ngoại trừ các thử nghiệm ngẫu nhiên và tuần tự IOzone với N máy khách – N tệp). Việc sử dụng nhiều luồng hơn số lõi có thể gây ra hiện tượng chuyển ngữ cảnh quá mức và các tác dụng phụ liên quan khác ảnh hưởng đến kết quả hoạt động.