Giải pháp lưu trữ hiệu suất cao HPC cho BeeGFS (4)

Máy chủ lưu trữ

Mỗi máy chủ PowerEdge R750 trong cặp SS được trang bị bốn bộ điều hợp bus máy chủ SAS 12 Gb/giây bốn cổng HBA355e và hai bộ điều hợp NVIDIA Mellanox InfiniBand HDR để xử lý các yêu cầu lưu trữ. Điều này cho phép các HBA SAS được phân bổ đều trên hai CPU để cân bằng tải. Với bốn bộ điều khiển SAS 12 Gb/s bốn cổng trong mỗi PowerEdge R750, hai máy chủ được kết nối dự phòng với từng mảng trong số bốn mảng lưu trữ mật độ cao PowerVault ME5084, với lựa chọn 8 TB, 12 TB, 16 TB hoặc 20 TB của ổ đĩa cứng (HDD) NL SAS 7.2 K RPM hoặc bất kỳ ổ đĩa được hỗ trợ nào như được xác định trong Ma trận hỗ trợ hệ thống lưu trữ sê-ri Dell PowerVault ME5 . Hình 5  cho thấy các cổng SAS trên mảng ME5084.

Hình 5.   Cổng ME5084 SAS

Mục tiêu lưu trữ

Hình 6 minh họa cách mỗi mảng lưu trữ ME5084 được chia thành tám nhóm đĩa RAID 6 tuyến tính, mỗi nhóm có mười ổ, với tám dữ liệu và hai đĩa chẵn lẻ cho mỗi nhóm. Mỗi nhóm đĩa được định dạng với kích thước khối là 128k và tạo thành một mục tiêu lưu trữ duy nhất (ST), với tổng số tám ST.

Bố cục LUN RAID 6 (8+2) trên một ME4084

Hình 6.  Bố cục LUN RAID 6 (8+2) trên một ME5084

Mỗi ST cung cấp khoảng 64 TB không gian lưu trữ đối tượng được định dạng khi được gắn với ổ cứng 8 TB. Vì mỗi mảng có 84 ổ đĩa, sau khi tạo tám nhóm đĩa RAID-6, chúng tôi có 4 ổ đĩa dự phòng trên mỗi mảng, 2 ổ đĩa trên mỗi khay, được định cấu hình là ổ đĩa dự phòng động toàn cầu trên 8 nhóm đĩa trong mảng. Đối với mỗi nhóm đĩa, một ổ đĩa duy nhất sử dụng tất cả dung lượng của RAID sẽ được tạo. Kết quả là, một cấu hình cơ sở lớn như thể hiện trong Hình 2 có tổng cộng 32 ổ RAID 6 tuyến tính trên bốn mảng lưu trữ ME5084. Mỗi ổ đĩa RAID 6 này được định cấu hình làm ST cho hệ thống tệp BeeGFS, dẫn đến tổng cộng 32 ST trên hệ thống tệp trong cấu hình lớn cơ sở.

Các ST được hiển thị cho khách hàng thông qua kết nối InfiniBand HDR. Từ bất kỳ nút điện toán nào được trang bị ứng dụng khách BeeGFS, toàn bộ không gian tên có thể được gắn kết, truy cập và quản lý giống như bất kỳ hệ thống tệp cục bộ nào khác.

 

Cấu hình phần cứng và phần mềm

Bảng 1 mô tả chi tiết phần cứng và phần mềm của giải pháp:

Bảng 1.     Thông số kỹ thuật phần cứng và phần mềm của giải pháp

Thành phần

Sự chỉ rõ

Máy chủ quản lý

1× Dell EMC PowerEdge R650

máy chủ siêu dữ liệu

2× Dell EMC PowerEdge R750

máy chủ lưu trữ

2× Dell EMC PowerEdge R750

bộ vi xử lý

Máy chủ quản lý, MDS và SS:

2× Intel Xeon Gold 6326 2.9G, 16 nhân

Ký ức

Máy chủ quản lý, MDS và SS:
16x 16GB RDIMM, 3200MT/s, Xếp hạng kép

Đĩa cục bộ và bộ điều khiển RAID

Máy chủ quản lý, MDS và SS:
Bộ điều khiển RAID tích hợp PERC H345, 2 ổ SSD 480GB 12Gbps SAS được định cấu hình trong RAID1 cho HĐH

InfiniBand HCA

MDS: 2× NVIDIA Mellanox ConnectX-6 Cổng đơn HDR100 với phiên bản phần sụn 20.28.4512

SS: 2× NVIDIA Mellanox ConnectX-6 Cổng đơn HDR với phiên bản phần sụn 20.28.4512

Bộ điều khiển lưu trữ bên ngoài

MDS: Bộ điều hợp Dell HBA355e 2×

SS: Bộ điều hợp Dell HBA355e 4 ×

Thùng lưu trữ đối tượng

4× Dell EMC PowerVault ME5084 được điền đầy đủ với tổng số 336 ổ đĩa

Bao vây lưu trữ siêu dữ liệu

1× Dell EMC PowerVault ME5024 đầy đủ với 24 ổ SSD

bộ điều khiển RAID

Bộ điều khiển RAID song công trong vỏ ME5084 và ME5024

Ổ đĩa cứng

Trên mỗi Vỏ ME5084: 84× 8 TB 3,5 inch 7,2 K RPM NL SAS3

Vỏ ME5024: SSD 24× 960 GB SAS3

Bất kỳ ổ đĩa nào có trong ma trận hỗ trợ ME5 đều hợp lệ

Hệ điều hành

Bản phát hành Red Hat Enterprise Linux 8.3

Phiên bản hạt nhân

4.18.0-240.el8.x86_64

NVIDIA Mellanox OFED

5.4-1.0.3.0

Phiên bản hệ thống tệp BeeGFS

7.2.4

Grafana

8.1.5-1

InfluxDB

1.8.9-1

máy tạo nhịp tim

2.0.4-6

Đồng bộ hóa

3.0.3-4

Công tắc quản lý

Mạng Dell N3248TE-ON

Công tắc InfiniBand

NVIDIA QM8790 Quantum HDR 200 Gb/s Edge Switch—1U với phiên bản phần sụn 27.2008.2500