Lưu trữ do HPC xác định bằng phần mềm với PixStor (6)

Hiệu suất siêu dữ liệu được đo bằng MDtest phiên bản 3.3.0, được hỗ trợ bởi OpenMPI v4.1.2A1 để chạy điểm chuẩn trên 16 nút điện toán. Các thử nghiệm được thực hiện đa dạng từ một luồng cho đến 512 luồng. Điểm chuẩn chỉ được sử dụng cho các tệp (không có siêu dữ liệu thư mục), nhận số lần tạo, thống kê, đọc và xóa mà giải pháp có thể xử lý.

Để đánh giá đúng giải pháp so với các giải pháp lưu trữ HPC khác của Dell Technologies, mô-đun siêu dữ liệu có nhu cầu cao tùy chọn đã được sử dụng, với một mảng PowerVault ME4024 duy nhất.

Mô-đun siêu dữ liệu có nhu cầu cao này có thể hỗ trợ tối đa bốn mảng PowerVault ME4024 và bạn nên tăng số lượng mảng PowerVault ME4024 lên 4 trước khi thêm một mô-đun siêu dữ liệu khác. Các mảng PowerVault ME4024 bổ sung dự kiến ​​sẽ tăng hiệu suất siêu dữ liệu một cách tuyến tính với mỗi mảng bổ sung, ngoại trừ có thể đối với các hoạt động Stat (và Đọc đối với các tệp trống), vì số lượng của chúng rất cao, tại một số điểm, CPU sẽ trở thành nút cổ chai và hiệu suất sẽ không tiếp tục tăng tuyến tính.

Lệnh sau được sử dụng để thực thi điểm chuẩn, trong đó Chủ đề là biến có số lượng chủ đề được sử dụng (1 đến 512 tăng dần theo lũy thừa của hai) và my_hosts.$Threads là tệp tương ứng phân bổ từng luồng trên một nút khác nhau, sử dụng vòng tròn để trải đều chúng trên 16 nút điện toán. Tương tự như điểm chuẩn I/O ngẫu nhiên, số lượng luồng tối đa được giới hạn ở 512, do không có đủ lõi cho 1024 luồng và việc chuyển ngữ cảnh có thể ảnh hưởng đến kết quả, báo cáo một con số thấp hơn hiệu suất thực của giải pháp.

mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –map-by node –mca btl_openib_allow_ib 1 –oversubscribe –prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F

Vì kết quả hiệu suất có thể bị ảnh hưởng bởi tổng số IOP, số lượng tệp trên mỗi thư mục và số lượng luồng, nên chúng tôi đã quyết định giữ cố định tổng số tệp thành 2 tệp MiB (2^21 = 2097152), số số tệp trên mỗi thư mục được cố định ở mức 1024 và số lượng thư mục thay đổi khi số lượng luồng thay đổi như trong bảng 3

Bảng 3. Phân phối tệp MDtest trên thư mục     

Hình 18. Hiệu suất siêu dữ liệu – các tệp trống

Đầu tiên, lưu ý rằng thang đo được chọn là logarit với cơ số 10, để cho phép so sánh các hoạt động có sự khác biệt theo một số bậc độ lớn; nếu không, một số hoạt động sẽ trông giống như một đường phẳng gần bằng 0 trên biểu đồ bình thường. Biểu đồ nhật ký với cơ số 2 có thể phù hợp hơn, vì số luồng được tăng theo lũy thừa của 2, nhưng biểu đồ như vậy sẽ trông khá giống nhau và mọi người có xu hướng xử lý và ghi nhớ các số tốt hơn dựa trên lũy thừa của 10.

Hệ thống lưu trữ đạt được kết quả rất tốt với các thao tác Stat và Read đạt giá trị cao nhất ở 32 luồng với lần lượt là 5,34M Hoạt động/giây và 2,42M Hoạt động/giây. Hoạt động xóa đạt mức tối đa 164,76K Hoạt động/giây ở 512 luồng và hoạt động Tạo đạt mức tối đa ở 256 luồng với 232,22K Hoạt động/giây. Hoạt động Thống kê và Đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,9 triệu Hoạt động/giây đối với Thống kê và 2 triệu hoạt động/giây đối với Đọc. Tạo và Xóa sẽ ổn định hơn khi chúng đạt đến mức ổn định và duy trì trên 130K thao tác/giây đối với Xóa và 146K thao tác/giây đối với Tạo .