Thiết kế được Dell xác thực cho Bộ lưu trữ HPC pixstor ( 16 )

Hiệu suất siêu dữ liệu PowerEdge R750 với MDtest bằng 3 tệp KiB

Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc thay vì các tệp trống, các tệp nhỏ 3 KiB được sử dụng với mục đích là các tệp đó vừa với các nút và do đó tránh truy cập vào các thiết bị khác để lưu trữ dữ liệu. Lệnh sau được sử dụng để chạy điểm chuẩn, trong đó  biến Chủ đề  là số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa của 2) và  my_hosts.$Threads  là tệp tương ứng phân bổ mỗi luồng trên một nút khác nhau, sử dụng phương pháp quay vòng để trải chúng đồng nhất trên 16 nút tính toán.

mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –map-by node –mca btl_openib_allow_ib 1 –oversubscribe –prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F -w 3K -e 3K

Hình 38.     Hiệu suất siêu dữ liệu – tệp nhỏ (3 K)

Giờ đây, một số dữ liệu phải được chuyển cho mỗi tệp, số hiệu suất giảm, ngay cả những tệp phải vừa với nút. Các thao tác thống kê và đọc cho kết quả tốt, đạt giá trị cao nhất lần lượt là 5,9 triệu thao tác/giây ở 32 luồng và 3,2 triệu thao tác/giây ở 128 luồng. Thao tác xóa đạt tối đa 474K thao tác/giây ở 64 luồng và thao tác tạo đạt tối đa 283,6K thao tác/giây, cả hai ở 64 luồng. Hoạt động thống kê và đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,7 triệu thao tác/giây đối với hoạt động thống kê và 1,7 triệu thao tác/giây đối với hoạt động đọc. Các hoạt động tạo và xóa ít biến đổi hơn, cả hai đều tiếp tục tăng cho đến khi đạt giá trị cao nhất, sau đó giảm dần sau đó.

Bởi vì những con số này dành cho mô-đun siêu dữ liệu với một cặp siêu dữ liệu PowerEdge R650 NVMe, nên hiệu suất sẽ tăng đối với mỗi cặp PowerEdge R650 NVMe bổ sung, tuy nhiên, chúng tôi không thể giả định mức tăng tuyến tính cho tất cả các hoạt động. Trừ khi toàn bộ tệp vừa với inode cho các tệp như vậy, các mục tiêu dữ liệu trên các thiết bị khác sẽ được sử dụng để lưu trữ các tệp nhỏ, làm hạn chế hiệu suất.

Hiệu suất siêu dữ liệu PowerEdge R750 với MDtest bằng 4 tệp KiB

Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc chúng tôi đã sử dụng các tệp nhỏ 4 KiB thay vì 3 tệp KiB, vì vậy một phần của mỗi tệp sẽ không vừa với inode của nó và một thiết bị khác sẽ được sử dụng để lưu trữ phần còn lại của các tệp . Lệnh sau được sử dụng để chạy điểm chuẩn, trong đó  biến Chủ đề  là số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa của 2) và  my_hosts.$Threads  là tệp tương ứng phân bổ mỗi luồng trên một nút khác nhau, sử dụng quay vòng để trải đều chúng trên 16 nút tính toán.

mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –map-by node –mca btl_openib_allow_ib 1 –oversubscribe –prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F -w 4K -e 4K

Hình 39.     Hiệu suất siêu dữ liệu – tệp nhỏ (4 K)

Hoạt động thống kê cho thấy những con số tốt, đạt giá trị cao nhất với 9,8 triệu thao tác/giây ở 64 luồng và hoạt động đọc đạt 3,3 triệu thao tác/giây ở 128 luồng. Các thao tác xóa đạt tối đa 317,4K thao tác/giây ở 32 luồng và tạo các thao tác đạt tối đa 137,4K thao tác/giây, cả hai ở 128 luồng. Hoạt động thống kê và đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,5 triệu thao tác/giây đối với hoạt động thống kê và 1,7 triệu thao tác/giây đối với hoạt động đọc. Thao tác tạo và xóa ít thay đổi hơn; cả hai tiếp tục tăng cho đến khi đạt giá trị cực đại, sau đó giảm dần.

Vì những con số này dành cho mô-đun siêu dữ liệu với một cặp siêu dữ liệu PowerEdge R650 NVMe và một cặp PowerEdge R750 NVMe cho dữ liệu, hiệu suất siêu dữ liệu sẽ tăng đối với mỗi cặp siêu dữ liệu PowerEdge R650 NVMe bổ sung; đồng thời, mỗi cặp PowerEdge R750 NVMe dành cho dữ liệu sẽ giúp tăng hiệu suất của một số thao tác như tạo, xóa và đọc. Các tệp càng lớn, tác dụng của các cặp PowerEdge R750 NVMe bổ sung được sử dụng cho dữ liệu càng lớn.