Hiệu suất siêu dữ liệu PowerEdge R750 với MDtest bằng 3 tệp KiB
Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc thay vì các tệp trống, các tệp nhỏ 3 KiB được sử dụng với mục đích là các tệp đó vừa với các nút và do đó tránh truy cập vào các thiết bị khác để lưu trữ dữ liệu. Lệnh sau được sử dụng để chạy điểm chuẩn, trong đó biến Chủ đề là số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa của 2) và my_hosts.$Threads là tệp tương ứng phân bổ mỗi luồng trên một nút khác nhau, sử dụng phương pháp quay vòng để trải chúng đồng nhất trên 16 nút tính toán.
mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –map-by node –mca btl_openib_allow_ib 1 –oversubscribe –prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F -w 3K -e 3K
Hình 38. Hiệu suất siêu dữ liệu – tệp nhỏ (3 K)
Giờ đây, một số dữ liệu phải được chuyển cho mỗi tệp, số hiệu suất giảm, ngay cả những tệp phải vừa với nút. Các thao tác thống kê và đọc cho kết quả tốt, đạt giá trị cao nhất lần lượt là 5,9 triệu thao tác/giây ở 32 luồng và 3,2 triệu thao tác/giây ở 128 luồng. Thao tác xóa đạt tối đa 474K thao tác/giây ở 64 luồng và thao tác tạo đạt tối đa 283,6K thao tác/giây, cả hai ở 64 luồng. Hoạt động thống kê và đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,7 triệu thao tác/giây đối với hoạt động thống kê và 1,7 triệu thao tác/giây đối với hoạt động đọc. Các hoạt động tạo và xóa ít biến đổi hơn, cả hai đều tiếp tục tăng cho đến khi đạt giá trị cao nhất, sau đó giảm dần sau đó.
Bởi vì những con số này dành cho mô-đun siêu dữ liệu với một cặp siêu dữ liệu PowerEdge R650 NVMe, nên hiệu suất sẽ tăng đối với mỗi cặp PowerEdge R650 NVMe bổ sung, tuy nhiên, chúng tôi không thể giả định mức tăng tuyến tính cho tất cả các hoạt động. Trừ khi toàn bộ tệp vừa với inode cho các tệp như vậy, các mục tiêu dữ liệu trên các thiết bị khác sẽ được sử dụng để lưu trữ các tệp nhỏ, làm hạn chế hiệu suất.
Hiệu suất siêu dữ liệu PowerEdge R750 với MDtest bằng 4 tệp KiB
Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc chúng tôi đã sử dụng các tệp nhỏ 4 KiB thay vì 3 tệp KiB, vì vậy một phần của mỗi tệp sẽ không vừa với inode của nó và một thiết bị khác sẽ được sử dụng để lưu trữ phần còn lại của các tệp . Lệnh sau được sử dụng để chạy điểm chuẩn, trong đó biến Chủ đề là số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa của 2) và my_hosts.$Threads là tệp tương ứng phân bổ mỗi luồng trên một nút khác nhau, sử dụng quay vòng để trải đều chúng trên 16 nút tính toán.
mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –map-by node –mca btl_openib_allow_ib 1 –oversubscribe –prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F -w 4K -e 4K
Hình 39. Hiệu suất siêu dữ liệu – tệp nhỏ (4 K)
Hoạt động thống kê cho thấy những con số tốt, đạt giá trị cao nhất với 9,8 triệu thao tác/giây ở 64 luồng và hoạt động đọc đạt 3,3 triệu thao tác/giây ở 128 luồng. Các thao tác xóa đạt tối đa 317,4K thao tác/giây ở 32 luồng và tạo các thao tác đạt tối đa 137,4K thao tác/giây, cả hai ở 128 luồng. Hoạt động thống kê và đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,5 triệu thao tác/giây đối với hoạt động thống kê và 1,7 triệu thao tác/giây đối với hoạt động đọc. Thao tác tạo và xóa ít thay đổi hơn; cả hai tiếp tục tăng cho đến khi đạt giá trị cực đại, sau đó giảm dần.
Vì những con số này dành cho mô-đun siêu dữ liệu với một cặp siêu dữ liệu PowerEdge R650 NVMe và một cặp PowerEdge R750 NVMe cho dữ liệu, hiệu suất siêu dữ liệu sẽ tăng đối với mỗi cặp siêu dữ liệu PowerEdge R650 NVMe bổ sung; đồng thời, mỗi cặp PowerEdge R750 NVMe dành cho dữ liệu sẽ giúp tăng hiệu suất của một số thao tác như tạo, xóa và đọc. Các tệp càng lớn, tác dụng của các cặp PowerEdge R750 NVMe bổ sung được sử dụng cho dữ liệu càng lớn.
Bài viết mới cập nhật
Thực hiện chuyển đổi sang PowerStore dễ dàng
Các công cụ di chuyển gốc PowerStore, Storage vMotion và Datadobi ...
CNTT lỗi thời kìm hãm bạn: Áp dụng cơ sở hạ tầng dựa trên đăng ký
Tăng cường hiệu suất, giảm thời gian chết ngoài ý muốn ...
Chương trình Đối tác Dell Technologies 2025: Thúc đẩy sự hợp tác và tăng trưởng
Chương trình Đối tác Dell Technologies 2025 tăng cường sự hợp ...
OneFS SmartPools và công việc FilePolicy
Theo truyền thống, OneFS đã sử dụng các tác vụ SmartPools ...