Hiệu suất siêu dữ liệu PowerEdge R750 với MDtest bằng 3 tệp KiB
Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc chúng tôi đã sử dụng các tệp nhỏ 3 KiB thay vì các tệp trống với ý định rằng các tệp đó vừa với các nút và do đó tránh truy cập vào các thiết bị khác để lưu trữ dữ liệu. Lệnh sau được sử dụng để chạy điểm chuẩn, trong đó biến Chủ đề là số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa 2) và my_hosts.$Threads là tệp tương ứng đã phân bổ từng luồng trên một nút khác nhau, sử dụng phương pháp quay vòng để trải chúng đồng nhất trên 16 nút tính toán.
mpirun–-allow-run-as-root -np $Threads–-hostfile my_hosts.$Threads –map-by node–-mca btl_openib_allow_ib 1–-oversubscribe–-prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F -w 3K -e 3K
Giờ đây, một số dữ liệu phải được chuyển cho mỗi tệp, số hiệu suất giảm, ngay cả những tệp phải vừa với nút. Các thao tác thống kê và đọc cho kết quả tốt, đạt giá trị cao nhất lần lượt là 5,9 triệu thao tác/giây ở 32 luồng và 3,2 triệu thao tác/giây ở 128 luồng. Thao tác xóa đạt tối đa 474K thao tác/giây ở 64 luồng và thao tác tạo đạt tối đa 283,6K thao tác/giây, cả hai ở 64 luồng. Hoạt động thống kê và đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,7 triệu thao tác/giây đối với hoạt động thống kê và 1,7 triệu thao tác/giây đối với hoạt động đọc. Các hoạt động tạo và xóa ít biến đổi hơn, cả hai đều tiếp tục tăng cho đến khi đạt giá trị cao nhất, sau đó giảm dần sau đó.
Vì những con số này dành cho mô-đun siêu dữ liệu với một cặp siêu dữ liệu PowerEdge R650 NVMe, nên hiệu suất sẽ tăng đối với mỗi cặp PowerEdge R650 NVMe bổ sung, tuy nhiên, chúng tôi không thể giả định mức tăng tuyến tính cho tất cả các hoạt động. Trừ khi toàn bộ tệp vừa với inode cho các tệp như vậy, các mục tiêu dữ liệu trên các thiết bị khác sẽ được sử dụng để lưu trữ các tệp nhỏ, làm hạn chế hiệu suất.
Hiệu suất siêu dữ liệu PowerEdge R750 với MDtest bằng 4 tệp KiB
-
Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc chúng tôi đã sử dụng các tệp nhỏ 4 KiB thay vì 3 tệp KiB, vì vậy một phần của mỗi tệp không vừa với inode của nó và một thiết bị khác (hai nút R750) được sử dụng để lưu trữ phần còn lại của các tập tin. Lệnh sau được sử dụng để chạy điểm chuẩn, trong đó biến Chủ đề là số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa 2) và my_hosts.$Threads là tệp tương ứng đã phân bổ từng luồng trên một nút khác nhau, sử dụng quay vòng để trải đều chúng trên 16 nút điện toán.
mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –map-by node –mca btl_openib_allow_ib 1 –oversubscribe –prefix /usr/mpi/gcc/openmpi-4.1.2a1 / usr/local/bin/mdtest -v -d /mmfs1/perf/mdtest -P -i 1 -b $Directories -z 1 -L -I 1024 -u -t -F -w 4K -e 4K
Hoạt động thống kê cho thấy những con số tốt, đạt giá trị cao nhất với 9,8 triệu thao tác/giây ở 64 luồng và hoạt động đọc đạt 3,3 triệu thao tác/giây ở 128 luồng. Các thao tác xóa đạt tối đa 317,4K thao tác/giây ở 32 luồng và tạo các thao tác đạt tối đa 137,4K thao tác/giây, cả hai ở 128 luồng. Hoạt động thống kê và đọc có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 2,5 triệu thao tác/giây đối với hoạt động thống kê và 1,7 triệu thao tác/giây đối với hoạt động đọc. Thao tác tạo và xóa ít thay đổi hơn; cả hai tiếp tục tăng cho đến khi đạt giá trị cực đại, sau đó giảm dần.
Vì những con số này dành cho mô-đun siêu dữ liệu với một cặp siêu dữ liệu PowerEdge R650 NVMe và một cặp PowerEdge R750 NVMe cho dữ liệu, hiệu suất siêu dữ liệu sẽ tăng đối với mỗi cặp siêu dữ liệu PowerEdge R650 NVMe bổ sung; đồng thời, mỗi cặp PowerEdge R750 NVMe dành cho dữ liệu sẽ giúp tăng hiệu suất của một số thao tác như tạo, xóa và đọc. Các tệp càng lớn, tác dụng của các cặp PowerEdge R750 NVMe bổ sung được sử dụng cho dữ liệu càng lớn.
Bản tóm tắt
Dell Validated Design cho HPC pixstor Storage là một giải pháp hệ thống tệp hiệu suất cao, hiệu quả, dễ quản lý, được hỗ trợ đầy đủ, đa tầng, có thể mở rộng về thông lượng và dung lượng, đồng thời với các thành phần cho phép kết nối nó bằng các giao thức tiêu chuẩn như NFS, SMB , hoặc giao thức Đám mây. Giải pháp dựa trên các máy chủ PowerEdge mới nhất và mảng lưu trữ PowerVault ME5, máy chủ PowerEdge với thiết bị NVMe PCIe 4 và phần mềm pixstor từ Kalray, với các thành phần như Thang đo quang phổ (GPFS).
Phiên bản tiếp theo của giải pháp sẽ bao gồm PowerEdge R660, R760 và R7625, các máy chủ có thế hệ CPU mới nhất và bộ nhớ DDR5 cũng như PCIe 5, cho phép hỗ trợ các thiết bị nhanh hơn (NVMe với PCIe Gen 5) và InfiniBand 400 Gb/s NDR (bộ điều hợp CX7 và công tắc Quantum 2). Công việc có thể sẽ được hoàn thành theo từng giai đoạn, khi các thành phần khác nhau có sẵn. Trước tiên, chúng tôi sẽ giải quyết các máy chủ PowerEdge R660, R760 và R7625 với phiên bản mới của hệ điều hành và phần mềm pixstor để hỗ trợ CPU mới và DDR5. Sau đó, chúng tôi sẽ xử lý các nút lưu trữ bằng các thành phần NVMe Gen5 và NDR.
Bài viết mới cập nhật
LatentAI: Nâng cao trí thông minh biên với Dell và NVIDIA AI
Giàn khoan dầu, hoạt động quân sự và xe tự hành ...
Tăng tốc lưu trữ máy chủ lớn với các mô hình Dell Disk Library (DLm) mới
Dell công bố các mẫu lưu trữ băng ảo máy chủ ...
Giới thiệu Dell NativeEdge với Nokia Private Wireless
Dễ dàng quản lý và kết nối cơ sở hạ tầng ...
Dịch vụ bảo vệ APEX dành cho Microsoft Azure: Nâng cao bảo mật dữ liệu
Dịch vụ bảo vệ APEX dành cho Microsoft Azure giúp đơn ...