Giải pháp sẵn sàng để mở rộng dung lượng lưu trữ HPC PixStor, Cập nhật HDR100

Giới thiệu

Các môi trường HPC ngày nay có nhu cầu ngày càng tăng đối với lưu trữ tốc độ rất cao, thường xuyên phải cung cấp khả năng truy cập phân tán và dung lượng cao thông qua một số giao thức tiêu chuẩn như NFS và SMB. Các yêu cầu HPC có nhu cầu cao này thường được bao phủ bởi Hệ thống tệp song song cung cấp quyền truy cập đồng thời vào một tệp hoặc bộ tệp từ nhiều nút, phân phối dữ liệu rất hiệu quả và an toàn tới nhiều LUN trên một số máy chủ bằng công nghệ mạng với tốc độ cao nhất hiện có.

giải pháp xây dựng

Blog này là bản cập nhật công nghệ để sử dụng Infiniband HDR100 trên Giải pháp Dell EMC Ready dành cho Bộ lưu trữ HPC PixStor ,một giải pháp Hệ thống tệp song song (PFS) cho các môi trường HPC nơi các mảng PowerVault ME484 EBOD được sử dụng để tăng dung lượng của giải pháp. Hình 1 trình bày kiến ​​trúc tham chiếu mô tả các phần bổ sung SAS mở rộng dung lượng cho các mảng lưu trữ PowerVault ME4084 hiện có, thay thế các thành phần EDR của Infiniband bằng HDR100: ConnectX-6 HCAs và bộ chuyển mạch QM8700. Giải pháp PixStor bao gồm Hệ thống tệp song song chung phổ biến còn được gọi là Quy mô quang phổ dưới dạng thành phần PFS, ngoài ra còn có nhiều thành phần phần mềm ArcaStream khác bao gồm phân tích nâng cao, quản trị và giám sát đơn giản hóa, tìm kiếm tệp hiệu quả, khả năng cổng nâng cao và nhiều tính năng khác.

Hình   Kiến trúc tham khảo

Thành phần giải pháp

Giải pháp này được phát hành cùng với CPU Xeon có khả năng mở rộng thế hệ thứ 2 mới nhất của Intel Xeon (Cascade Lake) và một số máy chủ sẽ sử dụng RAM nhanh nhất hiện có (2933 MT/s). Tuy nhiên, do tính khả dụng của phần cứng trong quá trình thử nghiệm, nguyên mẫu giải pháp đã sử dụng các máy chủ có CPU Xeon có thể mở rộng Intel Xeon thế hệ thứ nhất (Skylake) và RAM chậm hơn để mô tả hiệu suất. Do nút thắt cổ chai của giải pháp nằm ở bộ điều khiển SAS của mảng DellEMC PowerVault ME40x4, nên sẽ không có sự chênh lệch hiệu suất đáng kể nào sau khi CPU Skylake và RAM được thay thế bằng CPU Cascade Lake và RAM nhanh hơn. Ngoài ra, giải pháp đã được cập nhật lên phiên bản PixStor (5.1.3.1) mới nhất hỗ trợ RHEL 7.7 và OFED 5.0-2.1.8.

Bảng 1 hiển thị danh sách các thành phần chính của giải pháp trong đó cột đầu tiên có các thành phần được sử dụng tại thời điểm phát hành và do đó có sẵn cho khách hàng và cột cuối cùng có các thành phần thực sự được sử dụng để mô tả hiệu suất của giải pháp. Các ổ đĩa được liệt kê cho dữ liệu (12TB NLS) và siêu dữ liệu (SSD 960 GB) là những ổ đĩa được sử dụng để mô tả đặc điểm hiệu suất và các ổ đĩa nhanh hơn có thể cung cấp IOP ngẫu nhiên tốt hơn và có thể cải thiện hoạt động tạo/xóa siêu dữ liệu.

Cuối cùng, để đảm bảo tính đầy đủ, danh sách các ổ cứng HDD và SSD siêu dữ liệu có thể có đã được đưa vào, danh sách này dựa trên các ổ đĩa được hỗ trợ như được liệt kê trên ma trận hỗ trợ DellEMC PowerVault ME4, có sẵn trực tuyến.

Bảng   Các thành phần được sử dụng tại thời điểm xuất xưởng và những thành phần được sử dụng trên giường thử nghiệm

Thành phần giải pháp Phát hành giường thử nghiệm
Kết nối quản lý nội bộ Mạng Dell S3048-ON Gigabit Ethernet
Hệ thống con lưu trữ dữ liệu 1x đến 4x Dell EMC PowerVault ME4084
 1x đến 4x Dell EMC PowerVault ME484 (Một cho mỗi ME4084)

Ổ cứng 80 – 12TB 3,5″ NL SAS3 HDD
8 LUN, RAID 6 8+2 tuyến tính, kích thước khối 512KiB.
Tùy chọn: 900GB @15K, 1,2TB @10K, 1,8TB @10K,
2,4TB @10K, 4TB NLS, 8TB NLS, 12TB NLS, 16TB NLS.
4 – SSD SAS3 960GB cho Siêu dữ liệu – 2x RAID 1 (hoặc 4 – Ổ cứng dự phòng toàn cầu
, nếu Mô-đun siêu dữ liệu nhu cầu cao tùy chọn được sử dụng)
       Các tùy chọn: 480GB, 960GB, 1,92TB và 3,84TB.

Hệ thống con lưu trữ siêu dữ liệu có nhu cầu cao tùy chọn 1x đến 2x (tối đa 4x) Dell EMC PowerVault ME4024
(dành cho 4x ME4024, chỉ được hỗ trợ trên Cấu hình lớn)
Mỗi ​​ME4024: 12 LUN, RAID tuyến tính 1.
24 – 960GB Ổ SSD SAS3 2,5″ (Tùy chọn 480GB, 960GB, 1,92TB,
          3,84 TB)
Bộ điều khiển lưu trữ RAID Dự phòng 12 Gbps SAS
Công suất không mở rộng Nguyên: 4032 TB (3667 TiB hoặc 3,58 PiB) với ổ cứng 12TB được
 định dạng ~ 3072 GB (2794 TiB hoặc 2,73 PiB)
Công suất w/Mở rộng Nguyên: 8064 TB (7334 TiB hoặc 7.16 PiB) với ổ cứng 12TB

Đã định dạng ~ 6144 GB (5588 TiB hoặc 5,46 PiB)

bộ vi xử lý Cổng/Ngenea (R740) 2x Intel Xeon Gold 6230 2.1G, 20C/40T, 10.4GT/s, 27.5M bộ nhớ đệm, Turbo, HT (125W) DDR4-2933 2x Intel Xeon Gold 6136 @
 3.0 GHz, 12 lõi
Siêu dữ liệu nhu cầu cao (R740)
Nút lưu trữ (R740)
Nút quản lý (R440) 2x Intel Xeon Gold 5220 2.2G, 18C/36T, 10.4GT/s, 24,75M bộ nhớ đệm, Turbo, HT (125W) DDR4-2666 2x Intel Xeon Gold 5118 @ 2.30GHz, 12 lõi
Trí nhớ Cổng/Ngenea (R740) 12 x 16GiB 2933 MT/s RDIMM
 (192 GiB)
24x 16GiB 2666 MT/s RDIMM (384 GiB)
Siêu dữ liệu nhu cầu cao (R740)
Nút lưu trữ (R740)
Nút quản lý (R440) 12 X 16GB RDIMM, 2666 MT/s (192GiB) 12x 8GiB 2666 MT/s RDIMM (96 GiB)
Hệ điều hành CentOS 7.7
Phiên bản hạt nhân 3.10.0-1062.12.1.el7.x86_64
Phần mềm PixStor 5.1.3.1
Phiên bản OFED Mellanox OFED 5.0-2.1.8
Kết nối mạng hiệu suất cao Mellanox ConnectX-6 Cổng kép InfiniBand VPI HDR100/100 GbE và 10 GbE
Công tắc hiệu suất cao 2x Mellanox QM8700 (HA – Dự phòng)
Đĩa cục bộ (HĐH & Phân tích/giám sát) Tất cả các máy chủ ngoại trừ nút Quản lý

3x 480GB SSD SAS3 (RAID1 + HS) cho hệ điều hành

Nút quản lý bộ điều khiển RAID PERC H730P

3x 480GB SSD SAS3 (RAID1 + HS) cho HĐH & Phân tích/Giám sát

Bộ điều khiển RAID PERC H740P

Tất cả các máy chủ ngoại trừ nút Quản lý

2x 300GB 15K SAS3 (RAID 1) cho hệ điều hành

Bộ điều khiển ĐỘT KÍCH PERC H330

nút quản lý

5x 300GB 15K SAS3 (RAID 5) cho Hệ điều hành &
       Phân tích/giám sát

Bộ điều khiển RAID PERC H740P

Quản lý hệ thống iDRAC 9 Enterprise + DellEMC OpenManage

 

Đặc tính hiệu suất

Để mô tả Giải pháp sẵn sàng này , chúng tôi đã sử dụng phần cứng được chỉ định trong cột cuối cùng của Bảng 1 , bao gồm Mô-đun siêu dữ liệu có nhu cầu cao tùy chọn. Để đánh giá hiệu suất của giải pháp, các điểm chuẩn sau đã được sử dụng:

  • IOzone N đến N tuần tự
  • IOzone ngẫu nhiên
  • IOR N đến 1 tuần tự
  • mdtest 

Đối với tất cả các điểm chuẩn được liệt kê ở trên, giường thử nghiệm có các khách hàng như được mô tả trong Bảng 2phía dưới. Vì số lượng nút điện toán có sẵn để thử nghiệm chỉ là 16, nên khi cần số lượng luồng cao hơn, các luồng đó sẽ được phân bổ đồng đều trên các nút điện toán (nghĩa là 32 luồng = 2 luồng trên mỗi nút, 64 luồng = 4 luồng trên mỗi nút, 128 luồng = 8 luồng trên mỗi nút, 256 luồng = 16 luồng trên mỗi nút, 512 luồng = 32 luồng trên mỗi nút, 1024 luồng = 64 luồng trên mỗi nút). Mục đích là để mô phỏng số lượng máy khách đồng thời cao hơn với số lượng hạn chế các nút điện toán có sẵn. Do điểm chuẩn hỗ trợ số lượng lớn luồng nên giá trị tối đa lên tới 1024 đã được sử dụng (được chỉ định cho từng thử nghiệm), đồng thời tránh chuyển ngữ cảnh quá mức và các tác dụng phụ liên quan khác có thể ảnh hưởng đến kết quả hoạt động.

Bảng   Giường thử nghiệm khách hàng

Số nút máy khách 16
nút máy khách C6320
Bộ xử lý trên mỗi nút máy khách 2 x Intel(R) Xeon(R) Gold E5-2697v4 18 Nhân @ 2.30GHz
Bộ nhớ trên mỗi nút máy khách 12 x 16GiB 2400 MT/s RDIMM
Bộ điều hợp hiệu suất cao Mellanox ConnectX-4 InfiniBand VPI
Hệ điều hành CentOS 7.6
nhân hệ điều hành 3.10.0-957.10.1
Phần mềm PixStor 5.1.3.1
Phiên bản OFED Mellanox OFED 5.0-1.0.0

Hiệu suất IOzone tuần tự N máy khách đến N tệp

Hiệu suất của N máy khách liên tiếp đến N tệp được đo bằng IOzone phiên bản 3.487. Các thử nghiệm được thực hiện đa dạng từ luồng đơn lên đến 512 luồng trên giải pháp mở rộng dung lượng (4x ME4084s + 4x ME484s); kết quả từ thử nghiệm EDR tương phản với bản cập nhật HDR100. 

Hiệu ứng bộ nhớ đệm được giảm thiểu bằng cách đặt nhóm trang có thể điều chỉnh hệ thống tệp thành 8 GiB trên máy khách và 24 GiB trên máy chủ, đồng thời sử dụng tệp gấp đôi tổng kích thước bộ nhớ của máy khách hoặc máy chủ (tùy theo giá trị nào lớn hơn). Điều quan trọng cần lưu ý là đối với hệ thống tệp, nhóm trang có thể điều chỉnh được sẽ đặt dung lượng bộ nhớ tối đa mà hệ thống tệp sử dụng để lưu dữ liệu vào bộ nhớ đệm, bất kể dung lượng RAM được cài đặt và dung lượng trống. Ngoài ra, điều quan trọng cần lưu ý là mặc dù trong các giải pháp DellEMC HPC trước đây, kích thước khối cho các lần truyền tuần tự lớn là 1 MiB, nhưng hệ thống tệp được định dạng bằng các khối 8 MiB và do đó, giá trị đó được sử dụng trên điểm chuẩn để có hiệu suất tối ưu. Điều đó có thể trông quá lớn và dường như lãng phí quá nhiều dung lượng, nhưng hệ thống tệp sử dụng phân bổ khối con để ngăn tình trạng đó. Trong cấu hình hiện tại, 

Các lệnh sau được sử dụng để thực thi điểm chuẩn cho ghi và đọc, trong đó Chủ đề là biến có số lượng luồng được sử dụng (1 đến 512 tăng dần theo lũy thừa của hai) và danh sách luồng là tệp phân bổ mỗi luồng trên một nút khác nhau, sử dụng vòng tròn để trải đều chúng trên 16 nút điện toán.

./iozone -i0 -c -e -w -r 8M -s 128G -t $Threads -+n -+m ./threadlist

./iozone -i1 -c -e -w -r 8M -s 128G -t $Threads -+n -+m ./threadlist

Hình 2 Hiệu suất tuần tự N đến N

Từ kết quả, chúng tôi có thể quan sát thấy rằng hiệu suất tăng nhanh với số lượng máy khách được sử dụng và sau đó đạt đến một mức khá ổn định cho đến khi đạt được số lượng luồng tối đa mà IOzone cho phép và do đó, hiệu suất tuần tự của tệp lớn ổn định ngoại trừ 512 luồng đồng thời (thấp hơn khoảng 8%). Hiệu suất đọc tối đa là 23,8 GB/giây ở 32 luồng vẫn bị giới hạn bởi băng thông của hai liên kết IB HDR100 được sử dụng trên các nút lưu trữ bắt đầu từ 8 luồng. Hiệu suất đọc ở 4 luồng thấp hơn đáng kể và ở số lượng luồng cao thấp hơn một chút so với EDR (dưới 5%), nhưng kết quả có thể tái tạo được. Do thử nghiệm N đến 1 tuần tự bằng IOR sử dụng cùng kích thước dữ liệu và các tham số tương tự nhưng trên một tệp duy nhất (thêm chi phí khóa),

Hiệu suất ghi cao nhất là 21 GB/giây đạt được ở 512 luồng. Điều quan trọng cần nhớ là đối với hệ thống tệp PixStor, chế độ hoạt động ưa thích là phân tán và giải pháp được định dạng để sử dụng chế độ đó. Trong chế độ này, các khối được phân bổ ngay từ khi bắt đầu hoạt động theo kiểu giả ngẫu nhiên, trải rộng dữ liệu trên toàn bộ bề mặt của mỗi ổ cứng. Mặc dù nhược điểm rõ ràng là hiệu suất tối đa ban đầu nhỏ hơn, nhưng hiệu suất đó được duy trì khá ổn định bất kể có bao nhiêu dung lượng được sử dụng trên hệ thống tệp. Điều đó trái ngược với các hệ thống tệp song song khác ban đầu sử dụng các rãnh bên ngoài có thể chứa nhiều dữ liệu (khu vực) hơn trên mỗi vòng quay của đĩa và do đó có hiệu suất cao nhất có thể mà ổ cứng có thể cung cấp, nhưng khi hệ thống sử dụng nhiều không gian hơn, các rãnh bên trong sẽ ít hơn. dữ liệu trên mỗi cuộc cách mạng được sử dụng,

Hiệu suất IOR tuần tự N máy khách thành 1 tệp

Hiệu suất của các ứng dụng khách N tuần tự cho một tệp được chia sẻ duy nhất được đo bằng IOR phiên bản 3.3.0, được hỗ trợ bởi OpenMPI v4.0.1 để chạy điểm chuẩn trên 16 nút điện toán. Các thử nghiệm được thực hiện đa dạng từ một luồng lên đến 512 luồng (vì không có đủ lõi cho 1024 luồng) và kết quả tương phản với giải pháp không có mở rộng dung lượng.

Hiệu ứng bộ nhớ đệm được giảm thiểu bằng cách đặt nhóm trang hệ thống tệp có thể điều chỉnh thành 8 GiB trên máy khách và 24 GiB trên máy chủ, đồng thời sử dụng tổng kích thước dữ liệu lớn hơn hai lần tổng kích thước bộ nhớ của máy khách hoặc máy chủ (tùy theo kích thước nào lớn hơn). Bài kiểm tra điểm chuẩn này đã sử dụng 8 khối MiB để có hiệu suất tối ưu. Phần kiểm tra hiệu suất trước đó có giải thích đầy đủ hơn cho những vấn đề đó. 

Các lệnh sau đây được sử dụng để thực thi điểm chuẩn cho việc ghi và đọc, trong đó Chủ đề là biến có số lượng chủ đề được sử dụng (1 đến 1024 tăng dần theo lũy thừa của hai) và my_hosts.$Threads là tệp tương ứng phân bổ mỗi chủ đề trên một nút khác, sử dụng vòng tròn để trải chúng đồng nhất trên 16 nút điện toán.

mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –mca btl_openib_allow_ib 1 –mca pml ^ucx –oversubscribe –prefix /mmfs1/perftest/ompi /mmfs1/perftest/lanl_ior /bin/ior -a POSIX -v -i 1 -d 3 -e -k -o /mmfs1/perftest/tst.file -w -s 1 -t 8m -b
128G mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –mca btl_openib_allow_ib 1 –mca pml ^ucx –oversubscribe –prefix /mmfs1/perftest/ompi /mmfs1/perftest/lanl_ior/bin/ior -a POSIX -v – i 1 -d 3 -e -k -o /mmfs1/perftest/tst.file -r -s 1 -t 8m -b 128G 

Hình 3 Hiệu suất tuần tự N đến 1

Hiệu suất tăng nhanh với số lượng máy khách được sử dụng và sau đó đạt đến mức ổn định khá ổn định để đọc và ghi từ 8 luồng cho đến số lượng luồng tối đa được sử dụng trong thử nghiệm này. Hiệu suất đọc tối đa là 24,2 GB/giây ở 32 luồng và nút thắt cổ chai là giao diện InfiniBand HDR100 dường như ở tốc độ cao hơn tốc độ đường truyền. Tương tự, hãy lưu ý rằng hiệu suất ghi tối đa là 19,9 GB/giây đã đạt được ở 16 luồng. Một điểm dữ liệu quan trọng là ở 4 luồng, ngay cả khi sử dụng cùng kích thước dữ liệu và tham số như IOzone với thêm gánh nặng khóa, không có sự sụt giảm hiệu suất nào xảy ra khi ghi như đối với IOzone.

Các khối nhỏ ngẫu nhiên Hiệu suất IOzone N máy khách thành N tệp

Hiệu suất N máy khách ngẫu nhiên đến N tệp được đo bằng IOzone 3.487. Các thử nghiệm được thực hiện đa dạng từ 16 luồng lên đến 512 luồng do không có đủ lõi máy khách cho 1024 luồng. Số lượng luồng thấp hơn không được kiểm tra tại thời điểm này vì chúng mất thời gian thực thi rất lớn và IOzone không cho phép nhận kết quả cho đến khi hoàn thành toàn bộ quá trình kiểm tra và thông tin quan trọng nhất có xu hướng là IOPS tối đa mà giải pháp có thể cung cấp. Mỗi luồng đang sử dụng một tệp khác nhau và các luồng được chỉ định theo kiểu vòng tròn cho các nút máy khách. Điểm chuẩn này đã sử dụng 4 khối KiB để mô phỏng lưu lượng khối nhỏ.

Hiệu ứng bộ nhớ đệm được giảm thiểu bằng cách đặt nhóm trang hệ thống tệp có thể điều chỉnh thành 8GiB trên máy khách và 24 GiB trên máy chủ, đồng thời sử dụng tổng kích thước dữ liệu lớn hơn hai lần tổng kích thước nhóm trang của máy khách hoặc máy chủ (tùy theo kích thước nào lớn hơn). Điều quan trọng cần lưu ý là nhóm trang có thể điều chỉnh được sẽ đặt dung lượng bộ nhớ tối đa mà hệ thống tệp sử dụng để lưu dữ liệu vào bộ nhớ đệm, bất kể dung lượng RAM được cài đặt và dung lượng trống.

Hình 4 Hiệu suất Ngẫu nhiên N đến N

Từ kết quả, chúng tôi có thể quan sát thấy rằng hiệu suất ghi bắt đầu ở giá trị cao là 23,4K IOps và duy trì đều đặn dưới 25K cho đến 256 luồng trong đó đạt mức cao nhất là 27,4K IOps. Mặt khác, hiệu suất đọc bắt đầu ở mức 1,3K IOps và tăng hiệu suất gần như tuyến tính với số lượng luồng được sử dụng (hãy nhớ rằng số lượng luồng được nhân đôi cho mỗi điểm dữ liệu) và đạt hiệu suất tối đa là 33,8K IOPS ở 512 luồng. Việc sử dụng nhiều luồng hơn sẽ yêu cầu nhiều hơn 16 nút tính toán hoặc nhiều lõi hơn trên mỗi nút để tránh giảm hiệu suất do chuyển đổi ngữ cảnh quy trình, vị trí dữ liệu và các tác động tương tự. Mảng ME4 yêu cầu áp suất IO cao hơn (độ sâu hàng đợi hoặc IO) để đạt được IOPS ngẫu nhiên tối đa cho thấy trong thử nghiệm này hiệu suất rõ ràng thấp hơn,

Hiệu suất siêu dữ liệu với MDtest bằng các tệp trống

Hiệu suất siêu dữ liệu được đo bằng MDtest phiên bản 3.3.0, được hỗ trợ bởi OpenMPI v4.0.1 để chạy điểm chuẩn trên 16 nút tính toán. Các thử nghiệm được thực hiện đa dạng từ một luồng cho đến 512 luồng. Điểm chuẩn chỉ được sử dụng cho các tệp (không có siêu dữ liệu thư mục), nhận số lần tạo, thống kê và xóa mà giải pháp có thể xử lý và kết quả tương phản với kết quả EDR trước đó.

Để đánh giá đúng giải pháp so với các giải pháp lưu trữ DellEMC HPC khác và các kết quả trên blog trước đó, Mô-đun Siêu dữ liệu Nhu cầu Cao tùy chọn đã được sử dụng, nhưng với một mảng ME4024 duy nhất; nhưng trên thực tế, cấu hình lớn được thử nghiệm trong công việc này được chỉ định có hai ME4024.

Mô-đun siêu dữ liệu có nhu cầu cao này có thể hỗ trợ tối đa bốn mảng ME4024 và nên tăng số lượng mảng ME4024 lên 4 trước khi thêm một mô-đun siêu dữ liệu khác. Các mảng ME4024 bổ sung dự kiến ​​sẽ tăng hiệu suất Siêu dữ liệu với mỗi mảng bổ sung, có thể ngoại trừ các hoạt động của Stat, vì số IOPS rất cao, đến một lúc nào đó, CPU sẽ trở thành nút cổ chai và hiệu suất sẽ không tiếp tục tăng tuyến tính.

Lệnh sau được sử dụng để thực thi điểm chuẩn, trong đó Chủ đề là biến có số lượng chủ đề được sử dụng (1 đến 512 tăng dần theo lũy thừa của hai) và my_hosts.$Threads là tệp tương ứng phân bổ từng luồng trên một nút khác nhau, sử dụng vòng tròn để trải đều chúng trên 16 nút điện toán. Tương tự như điểm chuẩn IO ngẫu nhiên, số lượng luồng tối đa được giới hạn ở 512, do không có đủ lõi cho 1024 luồng và việc chuyển ngữ cảnh sẽ ảnh hưởng đến kết quả, báo cáo một con số thấp hơn hiệu suất thực của giải pháp.

mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –prefix /mmfs1/perftest/ompi –mca btl_openib_allow_ib 1 /mmfs1/perftest/lanl_ior/bin/mdtest -v -d / mmfs1/perftest/ -i 1 -b $Directories -z 1 -L -I 1024 -y -u -t -F

Vì kết quả hiệu suất có thể bị ảnh hưởng bởi tổng số IOP, số lượng tệp trên mỗi thư mục và số lượng luồng nên đã quyết định sửa tổng số tệp thành 2 tệp MiB (2^21 = 2097152), số lượng các tệp trên mỗi thư mục được cố định ở mức 1024 và số lượng thư mục thay đổi khi số lượng luồng thay đổi như trong Bảng 3 .

Bảng   Phân phối MDtest của các tệp trên các thư mục

Số của chủ đề Số lượng thư mục trên mỗi chủ đề Tổng số tệp
1 2048 2.097.152
2 1024 2.097.152
4 512 2.097.152
số 8 256 2.097.152
16 128 2.097.152
32 64 2.097.152
64 32 2.097.152
128 16 2.097.152
256 số 8 2.097.152
512 4 2.097.152

Hình 5 Hiệu suất siêu dữ liệu – Tệp rỗng

Đầu tiên, lưu ý rằng thang đo được chọn là logarit với cơ số 10, để cho phép so sánh các hoạt động có sự khác biệt theo một số bậc độ lớn; nếu không, một số thao tác sẽ trông giống như một đường phẳng gần bằng 0 trên biểu đồ bình thường. Biểu đồ nhật ký với cơ số 2 có thể phù hợp hơn, vì số luồng được tăng theo lũy thừa 2, nhưng biểu đồ sẽ trông rất giống nhau và mọi người có xu hướng xử lý và ghi nhớ các số tốt hơn dựa trên lũy thừa 10.

Hệ thống nhận được kết quả rất tốt với các thao tác Stat đạt giá trị cao nhất ở 256 luồng với 6 triệu thao tác/giây tương ứng. Hoạt động loại bỏ đạt mức tối đa 189,7K op/s ở 32 luồng và hoạt động Tạo đạt mức cao nhất ở 512 luồng với 266,8,1K op/s. Hoạt động của chỉ số có nhiều biến đổi hơn, nhưng một khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 3M hoạt động/giây cho Chỉ số. Tạo và Xóa ổn định hơn khi chúng đạt đến mức ổn định và duy trì trên 160K thao tác/giây đối với Xóa và 128K thao tác/giây đối với Tạo.

Hiệu suất siêu dữ liệu với MDtest bằng 4 tệp KiB

Thử nghiệm này gần giống với thử nghiệm trước, ngoại trừ việc thay vì các tệp trống, các tệp nhỏ 4KiB đã được sử dụng.

Lệnh sau được sử dụng để thực thi điểm chuẩn, trong đó Chủ đề là biến có số lượng chủ đề được sử dụng (1 đến 512 tăng dần theo lũy thừa của hai) và my_hosts.$Threads là tệp tương ứng phân bổ từng luồng trên một nút khác nhau, sử dụng vòng tròn để trải đều chúng trên 16 nút điện toán.

mpirun –allow-run-as-root -np $Threads –hostfile my_hosts.$Threads –prefix /mmfs1/perftest/ompi –mca btl_openib_allow_ib 1 /mmfs1/perftest/lanl_ior/bin/mdtest -v -d / mmfs1/perftest/ -i 1 -b $Directories -z 1 -L -I 1024 -y -u -t -F -w 4K -e 4K

Hình 6 Hiệu suất siêu dữ liệu – Tệp nhỏ (4K)

Hệ thống nhận được kết quả rất tốt khi Stat đạt giá trị cao nhất ở 512 luồng với gần 4,9 triệu thao tác/giây. Hoạt động xóa đạt mức tối đa là 442,7 nghìn thao tác/giây ở 128 luồng và hoạt động Tạo đạt mức cao nhất là 75 nghìn thao tác/giây ở 512 luồng và dường như vẫn chưa đạt đến mức ổn định. Hoạt động Thống kê và Loại bỏ có nhiều biến đổi hơn, nhưng khi chúng đạt đến giá trị cao nhất, hiệu suất không giảm xuống dưới 3,5 triệu thao tác/giây đối với Chỉ số và 315 nghìn thao tác/giây đối với Loại bỏ. Tạo và Đọc ít biến đổi hơn và tiếp tục tăng khi số lượng chuỗi tăng lên. 

Vì những con số này dành cho một mô-đun siêu dữ liệu có một ME4024, nên hiệu suất sẽ tăng đối với mỗi mảng ME4024 bổ sung, tuy nhiên, chúng tôi không thể đơn giản giả định mức tăng tuyến tính đối với mỗi ME4024 bổ sung. Trừ khi toàn bộ tệp vừa với inode của tệp đó, các mục tiêu dữ liệu trên ME4084 sẽ được sử dụng để lưu trữ một phần tệp 4K, hạn chế hiệu suất ở một mức độ nào đó. Vì kích thước inode là 4KiB và nó vẫn cần lưu trữ siêu dữ liệu nên chỉ những tệp khoảng 3 KiB mới phù hợp bên trong và bất kỳ tệp nào lớn hơn sẽ sử dụng mục tiêu dữ liệu.

Kết luận và công việc tương lai

Giải pháp này có hiệu suất tương tự như giải pháp được quan sát với công nghệ Infiniband EDR. Bạn có thể xem tổng quan về hiệu suất của HDR100 trong Bảng 4; dự kiến ​​nó sẽ ổn định từ một hệ thống tệp trống cho đến khi gần đầy do sử dụng phân bổ Phân tán trên toàn bộ diện tích bề mặt của TẤT CẢ các ổ cứng. Hơn nữa, giải pháp mở rộng tuyến tính về dung lượng và hiệu suất khi thêm nhiều mô-đun nút lưu trữ và có thể mong đợi mức tăng hiệu suất tương tự từ mô-đun siêu dữ liệu có nhu cầu cao tùy chọn. Giải pháp này cung cấp cho khách hàng HPC một hệ thống tệp song song rất đáng tin cậy được sử dụng bởi nhiều cụm 500 HPC hàng đầu. Ngoài ra, nó cung cấp khả năng tìm kiếm đặc biệt, giám sát và quản lý nâng cao. Với việc bổ sung các nút cổng tùy chọn, nó cho phép chia sẻ tệp thông qua các giao thức tiêu chuẩn phổ biến như NFS, SMB tới nhiều máy khách nếu cần. Cuối cùng, các nút Ngenea cho phép truy cập hiệu quả vào các tầng lưu trữ tiết kiệm chi phí khác như ECS,

Bảng    Hiệu suất cao nhất và duy trì

  Hiệu suất cao điểm Hiệu suất bền vững
Viết Đọc Viết Đọc
Máy khách N tuần tự lớn đến N tệp 21,0 GB/giây 23,8 GB/giây 20,5 GB/giây 23,0 GB/giây
Máy khách N tuần tự lớn cho một tệp được chia sẻ 19,9 GB/giây 24,2 GB/giây 19,1 GB/giây 23,4 GB/giây
Khối nhỏ ngẫu nhiên N máy khách thành N tệp 33,8KIOps 27,4KIOps 33,80KIOps 23.0KIOps
Siêu dữ liệu Tạo tệp trống 266,8K IOps 128K IOps
Siêu dữ liệu Thống kê các tệp trống 6M IOp 3M IOps
Siêu dữ liệu Xóa các tệp trống 189,7K IOps 160K IOps
Siêu dữ liệu Tạo tệp 4KiB 75K IOp 75K IOp
Tệp siêu dữ liệu Stat 4KiB 4,9M IOps 3,5M IOps
Siêu dữ liệu Xóa các tệp 4KiB 442,7K IOps 315K IOp

 Hiệu suất cho các nút cổng đã được đo lường và sẽ được báo cáo trong một blog mới. Cuối cùng, các nút NVMe hiệu suất cao đang được thử nghiệm và kết quả cũng sẽ được công bố trên một blog khác.