Dell Validated Design cho HPC pixstor Storage—Giải pháp chung với Kalray (9)

Cấp PowerEdge R650 NVMe

Tổng quan

Đối với máy chủ PowerEdge R650, mỗi máy chủ có 10 thiết bị NVMe được kết nối trực tiếp (cấu hình này không phải là cấu hình cân bằng về miền NUMA). Đối với cấu hình được đặc trưng, ​​bốn máy chủ PowerEdge R650 được tải đầy đủ các thiết bị Dell AG 1.6TB (PM1735) PCIe4 đã được sử dụng. Tuy nhiên, bất kỳ thiết bị NVMe nào được hỗ trợ trên máy chủ PowerEdge R650 đều được hỗ trợ cho các nút NVMe này.

PowerEdge R650 Hiệu suất IOzone tuần tự N máy khách đến N tệp

  • Chúng tôi đã đo lường hiệu suất N máy khách tuần tự đến N tệp với IOzone phiên bản 3.492. Các bài kiểm tra mà chúng tôi đã chạy đa dạng từ một luồng đơn lẻ cho đến 1024 luồng.

    Chúng tôi đã sử dụng các tệp đủ lớn để giảm thiểu tác động của bộ nhớ đệm, với tổng kích thước dữ liệu là 8 TiB, gấp đôi tổng kích thước bộ nhớ của máy chủ (bốn nút R650) và máy khách. GPFS đặt nhóm trang có thể điều chỉnh thành dung lượng bộ nhớ tối đa được sử dụng để lưu vào bộ đệm ẩn dữ liệu, bất kể dung lượng RAM được cài đặt và dung lượng trống (được đặt thành 32 GiB trên máy khách và 96 GiB trên máy chủ để cho phép tối ưu hóa I/O). Trong khi ở các giải pháp HPC khác của Dell, kích thước khối cho các lần truyền tuần tự lớn là 1 MiB, thì GPFS được định dạng với kích thước khối là 8 MiB; do đó, hãy sử dụng giá trị đó hoặc bội số của nó trên điểm chuẩn để có hiệu suất tối ưu. Kích thước khối 8 MiB có vẻ quá lớn và lãng phí quá nhiều dung lượng khi sử dụng các tệp nhỏ, nhưng GPFS sử dụng phân bổ khối con để ngăn tình trạng đó. Trong cấu hình hiện tại, mỗi khối được chia thành 512 khối con, mỗi khối 16 KiB. 

    Các lệnh sau đây được sử dụng để chạy điểm chuẩn cho các hoạt động đọc và ghi, trong đó biến  Chủ đề  là số lượng luồng được sử dụng (1 đến 1024 tăng dần theo lũy thừa của 2) và  danh sách luồng  là tệp phân bổ mỗi luồng trên một nút khác nhau, sử dụng phương pháp vòng tròn để trải chúng đồng nhất trên 16 nút tính toán. Biến  FileSize  có kết quả là 8192 (GiB)/Chủ đề để chia đều tổng kích thước dữ liệu cho tất cả các luồng được sử dụng. Kích thước truyền 16 MiB đã được sử dụng cho đặc tính hiệu suất này.

    ./iozone -i0 -c -e -w -r 16M -s ${FileSize}G -t $Threads -+n -+m ./threadlist

    ./iozone -i1 -c -e -w -r 16M -s ${FileSize}G -t $Threads -+n -+m ./threadlist

    Hình 29.     Hiệu suất tuần tự từ N đến N

    Từ kết quả, chúng tôi thấy rằng hiệu suất đọc đạt mức ổn định khoảng 180 GB/giây ở 32 luồng và cao nhất ở 64 luồng với 180,8 GB/giây, mức tăng đáng kể so với thế hệ máy chủ PowerEdge R640 trước đó với NVMe Gen 3 có tốc độ ổn định khoảng 80 GB/giây cho cùng số lượng nút NVMe (4).

    Hiệu suất ghi đạt mức ổn định khoảng 40 GB/giây ở 16 luồng, với mức cao nhất là 40,2 GB/giây ở 16, 32 và 512 luồng. Hiệu suất ghi có thể trông thấp so với hiệu suất đọc, tuy nhiên, hãy xem xét hai yếu tố: 

    • Sao chép đã được sử dụng để có một bản sao cho từng thiết bị NVMe (NSD) trên một máy chủ khác nhau cho mục đích HA, tạo ra một bản sao dữ liệu một cách hiệu quả. Chỉ một nửa số ổ NVMe đóng góp vào hiệu suất ghi, trong khi nửa còn lại trở thành chi phí cần thiết để sao chép dữ liệu. 
    • Các mẫu NVMe PCIe 4 có sẵn cho các máy chủ tiền sản xuất được sử dụng trong dự án này bị hạn chế, vì vậy các thiết bị Dell 1.6 TB (OEM PM1735) PCIe4 đã được sử dụng trên giường thử nghiệm. Thông số kỹ thuật về hiệu suất của thiết bị là 7.000 GB/giây cho thao tác đọc và 2.400 GB/giây cho thao tác ghi, bị giới hạn so với các thiết bị có dung lượng lớn hơn (thao tác đọc 7.000 GB/giây và thao tác ghi 3.800 GB/giây).

    Cả kết quả đọc và ghi đều ổn định khi đạt đến mức ổn định, đây là một hành vi thuận lợi vì các máy chủ không bị giảm hiệu suất do số lượng máy khách truy cập đồng thời vào các luồng khác nhau. Là một thử nghiệm trong tương lai và vì IOzone có giới hạn số luồng tối đa là 1024, IOR có thể được sử dụng để tìm giới hạn đối với các máy khách/tệp đồng thời (sau khi thêm nhiều máy khách hơn để tránh chuyển đổi ngữ cảnh trong các máy khách, ảnh hưởng đến hiệu suất).