Giới thiệu

Bộ tăng tốc dữ liệu (DAC) là sự hợp tác của bộ đệm liên tục trạng thái rắn không độc quyền với Đại học Cambridge, Dell EMC, Intel và StackHPC. Mục tiêu là tăng cường đáng kể khối lượng công việc sử dụng nhiều dữ liệu vượt quá băng thông và khả năng hoạt động IO của bộ lưu trữ mạng cục bộ hoặc mạng tập trung dựa trên từ tính. DAC tích hợp với bộ lập lịch công việc để cho phép nhiều người dùng truy cập bộ đệm liên tục tạm thời của riêng họ dựa trên dung lượng được yêu cầu và các tài nguyên có sẵn. Quy trình làm việc có thể được tăng cường hơn nữa bằng cách cung cấp quyền truy cập vào các tính năng được cung cấp bởi các hệ thống tệp song song hiệu suất cao. Bản chất tạm thời của giải pháp này cung cấp các trường hợp sử dụng khả thi khác, chẳng hạn như cách ly khối lượng công việc “hàng xóm ồn ào” tiêu tốn tài nguyên và gây cản trở cho những người dùng khác trong hệ sinh thái cụm.

Blog kỹ thuật này thảo luận về kiến ​​trúc tham chiếu, kết quả hiệu suất từ ​​các điểm chuẩn IOZone ban đầu, thông tin chi tiết sơ bộ và công việc trong tương lai.

 

Kiến trúc tham khảo

Phần cứng

Trong Hình 1 bên dưới, cấu hình phần cứng cơ sở cho kiến ​​trúc tham chiếu DAC này là 1 Dell EMC PowerEdge R740xd với 24 ổ đĩa thể rắn Intel P4610 và 2 bộ điều hợp Mellanox InfiniBand ConnectX-6 HDR100 được kết nối với bộ chuyển đổi Mellanox Quantum HDR bằng đồng thụ động HDR100 ” bộ chia” cáp. Các cấu hình máy chủ giống hệt nhau được thêm vào dựa trên yêu cầu về năng lực và hiệu suất. Khu vực trong khung chấm màu xanh lá cây trong Hình 1 và Hình 2 biểu thị các thành phần DAC tích hợp vào cụm HPC hiện có.

Phần Thông số kỹ thuật liệt kê các chi tiết của phần cứng. Bản tóm tắt cấp cao về các thành phần cốt lõi trong ví dụ này bao gồm:

• Lập lịch công việc: Slurm nằm trên PowerEdge R640 với Trình quản lý cụm Bright8.1
• Nút tính toán: 8 x Dell C6420 với Mellanox ConnectX-5 EDR
• Máy chủ DAC: 4 x Dell EMC PowerEdge R740xd
• Mạng tốc độ cao: 1 x Công tắc Mellanox HDR MQM8700-HS2R
• Quản lý/Mạng quản trị: 1 x Dell EMC PowerConnect Gigabit Switch

Hình 1 Kiến trúc phần cứng

Phần mềm

Hình 2 bên dưới mở rộng dựa trên bố cục phần cứng của Hình 1 ở trên với quy trình làm việc logic cấp cao của phần mềm Trình tăng tốc dữ liệu. Thành phần quản lý tài nguyên được cung cấp bởi etcd , đây là kho lưu trữ khóa-giá trị phân tán nguồn mở. Giao diện xử lý dacctl (Slurm interface) và dacd (DAC Server) với etcdcho sự gắn kết trạng thái vì SSD và máy chủ DAC được phân bổ trước khi tạo bộ đệm và giải phóng sau khi phá vỡ bộ đệm. Các điều khiển DAC tích hợp với plugin DataWarp của bộ đệm Slurm. Người dùng cuối gửi một công việc trên nút đăng nhập thông qua các cơ chế Slurm thông thường như sbatch và srun chứa các chỉ thị giao diện (ví dụ được cung cấp trong phần Hiệu suất). Các yêu cầu này kích hoạt các tính năng bộ đệm liên tục của plugin Slurm. Một chú thích được đưa ra thông qua công cụ dòng lệnh dacctl , công cụ này sẽ lần lượt kích hoạt các cơ chế của Dàn nhạc cho trình nền dacd trên các máy chủ DAC.

Có hai vòng đời mà bộ đệm liên tục DAC có sẵn:

1. Mỗi công việc: một không gian tên được tạo cho một công việc của người dùng
2. Liên tục: một không gian tên được tạo và chia sẻ trên nhiều công việc được chỉ định bởi cùng một người dùng

Ngoài các vòng đời, có ba chế độ hoạt động cho mỗi bộ đệm:

1. Sọc: một không gian tên chung duy nhất được gắn trên tất cả các nút tính toán được phân bổ thông qua một thư mục chứa số id công việc
2. Riêng tư: một không gian tên được cấp cho tất cả các nút được phân bổ thông qua thư mục con cho mỗi nút tính toán
3. Hoán đổi: tệp lặp lại được tạo để mở rộng bộ nhớ (đang được phát triển)

Đối với kiến ​​trúc tham khảo này, chúng tôi sẽ đề cập đến việc sử dụng hệ thống tệp Per Job Luster ở chế độ Sọc được truy cập bởi biến môi trường $DW_JOB_STRIPED . Vì các vòng đời của bộ đệm nhằm mục đích nâng cao hiệu suất của bộ lưu trữ trung tâm hiện có và mang tính tạm thời, nên không có tính năng dự phòng ổ đĩa nào được sử dụng. Điều này đảm bảo sử dụng tối đa dung lượng SSD cũng như loại bỏ chi phí tính toán RAID.

Hình 2 Kiến trúc phần mềm

Quản trị viên gắn thủ công bất kỳ hệ thống tệp hiện có nào trên máy chủ DAC cho giai đoạn tùy chọn vào (SI/ingress) và giai đoạn ra (SO/egress) dữ liệu người dùng. Sau khi Slurm xác định công việc tiếp theo sẽ chạy, nó sẽ gọi yêu cầu tới Dàn nhạc. Trong khi công việc vẫn ở trạng thái ĐANG CHỜ, dacd bắt đầu tạo hệ thống tệp Luster tạm thời (bộ đệm liên tục) cùng với giai đoạn tùy chọn trong dữ liệu do người dùng chỉ định. Dàn nhạc sử dụng ansible trong môi trường ảo Python để chạy playbook sẽ tạo ra một hệ thống tệp song song có kích thước theo yêu cầu của người dùng cuối gửi công việc. Ngoài việc tạo hệ thống tệp, Trình soạn nhạc sau đó sẽ gắn kết (thông qua các đặc quyền sudo bị hạn chế) bộ đệm mới được tạo vào các nút điện toán do Slurm phân bổ và công việc được đặt ở trạng thái CHẠY. Môi trường của công việc chứa đường dẫn đến hệ thống tệp mà người dùng tham chiếu để truy cập không gian tên. Sau khi công việc của người dùng hoàn thành hoặc kết thúc, Slurm gọi qua dacctl để ngắt kết nối hệ thống tệp trên các nút điện toán được chỉ định, di chuyển dữ liệu đến bộ lưu trữ dữ liệu trung tâm, phá bỏ bộ đệm liên tục và hủy phân bổ các thiết bị trong v.v. Việc phân tầng dữ liệu tùy chọn được kiểm soát bởi biến trong tập lệnh bó như sau:

#DW stage_in type=thư mục nguồn=/home/user/data-in/destination=$DW_JOB_STRIPED/data #DW stage_out type=nguồn thư mục=$DW_JOB_STRIPED/đích dữ liệu=/home/user/data-out/

Trong phiên bản hiện tại của DAC với Lustre, mỗi máy chủ đóng vai trò là MDS, OSS và máy khách (đối với dữ liệu vào/ra), với mỗi SSD được phân vùng để chứa MDT và OST. Kích thước MDT là cài đặt có thể định cấu hình dacd mà quản trị viên có thể ghi đè dựa trên các yêu cầu inode dự đoán, phần còn lại của không gian được phân bổ cho OST.

Thông số kỹ thuật

Bảng 1 liệt kê các thông số kỹ thuật được sử dụng trong kiến ​​trúc tham khảo này.

Bảng 1 Thông Số Kỹ Thuật

thông số kỹ thuật
Cấu hình máy chủ
Thành phần	Thông tin chi tiết
Mô hình máy chủ	Dell EMC PowerEdge R740xd
bộ vi xử lý	2 x Intel Xeon 6248R 3Ghz, 24C
Trí nhớ	24 x 16GB RDIMM, 2933MT/s, Xếp hạng kép
Hệ thống	Bộ điều hợp bộ điều khiển HBA330, Bộ điều khiển BOSS-S1 cấu hình thấp 2 x 240GB M.2 được tối ưu hóa hiệu suất
Đĩa cục bộ (Bộ nhớ)	24 x Dell Express Flash NVMe P4610 1.6TB SFF
Bộ điều hợp mạng	2 x Mellanox ConnectX-6 HDR100
IPMI	Doanh nghiệp iDRAC
Cấu hình phần mềm
Thành phần	Thông tin chi tiết
Hệ điều hành	RedHat Enterprise Linux 7.6
hạt nhân	3.10.0-957
InifniBand	Mellanox OFED 4.6-1.0.1.0
dàn nhạc	dữ liệu-acc 2.3
Bộ lập lịch hàng loạt	khu ổ chuột 19.05
quản lý tài nguyên	v.v. 3.2
Hệ thống tập tin song song	ánh 2.12.2
Môi trường ảo	con trăn 2.7.5
cấu hình mạng
Thành phần	Thông tin chi tiết
Kho	Mellanox Quantum HDR MQM8700-HS2R
Sự quản lý	PowerConnect Gigabit Ethernet 3048-ON

 

Đánh giá hiệu suất

Tóm tắt phương pháp kiểm tra

Phân bổ thiết bị của DAC là động vì bố cục hệ thống tệp dựa trên dung lượng bộ đệm liên tục do người dùng cuối yêu cầu. Cấu hình DAC cơ sở chỉ yêu cầu một máy chủ duy nhất, nhưng để chứng minh khả năng mở rộng, blog này cũng bao gồm hai và bốn cấu hình máy chủ. Ba số lượng máy chủ này đã được chọn cho phần trình diễn này dựa trên tối đa tám nút tính toán có sẵn. Tất cả các nút điện toán được sử dụng với cả ba số lượng máy chủ gây ra các mức tỷ lệ mạng và thiết bị khác nhau. Mỗi lần lặp lại trong chuỗi thử nghiệm sẽ tăng số lượng quy trình theo lũy thừa của 2 từ 1 lên 512 (được chia cho tất cả các nút điện toán). Các lệnh IOZone giống hệt nhau đã được sử dụng trong khi chỉ thay đổi số lượng máy chủ DAC. IOP được hiển thị là quyền truy cập ngẫu nhiên khối 4K, không ngụ ý hoạt động siêu dữ liệu.

Trục x của mỗi biểu đồ bao gồm một bản tóm tắt bảng dữ liệu với các kết quả thô. Nội dung được thể hiện như sau:

dòng	Hiệu suất IO khối tuần tự 1 MB của OST	Viết (Xanh lam) Đọc (Cam)
Cột	Hiệu suất IO khối ngẫu nhiên 4K của OST	Viết (Xám) Đọc (Vàng)
Dòng tối đa	Băng thông mạng lý thuyết tối đa	Trắng

Một số lưu ý ở đây là tất cả các kết quả này đều dựa trên cài đặt mặc định của hệ thống và sử dụng bộ tùy chọn IOZone tiêu chuẩn được sử dụng trên các giải pháp lưu trữ Dell EMC cho mục đích so sánh.  Tối ưu hóa ánh sáng và liên kết NUMA sẽ được thực hiện sau . Tất cả các thử nghiệm trong phần trình diễn này đều sử dụng tùy chọn DirectIO để tránh ảnh hưởng từ các tính năng bộ nhớ đệm nội tại trong hệ thống tệp. Ngoài ra, độ chi tiết của dung lượng SSD trong dacd được giữ ở mức 1,4 TB, thấp hơn dung lượng khả dụng, để cho phép thực hiện các thử nghiệm khác liên quan đến định cỡ MDT.

VIẾT TRÌNH TỰ:                 iozone -i 0 -c -e -I -w -r 1M -s $ g -t $ -+n -+m $ ĐỌC TRÌNH TỰ:                    iozone -i 1 -c -e -I -w -r 1M -s $ g -t $ -+n -+m $ VIẾT/ĐỌC NGẪU NHIÊN:              iozone -i 2 -c -I -w -O -r 4K -s $ g -t $ -+n -+m $

-i 0=Viết, 1=Đọc, 2=Kiểm tra truy cập ngẫu nhiên

-c Bao gồm thời gian đóng tệp

-e Bao gồm tuôn ra trong tính toán thời gian

-w Không hủy liên kết (xóa) các tệp tạm thời

-r Kích thước bản ghi

-s Kích thước tệp (1024g / num_proc)

-t Số tiến trình

-+n Không thi lại

-+m Tập tin máy

-Tôi sử dụng O_DIRECT, bỏ qua bộ đệm của máy khách

-O Đưa ra kết quả trong ops/giây

IOZone – Một máy chủ

Một máy chủ có hiệu suất lý thuyết tối đa là 25 GB/giây với hai cổng HDR100 được biểu thị bằng đường màu trắng. Tám nút tính toán với một cổng EDR duy nhất có thể bão hòa tất cả các cổng trên máy chủ theo tỷ lệ 2:1. Băng thông tuần tự đạt ~23,9 GB/giây Ghi và ~23,5 GB/giây Đọc với 128 quy trình tổng hợp hoặc 128/8 = 16 quy trình trên mỗi nút điện toán. Các hoạt động khối ngẫu nhiên tiếp cận hiệu suất bền vững ở 128 quy trình. Thử nghiệm được bắt đầu bằng cách chỉ kích hoạt dịch vụ dacd trên một máy chủ, yêu cầu kích thước bộ đệm bằng tổng dung lượng đã định cấu hình của tất cả 12 SSD và yêu cầu tất cả 8 nút tính toán. Tỷ lệ máy chủ này để tính toán các nút dường như đủ để bão hòa hiệu suất khả dụng.

$ sbatch –nodes 8 –job-name=”1server” –bb “dung lượng=33600GiB access_mode=loại sọc=scratch” IOZone_cli.batch

Biểu đồ 1 Hiệu suất một máy chủ

 

IOZone – Hai máy chủ

Xây dựng trên một cấu hình máy chủ, cùng một bộ kiểm tra IOZone đã được chạy. Thay đổi duy nhất là một máy chủ DAC bổ sung đã được kích hoạt và thêm vào vùng đệm chưa phân bổ. Tỷ lệ giao diện mạng giữa máy chủ và máy khách hiện là 1:1. Băng thông tuần tự lại bão hòa khoảng ~95% với 47,6 GB/giây Ghi và 47,1 GB/giây Đọc. Chỉ với 512 quy trình, các hoạt động ngẫu nhiên dường như bắt đầu chững lại, nhưng các nút và quy trình tính toán bổ sung là cần thiết để tìm ra tốc độ bền vững. Thử nghiệm được bắt đầu bằng cách chỉ kích hoạt dịch vụ dacd trên 2 máy chủ, yêu cầu kích thước bộ đệm bằng tổng dung lượng đã định cấu hình của tất cả 24 SSD và yêu cầu tất cả 8 nút điện toán. Tỷ lệ máy chủ so với máy tính này có vẻ đủ để bão hòa băng thông mạng, nhưng không đủ để duy trì mức bão hòa cho IOP.

$ sbatch –nodes 8 –job-name=”2server” –bb “dung lượng=67200GiB access_mode=loại sọc=scratch” IOZone_cli.batch

Biểu đồ 2 Hiệu suất của hai máy chủ

IOZone – Bốn máy chủ

Một lần nữa, dựa trên cấu hình một máy chủ, cùng một bộ thử nghiệm IOZone đã được khởi chạy. Thay đổi duy nhất là ba máy chủ DAC bổ sung được kích hoạt và thêm vào vùng đệm chưa phân bổ. Tỷ lệ của mười sáu giao diện mạng máy chủ và tám máy khách hiện là 0,5:1. Băng thông tuần tự đạt tối đa ~92,7GB/giây Ghi và ~76,8 GB/giây Đọc. Băng thông bị ràng buộc bởi số lượng khách hàng và quy trình với thông tin chi tiết được giải thích sau trong blog này. Dựa trên các kết quả trước đó, bốn đến tám máy khách bổ sung sẽ đạt đến độ bão hòa băng thông tuần tự. Các hoạt động ngẫu nhiên tiếp tục theo xu hướng tăng, nhưng không đạt được mức bền vững chỉ với 512 quy trình. Cần có nhiều nút và quy trình tính toán hơn để tìm ra mức độ hoạt động ngẫu nhiên bền vững. Có lẽ 32-64 nút tính toán với vài nghìn quy trình sẽ là lý tưởng để quan sát xu hướng cho IOP khối. Thử nghiệm này được bắt đầu bằng cách chỉ kích hoạt dịch vụ dacd trên 4 máy chủ, yêu cầu kích thước bộ đệm bằng với dung lượng cấu hình tổng hợp của 96 ổ SSD và yêu cầu tất cả 8 nút điện toán.

$ sbatch –nodes 8 –job-name=”4server” –bb “dung lượng=134400GiB access_mode=loại sọc=scratch” IOZone_cli.batch

Biểu đồ 3 Bốn hiệu suất máy chủ

Thông tin chi tiết

Phần này nhằm cung cấp giải thích sơ bộ về một số khía cạnh hiệu suất.

Đọc hiệu suất và PCI Express:

Ở số lượng quy trình từ 16 trở lên, chúng tôi quan sát thấy hiệu suất đọc thấp hơn ghi. Điều này là do Hoạt động không được đăng trong quá trình đọc PCIe, yêu cầu hai giao dịch: yêu cầu và hoàn thành, trái ngược với giao dịch đơn lẻ của hoạt động ghi PCIe. Sau khi Gói lớp giao dịch được chuyển giao cho Lớp liên kết dữ liệu, thao tác sẽ hoàn tất. Thao tác ghi đã đăng chỉ bao gồm một yêu cầu. Hiện tượng này giảm đi khi có nhiều yêu cầu hơn trong chuyến bay để bù cho độ trễ trung bình về độ trễ trong các giao dịch phân tách. Hiệu ứng độ trễ đọc nổi bật khi nhiều tài nguyên lưu trữ được thêm vào trong khi số lượng nút điện toán và quy trình vẫn cố định.

Bảng nối đa năng PCIe:

Mỗi máy chủ chứa hai bộ chuyển mạch PLX PCIe, mỗi bộ chuyển mạch kết nối 12 ổ SSD Intel P4610 NVMe với mỗi CPU trên x16 PCIe. Dựa trên các làn PCIe, về mặt lý thuyết, bốn thiết bị NVMe phù hợp với các làn mở rộng PCIe và tránh đăng ký quá mức. Dựa trên băng thông, năm thiết bị (@3,2 GB/giây là hiệu suất thô đọc|ghi của P4610) sẽ bão hòa những gì có sẵn cho mỗi bộ chuyển mạch PCIe. Các khía cạnh này sẽ được xem xét cùng với số lượng bộ đệm liên tục hoạt động và loại khối lượng công việc vì một kích thước không phù hợp với tất cả.

 

khả năng mở rộng

Dựa trên kết quả của các thử nghiệm Một máy chủ và Hai máy chủ, hiệu suất sẽ thay đổi theo tỷ lệ tuyến tính. Thử nghiệm Four Server hỗ trợ xu hướng này. Tỷ lệ tuyến tính là một yếu tố cần xem xét, nhưng chúng tôi sẽ đề cập đến các khía cạnh khác đáng được đề cập.

Một số ví dụ cần xem xét để thay đổi quy mô sẽ tập trung vào loại khối lượng công việc: năng lực, hiệu suất tuần tự và hiệu suất truy cập ngẫu nhiên. Về dung lượng, một số khối lượng công việc có tính tuần tự cao có thể chỉ cần quyền truy cập vào bộ lưu trữ có thông lượng cao hơn với đủ dung lượng để chứa một lượng lớn dữ liệu nhất thời. Trong trường hợp này, cấu hình có thể lấp đầy tất cả 24 khe lưu trữ của 740xd bằng các ổ đĩa dung lượng lớn hơn. Đối với khối lượng công việc yêu cầu thông lượng tuần tự cao nhất quán, các giao diện mạng được tăng lên bằng cách thêm các máy chủ DAC để đáp ứng các kỳ vọng về hiệu suất dựa trên kết quả hiệu suất cơ bản của một máy chủ. Trong trường hợp này, đó là một yếu tố của băng thông ước tính, 45 GB/giây có thể được cung cấp bởi hai máy chủ DAC với bốn giao diện HDR. Khối lượng công việc với các hoạt động truy cập ngẫu nhiên sẽ tính đến tổng số nút điện toán truy cập đồng thời vào máy chủ. Kết quả cơ bản với DirectIO cho thấy số lượng máy chủ, giao diện mạng và ổ đĩa nhỏ hơn là đủ cho IO tuần tự, nhưng kích thước cụm sẽ góp phần mở rộng quy mô cho các hoạt động ngẫu nhiên. Trong kết quả IOZone ở trên, cần có hơn tám nút điện toán để bão hòa IOP của bốn máy chủ DAC.

Ngoài ra còn có khả năng cấu hình kết hợp yêu cầu xem xét cả ba loại khối lượng công việc. Những điều chỉnh máy chủ đó cuối cùng sẽ dựa trên các yếu tố được giải thích ở trên đòi hỏi phải xem xét không gian giá đỡ, không gian chuyển mạch mạng và chi phí.

 

Thực hành tốt nhất

Đối với người dùng yêu cầu bộ đệm liên tục, họ sẽ yêu cầu một số ước tính dung lượng sơ bộ. Vì tài nguyên hệ thống tệp được phân bổ khi công việc được đánh dấu tiếp theo để khởi chạy, nên không thể thay đổi kích thước bộ đệm. Điều quan trọng là phải yêu cầu công suất đủ cao để ngăn công việc thất bại do lỗi Ngoài không gian và đủ thấp để không lãng phí tài nguyên. Trước khi sử dụng bộ đệm, việc chạy công cụ “du -s” của Linux trên các thư mục đầu vào có thể giúp ước tính dung lượng cần thiết để đưa vào bộ đệm. Việc nắm bắt định kỳ dữ liệu này trong một công việc mẫu cũng sẽ giúp đánh giá năng lực tiêu thụ tích cực. Ngoài ra, nếu hệ thống tệp nguồn hỗ trợ hạn ngạch, thì người dùng cũng có thể truy vấn thông tin đó theo định kỳ trong công việc của họ. Trong hầu hết các trường hợp,

Một cân nhắc khác dành cho khối lượng công việc của người dùng được biết là vượt quá tính khả dụng của inode. Khi cần nhiều inode hơn, kích thước bộ đệm lớn hơn sẽ phân bổ các ổ SSD bổ sung và mở rộng quy mô dung lượng siêu dữ liệu vốn có. Nếu loại tình trạng này xảy ra thường xuyên, thì quản trị viên có thể điều chỉnh kích thước MDT theo yêu cầu để tối ưu hóa sự cân bằng giữa dung lượng và nút. Một ví dụ là tỷ lệ tạo và xóa cao theo thứ tự hàng triệu tệp mà công việc có thể vượt quá. Một ví dụ khác là giải nén một số mã nguồn lớn sẽ không rõ ràng khi tính toán không gian inode cần thiết.

 

Kết luận và công việc trong tương lai

Trong blog này, chúng tôi đã chứng minh rằng một máy chủ DAC với 24 ổ SSD NVMe 1,6 TB có thể tạo ra hiệu suất cơ bản IOZone DirectIO là ~23,9 GB/giây ghi tuần tự, đọc tuần tự ~23,5 GB/giây, ghi ngẫu nhiên ~346K và ~ 478K lượt đọc ngẫu nhiên của khối IO (không phải siêu dữ liệu). Bản chất nhất thời của nhiều bộ đệm liên tục cho phép giải pháp tránh được chi phí hoạt động của các tính năng RAID và tối đa hóa cả hiệu suất và dung lượng khả dụng là 38TB.

Các bước tiếp theo cho giải pháp này là mở rộng các cấu hình thay thế và nâng cấp phần cứng và phần mềm thử nghiệm. Các nút tính toán bổ sung sẽ được thêm vào và phiên bản Mellanox OFED và Luster cũng sẽ được nâng cấp lên phiên bản được xác định vào một ngày trong tương lai. Vì các kết quả hiệu suất này cung cấp đường cơ sở mặc định, các nỗ lực bổ sung sẽ được tập trung vào việc tối ưu hóa hiệu suất để loại bỏ tác động của các lần bỏ lỡ NUMA.

Các phụ thuộc được liệt kê ở trên cho phép cấu hình hiệu suất mở rộng với việc bổ sung các nút tính toán cho các thử nghiệm sau:

• IOZone: có và không có DirectIO
• IOR: Nto1 (Tệp chia sẻ đơn)
• MDTest: dành cho OP siêu dữ liệu