OneFS Data Inlining – Hiệu suất và Giám sát

Tiềm năng hiệu quả lưu trữ của inode nội tuyến có thể rất đáng kể đối với các tập dữ liệu bao gồm nhiều tệp nhỏ, vốn yêu cầu phải có inode và khối dữ liệu riêng để lưu trữ các tệp này trước OneFS 9.3.

Về độ trễ, hiệu suất ghi cho các lần ghi tệp nội tuyến thường tương đương hoặc tốt hơn một chút so với các tệp thông thường, vì OneFS không phải phân bổ các khối bổ sung và bảo vệ chúng. Điều này cũng đúng đối với các lần đọc, vì OneFS không phải tìm kiếm và truy xuất bất kỳ khối nào ngoài chính inode. Điều này cũng giải phóng không gian trong các lớp bộ đệm đọc OneFS, cũng như trên đĩa, ngoài việc yêu cầu ít chu kỳ CPU hơn.

Hình sau minh họa các mức độ gián tiếp mà yêu cầu truy cập tệp thực hiện để lấy dữ liệu của nó. Không giống như tệp chuẩn, tệp nội tuyến bỏ qua các giai đoạn sau của đường dẫn, bao gồm chuyển hướng siêu cây inode đến các khối dữ liệu từ xa.

Truy cập bắt đầu với Superblock, nằm tại nhiều địa chỉ khối cố định trên mỗi ổ đĩa trong cụm. Superblock chứa các vị trí địa chỉ của khối LIN Master, chứa gốc của Cây LIN B+ (bảng LIN). Cây LIN B+ ánh xạ các số inode logic thành các địa chỉ inode thực tế trên đĩa, trong trường hợp tệp được nhúng, cũng chứa dữ liệu. Điều này giúp tiết kiệm chi phí tìm vị trí địa chỉ của các khối dữ liệu của tệp và truy xuất dữ liệu từ chúng.

Đối với các nút lai có đủ dung lượng SSD, sử dụng chiến lược SSD ghi siêu dữ liệu sẽ tự động đặt các tệp nhỏ được nhúng vào phương tiện flash. Tuy nhiên, vì SSD trên các nút lai mặc định ở định dạng 512 byte, khi sử dụng các chiến lược đọc/ghi siêu dữ liệu, bạn phải đặt cờ ‘–force-8k-inodes’ cho các nhóm siêu dữ liệu SSD này để các tệp được nhúng vào. Đây có thể là cấu hình hiệu suất hữu ích cho khối lượng công việc HPC tệp nhỏ, chẳng hạn như EDA, đối với dữ liệu không nằm trên tầng toàn flash. Nhưng hãy nhớ rằng việc buộc các inode 8KB vào SSD của nhóm lai sẽ dẫn đến giảm đáng kể dung lượng inode khả dụng so với cấu hình inode 512 byte mặc định.

Bạn có thể sử dụng lệnh CLI ‘isi_drivenum’ của OneFS để xác minh kích thước khối ổ đĩa trong một nút. Ví dụ, đầu ra sau đây cho một nút PowerScale Gen6 H-series hiển thị ổ đĩa Bay 1 chứa một SSD với định dạng vật lý 4KB và kích thước logic 512byte, và Bays A đến E bao gồm các ổ cứng (HDD) với cả định dạng logic và vật lý 4KB.

# isi_drivenum -bz
Bay 1 Kích thước khối vật lý: 4096 Kích thước khối logic: 512
Bay 2 Kích thước khối vật lý: Không có Kích thước khối logic: Không có
Bay A0 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Bay A1 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Bay A2 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Bay B0 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Bay B1 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Bay B2: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Bay C0: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Vịnh C1: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Vịnh C2: 4096 Kích thước khối logic: 4096
Bay D0 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Bay D1: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Bay D2: 4096 Kích thước khối logic: 4096
Bay E0 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Bay E1 Kích thước khối vật lý: 4096 Kích thước khối logic: 4096
Kích thước khối vật lý của Bay E2: 4096 Kích thước khối logic: 4096

Lưu ý rằng các nhóm đĩa SSD được sử dụng trong các nút lai PowerScale được cấu hình cho các chiến lược SSD meta-read hoặc meta-write sử dụng inode 512 byte theo mặc định. Điều này có thể tiết kiệm đáng kể không gian trên các nhóm này, vì chúng thường có dung lượng hạn chế, nhưng sẽ ngăn chặn việc nhập dữ liệu xảy ra. Ngược lại, các nodepool toàn flash của PowerScale được cấu hình theo mặc định cho inode 8KB.

Lệnh CLI ‘isi get’ của OneFS cung cấp phương pháp thuận tiện để xác minh kích thước inode nào đang được sử dụng trong một nhóm nút nhất định. Đầu ra của lệnh bao gồm cả kích thước bản sao inode và trạng thái nội tuyến của tệp.

Khi nói đến báo cáo hiệu quả, OneFS 9.3 cung cấp ba công cụ cải tiến của CLI để xác thực và báo cáo sự hiện diện và lợi ích của việc tích hợp dữ liệu, cụ thể là:

Lệnh CLI ‘isi statistics data-reduction’ đã được cải tiến để báo cáo số liệu dữ liệu nội tuyến, bao gồm cả dung lượng đã lưu và tỷ lệ hiệu quả dữ liệu nội tuyến:

# isi thống kê dữ liệu giảm
                      Giảm dữ liệu cụm ghi gần đây
                           (5 phút)
------------- ------------- ---------------- ------
Dữ liệu logic 90.16G 18.05T
Đã lưu loại bỏ số 0 -
Đã loại bỏ trùng lặp 5,25G 624,51G
Nén đã tiết kiệm 2.08G 303.46G
Dữ liệu nội tuyến được lưu 1,35G 2,83T
Vật lý được bảo vệ trước 82.83G 14.32T
Bảo vệ trên cao 13.92G 2.13T
Bảo vệ vật lý 96.74G 26.28T
Tỷ lệ loại bỏ bằng không 1,00 : 1 -
Tỷ lệ loại bỏ trùng lặp 1,06 : 1 1,03 : 1
Tỷ số nén 1.03 : 1 1.02 : 1
Tỷ lệ giảm dữ liệu 1.09 : 1 1.05 : 1
Tỷ lệ dữ liệu nội tuyến 1,02 : 1 1,20 : 1 
Tỷ lệ hiệu quả 0,93 : 1 0,69 : 1

Xin lưu ý rằng hiệu ứng của việc nhúng dữ liệu không được bao gồm trong tỷ lệ giảm dữ liệu vì nó không thực sự làm giảm dữ liệu theo bất kỳ cách nào – chỉ di chuyển dữ liệu và bảo vệ dữ liệu hiệu quả hơn. Tuy nhiên, việc nhúng dữ liệu được bao gồm trong tỷ lệ hiệu quả lưu trữ tổng thể.

Giá trị ‘dữ liệu nội tuyến đã lưu’ biểu thị số lượng tệp đã được nội tuyến, nhân với 8KB (kích thước inode). Giá trị này là bắt buộc để làm cho tỷ lệ nén và tỷ lệ giảm dữ liệu chính xác.

Lệnh CLI ‘isi_cstats’ hiện bao gồm số lượng tệp được nhúng đã tính toán trong /ifs, được hiển thị theo mặc định trong đầu ra của bảng điều khiển.

# isi_cstats
Tổng số tập tin: 397234451
Tổng số tập tin được nhúng: 379948336
Tổng số thư mục: 32380092
Tổng dữ liệu logic: 18471 GB
Tổng dữ liệu bị che khuất: 624 GB
Tổng dữ liệu vật lý: 26890 GB
Tổng dữ liệu giảm: 14645 GB
Tổng dữ liệu bảo vệ: 2181 GB
Tổng dữ liệu inode: 9748 GB
Dữ liệu logic hiện tại: 18471 GB
Dữ liệu hiện tại bị che khuất: 624 GB
Dữ liệu vật lý hiện tại: 26878 GB
Dữ liệu logic chụp nhanh: 0 B
Dữ liệu bóng mờ chụp nhanh: 0 B
Dữ liệu vật lý chụp nhanh: 32768 B
Tổng lượng dữ liệu được tích hợp: 2899 GB 
Tổng tỷ lệ dữ liệu được tích hợp: 1,1979: 1
Tổng tiết kiệm nén: 303 GB
Tỷ số nén tổng thể: 1.0173: 1
Tổng tiết kiệm được dữ liệu trùng lặp: 624 GB
Tỷ lệ loại bỏ trùng lặp tổng thể: 1.0350: 1
Tổng dữ liệu chứa trong container: 0 B
Tổng hiệu suất container: 1.0000 : 1
Tỷ lệ giảm dữ liệu tổng thể: 1.0529: 1
Hiệu suất lưu trữ tổng thể: 0,6869: 1
đếm thô
{ type=bsin files=3889 lsize=314023936 pblk=1596633 refs=81840315 data=18449 prot=25474 ibyte=23381504 fsize=8351563907072 iblocks=0 }
{ type=csin files=0 lsize=0 pblk=0 refs=0 data=0 prot=0 ibyte=0 fsize=0 iblocks=0 }
{ type=hdir files=32380091 lsize=0 pblk=35537884 refs=0 data=0 prot=0 ibyte=1020737587200 fsize=0 iblocks=0 }
{ type=hfile files=397230562 lsize=19832702476288 pblk=2209730024 refs=81801976 data=1919481750 prot=285828971 ibyte=9446188553728 fsize=17202141701528 iblocks=379948336 }
{ type=sdir files=1 lsize=0 pblk=0 refs=0 data=0 prot=0 ibyte=32768 fsize=0 iblocks=0 }
{ type=sfile files=0 lsize=0 pblk=0 refs=0 data=0 prot=0 ibyte=0 fsize=0 iblocks=0 }

Lệnh CLI ‘isi get’ có thể được sử dụng để xác định xem một tệp đã được nhúng hay chưa. Đầu ra báo cáo ‘kích thước’ logic của tệp, nhưng chỉ ra rằng nó không sử dụng khối vật lý, dữ liệu và bảo vệ nào. Bây giờ cũng có một thuộc tính ‘dữ liệu được nhúng’ ở xa hơn trong đầu ra cũng xác nhận rằng tệp đã được nhúng.

# isi lấy -DD file1
* Kích thước: 2
* Khối vật lý: 0
* Khối dữ liệu vật lý: 0
* Khối bảo vệ: 0
* Kích thước logic: 8192
NHÓM BẢO VỆ
* Thuộc tính động (6 byte):
*
KÍCH THƯỚC BÙ ĐỊNH THUỘC TÍNH
Lĩnh vực chính sách 0 6
DỮ LIỆU ĐƯỢC CỐ ĐỊNH
0,0,0:8192[BẨN]#1

Tóm lại, một số cân nhắc và biện pháp thực hành được khuyến nghị cho việc nhúng dữ liệu trong OneFS 9.3 bao gồm:

Việc nhúng dữ liệu mang tính cơ hội và chỉ được hỗ trợ trên các nhóm nút có inode 8KB.
Không cần phần mềm, phần cứng hoặc giấy phép bổ sung để nhúng dữ liệu.
Không có kiểm soát quản lý CLI hoặc WebUI nào cho việc nhúng dữ liệu.
Tính năng nhúng dữ liệu sẽ tự động được bật trên các nodepool áp dụng sau khi nâng cấp lên OneFS 9.3.
Tuy nhiên, việc nhúng dữ liệu xảy ra đối với các lần ghi mới và OneFS 9.3 không thực hiện bất kỳ nhúng nào trong quá trình nâng cấp. Thay vào đó, bất kỳ tệp nhỏ nào có thể áp dụng đều được nhúng khi ghi lần đầu tiên.
Vì tính năng inode nội tuyến được tự động bật trên toàn cầu trên các cụm chạy OneFS 9.3, OneFS nhận ra bất kỳ diskpool nào có inode 512 byte và tránh việc nội tuyến dữ liệu trên các diskpool đó một cách minh bạch.
Trong OneFS 9.3, việc nhúng dữ liệu không được thực hiện trên các tệp thông thường trong quá trình phân tầng, cắt bớt, nâng cấp, v.v.
Các tệp stub Smartlink của CloudPools, tệp thưa thớt và tệp ảnh chụp nhanh có thể ghi cũng không phải là ứng cử viên cho việc nhúng dữ liệu trong OneFS 9.3.
Các kho lưu trữ bóng OneFS không áp dụng dữ liệu nhúng. Như vậy:

Tính năng đóng gói tệp nhỏ bị vô hiệu hóa đối với các tệp dữ liệu nội tuyến.
Việc sao chép diễn ra như mong đợi với các tệp dữ liệu nội tuyến.
Các tệp dữ liệu nhúng không áp dụng tính năng loại bỏ trùng lặp. Các tệp dữ liệu không nhúng đã được loại bỏ trùng lặp một lần sẽ không nhúng sau đó.

Một số thao tác nhất định có thể khiến việc đưa dữ liệu vào bị đảo ngược, chẳng hạn như di chuyển tệp từ nhóm đĩa 8KB sang nhóm đĩa 512 byte, phân bổ khối trên tệp một cách cưỡng bức, trích xuất thưa thớt, v.v.

Tính năng nhúng dữ liệu OneFS 9.3 mới mang lại hiệu quả lưu trữ tệp nhỏ ở quy mô lớn, giúp tiết kiệm đáng kể chi phí lưu trữ mà không ảnh hưởng đến hiệu suất, tính dễ sử dụng hoặc khả năng bảo vệ dữ liệu.

Tác giả: Nick Trimbee