Báo cáo về hiệu quả và giảm dữ liệu OneFS

Trong số các mục tiêu của báo cáo hiệu suất và giảm thiểu OneFS là cung cấp số liệu thống kê ‘tiêu chuẩn công nghiệp’, cho phép hiểu rõ hơn về hiệu suất cụm. Đây là một quá trình liên tục và trước OneFS 9.2, việc theo dõi một số số liệu thống kê hệ thống tệp nhất định bị hạn chế – đặc biệt là vật lý ứng dụng và logic hệ thống tệp – có nghĩa là tỷ lệ hiệu suất giảm dữ liệu và lưu trữ phải được ước tính. Điều này không còn đúng nữa và OneFS 9.2 trở lên cung cấp số liệu hiệu suất và giảm dữ liệu chính xác ở mức độ chi tiết theo từng tệp, hạn ngạch và toàn cụm.

Bảng sau đây cung cấp mô tả cho nhiều số liệu báo cáo OneFS khác nhau, đồng thời cố gắng hợp lý hóa quy ước đặt tên của chúng với thuật ngữ chung khác trong ngành:

Vậy hãy cùng xem xét các số liệu này để xem chúng đại diện cho điều gì và cách tính toán chúng.

• Logic ứng dụng hoặc logic được bảo vệ là dữ liệu ứng dụng có thể được ghi vào cụm, bất kể dữ liệu đó được lưu trữ ở đâu.
• Việc xóa dữ liệu thưa thớt khỏi ứng dụng dẫn đến kết quả logic trong hệ thống tệp logic, còn được gọi đơn giản là dữ liệu logic hoặc dữ liệu hiệu quả. Đây có thể là dữ liệu luôn thưa thớt, đã bị loại bỏ khối số không hoặc dữ liệu đã được phân tầng ngoài cụm bằng CloudPools, v.v.

  (Lưu ý rằng hệ thống tập tin logic không được theo dõi chính xác trong các bản phát hành trước OneFS 9.2, do đó các số liệu trước đó chỉ được ước tính phần nào.)

• Tiếp theo, các kỹ thuật giảm dữ liệu như nén và loại bỏ trùng lặp tiếp tục giảm hệ thống tệp logic thành ứng dụng vật lý hoặc vật lý được bảo vệ trước. Đây là kích thước vật lý của dữ liệu ứng dụng nằm trên ổ đĩa hệ thống tệp và không bao gồm siêu dữ liệu, chi phí bảo vệ hoặc dữ liệu được chuyển lên đám mây.

• Filesystem physical là ứng dụng vật lý với chi phí bảo vệ dữ liệu được thêm vào – bao gồm các khối inode, phản chiếu và FEC. Filesystem physical cũng được gọi là protected physical.

• Tỷ lệ giảm dữ liệu là lượng dữ liệu được giảm từ hệ thống tập tin logic xuống ứng dụng vật lý.

• Cuối cùng, tỷ lệ hiệu quả lưu trữ là tỷ lệ logic của hệ thống tập tin chia cho tỷ lệ vật lý của hệ thống tập tin.

Với tính năng báo cáo giảm dữ liệu nâng cao trong OneFS 9.2 trở lên, số liệu thống kê thực tế về cơ bản vẫn giống nhau, chỉ được tính toán chính xác hơn.

Dữ liệu về hiệu quả lưu trữ đã có trong các bản phát hành trước OneFS 9.2, mặc dù chỉ được ước tính phần nào, nhưng số liệu về việc giảm dữ liệu đã được giới thiệu trong OneFS 9.2.

Các công cụ sau đây có sẵn để truy vấn các số liệu về hiệu quả và giảm thiểu này ở mức độ chi tiết của tệp, hạn ngạch và toàn cụm:

Lưu ý rằng lệnh CLI ‘isi_cstats’ cung cấp một số chi tiết bổ sung, ẩn sau hậu trường. Giao diện đi qua API nền tảng để lấy các số liệu thống kê này.

Lệnh CLI ‘isi statistics data-reduction’ là tiện ích CLI báo cáo giảm dữ liệu toàn diện nhất. Ví dụ:

# isi thống kê dữ liệu giảm
                      Giảm dữ liệu cụm ghi gần đây
                           (5 phút)
------------- ------------- ----------------------
Dữ liệu logic 6.18M 6.02T
Đã lưu loại bỏ số 0 -
Đã loại bỏ trùng lặp 56.00k 3.65T
Nén đã lưu 4,16M 1,96G
Vật lý được bảo vệ trước 1.96M 2.37T
Bảo vệ trên cao 5.86M 910.76G
Bảo vệ vật lý 7.82M 3.40T
Tỷ lệ loại bỏ bằng không 1,00 : 1 -
Tỷ lệ loại bỏ trùng lặp 1,01 : 1 2,54 : 1
Tỷ số nén 3.12 : 1 1.02 : 1
Tỷ lệ giảm dữ liệu 3,15 : 1 2,54 : 1
Tỷ lệ dữ liệu nội tuyến 1,04 : 1 1,00 : 1
Tỷ lệ hiệu suất 0,79 : 1 1,77 : 1

Dữ liệu ‘ghi gần đây’ trong cột đầu tiên cung cấp số liệu thống kê chính xác cho khoảng thời gian năm phút trước khi chạy lệnh. Ngược lại, số liệu ‘giảm dữ liệu cụm’ trong cột thứ hai ít theo thời gian thực hơn một chút nhưng phản ánh dữ liệu và hiệu quả chung trên toàn cụm. Xin lưu ý rằng, trong OneFS 9.1 trở về trước, số liệu cột bên phải được chỉ định bằng tiền tố ‘Est’, biểu thị giá trị ước tính. Tuy nhiên, trong OneFS 9.2 trở lên, số liệu ‘dữ liệu logic’ và ‘vật lý được bảo vệ trước’ được theo dõi và báo cáo chính xác, thay vì ước tính.

Dữ liệu tỷ lệ trong mỗi cột được tính toán từ các giá trị ở trên. Ví dụ, để tính tỷ lệ giảm dữ liệu, ‘dữ liệu logic’ (có hiệu lực) được chia cho giá trị ‘vật lý được bảo vệ trước’ (có thể sử dụng). Từ kết quả ở trên, sẽ là:

6,02 / 2,37 = 1,76 Hoặc tỷ lệ Giảm Dữ liệu là 2,54:1

Tương tự như vậy, ‘tỷ lệ hiệu quả’ được tính bằng cách chia ‘dữ liệu logic’ (có hiệu lực) cho giá trị ‘vật lý được bảo vệ’ (thô). Từ kết quả đầu ra ở trên, điều này tạo ra:

6,02 / 3,40 = 0,97 Hoặc tỷ lệ hiệu quả là 1,77:1

OneFS SmartQuotas báo cáo dung lượng tiết kiệm được từ việc giảm dữ liệu trực tuyến dưới dạng tỷ lệ hiệu quả lưu trữ. SmartQuotas báo cáo hiệu quả dưới dạng tỷ lệ trên toàn bộ tập dữ liệu mong muốn như được chỉ định trong trường đường dẫn hạn ngạch. Tỷ lệ hiệu quả dành cho toàn bộ thư mục hạn ngạch và nội dung của nó, bao gồm mọi chi phí chung, và phản ánh hiệu quả ròng của việc nén và loại bỏ trùng lặp. Trên cụm có SmartQuotas được cấp phép và cấu hình, tỷ lệ hiệu quả này có thể dễ dàng xem từ WebUI bằng cách điều hướng đến Hệ thống tệp > SmartQuotas > Hạn ngạch và mức sử dụng . Trong OneFS 9.2 trở lên, ngoài tỷ lệ hiệu quả lưu trữ, tỷ lệ giảm dữ liệu cũng được hiển thị. 

Tương tự như vậy, cùng một dữ liệu có thể được truy cập từ dòng lệnh OneFS bằng cách sử dụng lệnh CLI ‘isi quota quotas list’. Ví dụ:

# danh sách hạn ngạch isi quota
Kiểu Áp dụng cho Đường dẫn Snap Cứng Mềm Adv Sử dụng Giảm Hiệu quả
-----------------------------------------------------------------------------------------
thư mục MẶC ĐỊNH /ifs Không - - - 6.02T 2.54 : 1 1.77 : 1
-----------------------------------------------------------------------------------------

Tổng cộng: 1

Có thể xem thêm chi tiết, bao gồm cả dung lượng dữ liệu vật lý (thô) và logic (có hiệu lực) bằng cách sử dụng lệnh CLI ‘isi quota quotas view <path> <type>’. Ví dụ:

# isi quota quotas xem thư mục /ifs
                        Đường dẫn: /ifs
                        Loại: thư mục
                   Ảnh chụp nhanh: Không
                    Đã thực thi: Không
                   Container: Không
                      Liên kết: Không
                       Cách sử dụng
                           Tập tin: 5759676
         Vật lý (Có Chi phí): 6.93T
        FSPhysical(Đã loại bỏ trùng lặp): 3.41T
         FSLogical (Không có chi phí chung): 6.02T
        AppLogical(Kích thước rõ ràng): 6.01T
                   ShadowLogical: -
                    Dữ liệu vật lý: 2.01T
                      Bảo vệ: 781.34G
     Giảm (Logic/Dữ liệu): 2.54 : 1
Hiệu suất (Logic/Vật lý): 1.77 : 1

Để cấu hình SmartQuotas cho báo cáo hiệu quả dữ liệu trực tuyến, hãy tạo hạn ngạch thư mục tại thư mục hệ thống tệp cấp cao nhất quan tâm, ví dụ /ifs. Tạo và cấu hình hạn ngạch thư mục là một quy trình đơn giản và có thể được thực hiện từ WebUI bằng cách điều hướng đến Hệ thống tệp > SmartQuotas > Hạn ngạch và sử dụng và chọn Tạo hạn ngạch . Trong hộp thoại Tạo hạn ngạch , hãy đặt loại hạn ngạch thành ‘Hạn ngạch thư mục’, thêm đường dẫn cấp cao nhất được ưu tiên để báo cáo, chọn ‘Kích thước logic ứng dụng’ cho Kế toán hạn ngạch và đặt Giới hạn hạn ngạch thành ‘Theo dõi lưu trữ mà không chỉ định giới hạn lưu trữ’. Cuối cùng, nhấp vào nút ‘Tạo hạn ngạch’ để xác nhận cấu hình và kích hoạt hạn ngạch thư mục mới.

Tỷ lệ hiệu quả là một số liệu hiệu quả duy nhất, theo thời gian hiện tại được tính toán theo từng thư mục hạn ngạch và bao gồm tổng của nén nội tuyến, xóa khối bằng không, khử trùng lặp nội tuyến và SmartDedupe. Điều này trái ngược với lịch sử số liệu thống kê theo thời gian, như được báo cáo trong đầu ra lệnh CLI ‘isi statistics data-reduction’, được mô tả ở trên. Do đó, tỷ lệ hiệu quả cho toàn bộ thư mục hạn ngạch sẽ phản ánh những gì thực sự có ở đó.

Tác giả : Nick Trimbee