Mẹo nhanh về dữ liệu phi cấu trúc – OneFS Protection Overhead

Gần đây đã có một số câu hỏi từ lĩnh vực này về cách tính chi phí bảo vệ lưu trữ OneFS cho các kích thước cụm và mức độ bảo vệ khác nhau. Nhưng trước tiên, hãy xem qua tổng quan nhanh về các nguyên tắc cơ bản…

OneFS hỗ trợ một số chương trình bảo vệ. Bao gồm chương trình +2d:1n phổ biến, bảo vệ chống lại lỗi hai ổ đĩa hoặc lỗi một nút. Thực hành tốt nhất là sử dụng mức bảo vệ được khuyến nghị cho một cấu hình cụm cụ thể. Mức bảo vệ được khuyến nghị này được đánh dấu rõ ràng là ‘được đề xuất’ trong các trang cấu hình nhóm lưu trữ OneFS WebUI và thường được cấu hình theo mặc định. Đối với tất cả các cấu hình phần cứng Gen6 hiện tại, mức bảo vệ được khuyến nghị là “+2d:1n”.

Các chương trình bảo vệ lai đặc biệt hữu ích cho các cấu hình nút mật độ cao của khung gầm Gen6, trong đó khả năng nhiều ổ đĩa bị lỗi vượt xa khả năng toàn bộ một nút bị lỗi. Trong trường hợp không mong muốn là nhiều thiết bị cùng lúc bị lỗi, chẳng hạn như tệp “vượt quá mức bảo vệ của nó”, OneFS sẽ bảo vệ lại mọi thứ có thể và báo cáo lỗi trên các tệp riêng lẻ bị ảnh hưởng vào nhật ký của cụm.

OneFS cũng cung cấp nhiều tùy chọn phản chiếu khác nhau, từ 2x đến 8x, cho phép phản chiếu từ hai đến tám nội dung được chỉ định. Ví dụ, siêu dữ liệu được phản chiếu ở một cấp độ cao hơn FEC (sửa lỗi chuyển tiếp) theo mặc định. Ví dụ, nếu một tệp được bảo vệ ở +2n, đối tượng siêu dữ liệu liên quan của nó sẽ được phản chiếu 3x.

Mức độ bảo vệ đầy đủ của OneFS như sau:

Biểu đồ bên dưới hiển thị chi phí bảo vệ ‘lý tưởng’ trên phạm vi số lượng nút và mức độ bảo vệ OneFS (được ghi chú trong ngoặc). Đối với mỗi trường trong biểu đồ này, phần trăm chi phí bảo vệ được tính bằng cách chia tổng của hai số cho số bên phải.

x+y => y/(x+y)

Vì vậy, đối với cụm 5 nút được bảo vệ ở +2d:1n, OneFS sử dụng bố cục 8+2 – do đó chi phí ‘lý tưởng’ là 20%.

8+2 => 2/(8+2) = 20%

Các số ‘x+y’ trong mỗi trường trong bảng cũng biểu thị cách các tệp được phân chia theo cụm cho mỗi số lượng nút và cấp độ bảo vệ.

Ví dụ, với khả năng bảo vệ +2n trên cụm 6 nút, OneFS sẽ ghi một dải trên tất cả 6 nút và sử dụng hai đơn vị dải cho tính chẵn lẻ/ECC và bốn đơn vị cho dữ liệu.

Nhìn chung, đối với dữ liệu được FEC bảo vệ, chi phí bảo vệ OneFS sẽ trông giống như bên dưới.

Lưu ý rằng chi phí bảo vệ % (trong ngoặc) là hướng dẫn rất chung chung và sẽ thay đổi tùy theo các tập dữ liệu khác nhau, tùy thuộc vào số lượng tệp nhỏ, v.v.

Mức độ bảo vệ của tệp là cách hệ thống quyết định bố trí tệp. Một tệp có thể có nhiều mức độ bảo vệ tạm thời (vì tệp đang được phân vùng lại) hoặc vĩnh viễn (vì cụm không đồng nhất). Mức độ bảo vệ được chỉ định là “n + m/b@r” ở dạng đầy đủ. Trong trường hợp b, r hoặc cả hai bằng 1, có thể rút gọn thành “n + m/b”, “n + m@r” hoặc “n + m”.

Định nghĩa bảo vệ OneFS về mặt lỗi nút và/hoặc ổ đĩa có lợi thế là cấu hình đơn giản. Tuy nhiên, nó che giấu một số sự tinh tế của tương tác giữa chiều rộng dải và độ lan truyền ổ đĩa, được biểu diễn bằng ký hiệu n+m/b được hiển thị bởi lệnh CLI ‘isi get’. Ví dụ:

# isi lấy README.txt
CHÍNH SÁCH CẤP ĐỘ HIỆU SUẤT THAN TỆP
mặc định 6+2/2 đồng thời trên README.txt

Đặc biệt, cả +3/3 và +3/2 đều cho phép lỗi một nút đơn hoặc lỗi ba ổ đĩa và có vẻ giống nhau theo thuật ngữ web. Mặc dù vậy, trên thực tế chúng có các đặc điểm khác nhau. +3/2 cho phép lỗi của bất kỳ nút nào kết hợp với lỗi của một ổ đĩa đơn trên bất kỳ nút nào khác, trong khi +3/3 thì không. Mặt khác, +3/3 cho phép hiệu quả không gian và hiệu suất tốt hơn vì có thể sử dụng tối đa ba ổ đĩa cho mỗi nút, thay vì 2 ổ đĩa được phép theo +3/2.

Một yếu tố khác cần lưu ý là các vùng lân cận OneFS. Một vùng lân cận là một miền lỗi trong một nhóm nút. Mục đích của các vùng lân cận là cải thiện độ tin cậy nói chung – và bảo vệ chống lại tình trạng không khả dụng dữ liệu do vô tình tháo ổ đĩa Gen6. Đối với các nút độc lập như PowerScale F200, OneFS có kích thước lý tưởng là 20 nút trên mỗi nhóm nút và kích thước tối đa là 39 nút. Khi thêm nút ^thứ 40 , các nút sẽ chia thành hai vùng lân cận gồm 20 nút.

Với nền tảng Gen6, kích thước lý tưởng của một khu phố thay đổi từ 20 đến 10 nút. Điều này cũng có nghĩa là nhóm nút Gen6 sẽ không bao giờ đạt đến chiều rộng sọc lớn (ví dụ: 16+3) vì nhóm đã bị chia tách.

Kích thước lân cận lý tưởng 10 nút này giúp bảo vệ kiến ​​trúc Gen6 khỏi các lỗi nhật ký cặp nút đồng thời và lỗi toàn bộ khung máy. Các nút đối tác là các nút có nhật ký được phản chiếu. Thay vì mỗi nút lưu trữ nhật ký của mình trong NVRAM như trong nền tảng PowerScale, nhật ký của các nút Gen6 được lưu trữ trên SSD – và mỗi nhật ký đều có một bản sao phản chiếu trên một nút khác. Nút chứa nhật ký được phản chiếu được gọi là nút đối tác. 

Có một số lợi ích về độ tin cậy thu được từ những thay đổi đối với nhật ký. Ví dụ, SSD bền bỉ và đáng tin cậy hơn NVRAM, loại này yêu cầu pin đã sạc để duy trì trạng thái. Ngoài ra, với nhật ký được phản chiếu, cả hai ổ đĩa nhật ký phải chết trước khi nhật ký được coi là bị mất. Do đó, trừ khi cả hai ổ đĩa nhật ký được phản chiếu đều hỏng, cả hai nút đối tác đều có thể hoạt động bình thường.

Với bảo vệ nút đối tác, khi có thể, các nút sẽ được đặt ở các vùng lân cận khác nhau – và do đó các miền lỗi khác nhau. Bảo vệ nút đối tác có thể thực hiện được khi cụm đạt đến năm khung máy đầy đủ (20 nút) khi, sau lần chia tách vùng lân cận đầu tiên, OneFS đặt các nút đối tác ở các vùng lân cận khác nhau:

Bảo vệ nút đối tác làm tăng độ tin cậy vì nếu cả hai nút đều ngừng hoạt động, chúng sẽ ở trong các miền lỗi khác nhau, do đó miền lỗi của chúng chỉ bị mất một nút.

Với bảo vệ khung gầm, khi có thể, mỗi trong bốn nút trong khung gầm sẽ được đặt trong một vùng lân cận riêng biệt. Bảo vệ khung gầm trở nên khả thi ở 40 nút, vì vùng lân cận được chia thành 40 nút cho phép mọi nút trong khung gầm được đặt trong một vùng lân cận khác nhau. Do đó, khi cụm Gen6 38 nút được mở rộng thành 40 nút, hai vùng lân cận hiện tại sẽ được chia thành bốn vùng lân cận 10 nút:

Bảo vệ khung gầm đảm bảo rằng nếu toàn bộ khung gầm bị hỏng, mỗi miền hỏng sẽ chỉ mất một nút.

Tác giả: Nick Trimbee