OneFS Viết

OneFS chạy như nhau trên tất cả các nút trong một cụm sao cho không có nút nào kiểm soát cụm và tất cả các nút đều là các nút ngang hàng thực sự. Nhìn từ cấp độ cao vào các thành phần trong mỗi nút, ngăn xếp I/O được chia thành lớp trên cùng hoặc lớp khởi tạo và lớp dưới cùng hoặc lớp tham gia. Sự phân chia này được sử dụng như một mô hình logic để phân tích các đường dẫn đọc và ghi của OneFS.

Ở cấp độ vật lý, CPU và bộ nhớ đệm trong các nút đồng thời xử lý các tác vụ khởi tạo và tham gia cho I/O diễn ra trên toàn bộ cụm. Có các bộ nhớ đệm và trình quản lý khóa phân tán bị loại trừ khỏi sơ đồ bên dưới vì mục đích đơn giản.

Khi một máy khách kết nối với một nút để ghi một tệp, nó đang kết nối với nửa trên hoặc bộ khởi tạo của nút đó. Các tệp được chia thành các khối logic nhỏ hơn được gọi là các sọc trước khi được ghi vào nửa dưới hoặc bộ tham gia của một nút (đĩa). Bộ đệm an toàn khi hỏng bằng cách sử dụng bộ hợp nhất ghi được sử dụng để đảm bảo rằng các thao tác ghi hiệu quả và tránh được các hoạt động đọc-sửa-ghi. Kích thước của mỗi khối tệp được gọi là kích thước đơn vị sọc. OneFS phân chia dữ liệu thành các sọc trên tất cả các nút và bảo vệ các tệp, thư mục và siêu dữ liệu liên quan thông qua mã xóa phần mềm hoặc phản chiếu.

OneFS xác định bố cục dữ liệu phù hợp để tối ưu hóa hiệu suất và hiệu suất lưu trữ. Khi máy khách kết nối với một nút, trình khởi tạo của nút đó đóng vai trò là ‘thuyền trưởng’ cho bố cục dữ liệu ghi của tệp đó. Dữ liệu, bảo vệ mã xóa (FEC), siêu dữ liệu và inode đều được phân phối trên nhiều nút và trải rộng trên nhiều ổ đĩa trong các nút. Hình sau đây cho thấy một tệp ghi xảy ra trên tất cả các nút trong cụm ba nút.

OneFS sử dụng mạng Ethernet hoặc Infiniband back-end của cụm để phân bổ và tự động phân chia dữ liệu trên tất cả các nút. Khi dữ liệu được ghi, nó cũng được bảo vệ ở cấp độ được chỉ định.

Khi ghi diễn ra, OneFS chia dữ liệu thành các đơn vị nguyên tử được gọi là nhóm bảo vệ. Tính dự phòng được tích hợp vào nhóm bảo vệ, theo đó nếu mọi nhóm bảo vệ đều an toàn thì toàn bộ tệp cũng an toàn. Đối với các tệp được bảo vệ bởi FEC, nhóm bảo vệ bao gồm một loạt các khối dữ liệu cũng như một tập hợp các khối chẵn lẻ để tái tạo các khối dữ liệu trong trường hợp ổ đĩa hoặc nút bị lỗi. Đối với các tệp được phản chiếu, nhóm bảo vệ bao gồm tất cả các bản sao của một tập hợp các khối.

OneFS có khả năng chuyển đổi loại nhóm bảo vệ được sử dụng trong tệp một cách động, khi tệp đang ghi. Điều này cho phép cụm tiếp tục mà không bị chặn trong các tình huống khi lỗi nút tạm thời ngăn không cho mức bảo vệ chẵn lẻ mong muốn được áp dụng. Trong trường hợp này, có thể sử dụng phản chiếu tạm thời để cho phép tiếp tục ghi. Khi các nút được khôi phục vào cụm, các nhóm bảo vệ được phản chiếu này sẽ tự động được chuyển đổi trở lại thành được bảo vệ FEC.

Trong quá trình ghi, dữ liệu được chia thành các đơn vị stripe và được phân bổ trên nhiều nút như một nhóm bảo vệ. Khi dữ liệu được sắp xếp trên cụm, mã xóa hoặc gương, khi cần thiết, được phân phối trong mỗi nhóm bảo vệ để đảm bảo rằng các tệp được bảo vệ mọi lúc.

Một trong những chức năng chính của tác vụ OneFS AutoBalance là phân bổ lại và cân bằng dữ liệu và, nếu có thể, làm cho không gian lưu trữ hữu ích và hiệu quả hơn. Trong hầu hết các trường hợp, chiều rộng dải của các tệp lớn hơn có thể được tăng lên để tận dụng không gian trống mới, khi các nút được thêm vào và để làm cho bố cục trên đĩa hiệu quả hơn.

Nửa trên của nút khởi tạo ‘thuyền trưởng’ sử dụng giao dịch cam kết hai giai đoạn đã sửa đổi (2PC) để phân phối lệnh ghi một cách an toàn trên toàn cụm, như sau:

Mỗi nút sở hữu các khối trong một hoạt động ghi cụ thể đều tham gia vào cơ chế cam kết hai pha, dựa vào NVRAM để ghi nhật ký tất cả các giao dịch đang diễn ra trên mọi nút trong cụm lưu trữ. Sử dụng NVRAM của nhiều nút song song cho phép ghi thông lượng cao, đồng thời duy trì tính an toàn của dữ liệu trước mọi tình huống lỗi, bao gồm cả mất điện. Nếu một nút gặp lỗi giữa chừng trong giao dịch, giao dịch sẽ được khởi động lại ngay lập tức mà không cần nút đó tham gia. Khi nút quay lại, nó chỉ cần phát lại nhật ký của mình từ NVRAM.

Trong một hoạt động ghi, người khởi tạo cũng sắp xếp bố cục dữ liệu và siêu dữ liệu, tạo mã xóa và quản lý khóa và kiểm soát quyền. OneFS cũng có thể tối ưu hóa các quyết định bố cục để phù hợp hơn với quy trình làm việc. Các mẫu truy cập này, có thể được cấu hình ở cấp độ từng tệp hoặc thư mục, bao gồm:

Đồng thời : Tối ưu hóa cho tải hiện tại trên cụm, có nhiều máy khách cùng lúc.

Truyền phát : Tối ưu hóa cho việc truyền phát tốc độ cao một tệp duy nhất, ví dụ để cho phép đọc rất nhanh với một máy khách duy nhất.

Ngẫu nhiên : Tối ưu hóa cho việc truy cập tệp không thể đoán trước, bằng cách điều chỉnh phân chia và vô hiệu hóa việc sử dụng tính năng tìm nạp trước.

Tác giả : Nick Trimbee