OneFS SmartPools và công việc FilePolicy

Theo truyền thống, OneFS đã sử dụng các tác vụ SmartPools để áp dụng các chính sách nhóm tệp của mình. Để thực hiện điều này, tác vụ SmartPools sẽ truy cập mọi tệp và tác vụ SmartPoolsTree sẽ truy cập một cây tệp. Tuy nhiên, phần quét của các tác vụ này có thể dẫn đến tác động ngẫu nhiên đáng kể đến cụm và thời gian thực hiện kéo dài, đặc biệt là trong trường hợp tác vụ SmartPools. Để giải quyết vấn đề này, OneFS cũng cung cấp tác vụ FilePolicy, cung cấp phương pháp tác động thấp hơn và nhanh hơn để áp dụng các chính sách nhóm tệp so với tác vụ SmartPools đầy đủ.

Nhưng trước tiên, hãy cùng ôn lại nhanh về Job Engine…

Như chúng ta đã biết, Job Engine là khuôn khổ lập lịch tác vụ song song của OneFS và chịu trách nhiệm phân phối, thực hiện và quản lý tác động của các tác vụ và hoạt động quan trọng trên toàn bộ cụm.

OneFS Job Engine lên lịch và quản lý tất cả các tác vụ bảo vệ dữ liệu và nhóm nền: tạo tác vụ cho từng tác vụ, ưu tiên chúng và đảm bảo rằng giao tiếp giữa các nút và việc sử dụng năng lực và hiệu suất trên toàn cụm được cân bằng và tối ưu hóa. Job Engine đảm bảo rằng các chức năng cụm cốt lõi được ưu tiên hơn công việc ít quan trọng hơn và cung cấp cho các ứng dụng tích hợp với OneFS – phần mềm bổ trợ Isilon hoặc các ứng dụng tích hợp với OneFS thông qua OneFS API – khả năng kiểm soát mức độ ưu tiên của các chức năng khác nhau của chúng để đảm bảo sử dụng tài nguyên tốt nhất.

Mỗi công việc, chẳng hạn như công việc SmartPools, có một “Hồ sơ tác động” bao gồm một chính sách có thể cấu hình và một lịch trình đặc trưng cho lượng tài nguyên của hệ thống mà công việc sẽ chiếm dụng – cộng với một Chính sách tác động và một Lịch trình tác động. Lượng công việc mà một công việc phải thực hiện là cố định, nhưng các tài nguyên dành riêng cho công việc đó có thể được điều chỉnh để giảm thiểu tác động đến các chức năng cụm khác, như phục vụ dữ liệu khách hàng.

Sau đây là danh sách các công việc cụ thể có liên quan trực tiếp đến OneFS SmartPools:

Kết hợp với tác vụ IndexUpdate, FilePolicy cải thiện hiệu suất quét tác vụ bằng cách sử dụng ‘chỉ mục hệ thống tệp’ hoặc danh sách thay đổi để tìm các tệp cần thay đổi chính sách, thay vì quét toàn bộ cây.

Tránh treewalk đầy đủ sẽ làm giảm đáng kể lượng công việc khóa và quét siêu dữ liệu mà tác vụ cần thực hiện, giảm tác động lên CPU và đĩa – mặc dù phải đánh đổi bằng việc không thực hiện mọi thứ mà SmartPools thực hiện. Tác vụ FilePolicy chỉ thực thi các chính sách nhóm tệp SmartPools, trái ngược với các thiết lập nhóm lưu trữ. Ví dụ: FilePolicy không xử lý các thay đổi đối với nhóm lưu trữ hoặc thiết lập nhóm lưu trữ, chẳng hạn như:

• Hoạt động phân chia lại do thêm, xóa hoặc sắp xếp lại nhóm nút
• Thay đổi cài đặt hoặc mặc định của nhóm lưu trữ, bao gồm cả bảo vệ

Tuy nhiên, hầu hết thời gian, SmartPools và FilePolicy thực hiện cùng một công việc. Bị vô hiệu hóa theo mặc định, FilePolicy hỗ trợ đầy đủ các tính năng chính sách nhóm tệp, báo cáo cùng thông tin và cung cấp cùng các tùy chọn cấu hình như tác vụ SmartPools. Vì FilePolicy là tác vụ dựa trên danh sách thay đổi, nên nó hoạt động tốt nhất khi chạy thường xuyên – một lần hoặc nhiều lần trong ngày, tùy thuộc vào chính sách nhóm tệp được cấu hình, kích thước dữ liệu và tốc độ thay đổi.

Lịch trình công việc có thể dễ dàng được cấu hình từ OneFS WebUI bằng cách điều hướng đến Cluster Management > Job Operations, đánh dấu công việc mong muốn và chọn ‘View\Edit’. Ví dụ sau minh họa cách cấu hình công việc IndexUpdate để chạy sáu giờ một lần ở mức tác động THẤP với giá trị ưu tiên là 5:

Khi bật và sử dụng tác vụ FilePolicy và IndexUpdate, khuyến nghị là tiếp tục chạy tác vụ SmartPools nhưng với tần suất ít hơn (hàng tháng).

Ngoài việc chạy theo lịch trình đã cấu hình, tác vụ FilePolicy cũng có thể được thực hiện thủ công.

FilePolicy yêu cầu quyền truy cập vào chỉ mục hiện tại. Nếu tác vụ IndexUpdate chưa được chạy, việc cố gắng khởi động tác vụ FilePolicy sẽ không thành công với lỗi hiển thị trong hình sau. Các hướng dẫn trong thông báo lỗi xuất hiện, nhắc nhở chạy tác vụ IndexUpdate trước. Khi chỉ mục đã được tạo, tác vụ FilePolicy sẽ chạy thành công. Tác vụ IndexUpdate có thể được chạy nhiều lần trong ngày (tức là cứ sáu giờ một lần) để giữ cho chỉ mục luôn cập nhật và ngăn không cho ảnh chụp nhanh trở nên lớn.

Hãy cân nhắc sử dụng tác vụ FilePolicy với lịch trình tác vụ bên dưới cho các quy trình công việc và tập dữ liệu có các đặc điểm sau:

• Dữ liệu có thời gian lưu giữ lâu
• Số lượng lớn các tập tin nhỏ
• Bộ lọc File Pool dựa trên đường dẫn được cấu hình
• Nơi công việc FSAnalyze đang chạy trên cụm (cụm được InsightIQ giám sát)
• Đã có lịch trình SnapshotIQ được cấu hình
• Khi công việc SmartPools thường mất một ngày hoặc hơn để hoàn thành ở mức TÁC ĐỘNG THẤP

Đối với các cụm không có các đặc điểm được mô tả ở trên, khuyến nghị là tiếp tục chạy tác vụ SmartPools như bình thường và không kích hoạt tác vụ FilePolicy.

Bảng sau đây cung cấp lịch trình công việc được đề xuất khi triển khai FilePolicy:

Vì không có hai cụm nào giống hệt nhau nên lịch trình công việc được đề xuất này có thể cần điều chỉnh thêm để đáp ứng nhu cầu của một môi trường cụ thể.

Lưu ý rằng khi các cụm chạy phiên bản OneFS cũ hơn và tác vụ FSAnalyze được nâng cấp lên OneFS 8.2.x trở lên, chỉ mục và ảnh chụp nhanh FSAnalyze cũ sẽ bị xóa và thay thế bằng ảnh chụp nhanh mới khi IndexUpdate được chạy lần đầu tiên. Chỉ mục mới lưu trữ nhiều thuộc tính tệp và ảnh chụp nhanh hơn đáng kể so với chỉ mục FSA cũ. Cho đến khi tác vụ IndexUpdate có hiệu lực, FSA vẫn tiếp tục chạy trên chỉ mục và ảnh chụp nhanh cũ.

Tác giả : Nick Trimbee