Cập nhật tự động OneFS HealthCheck

Trước OneFS 9.4, Healthchecks thường được các quản trị viên lưu trữ coi là một bản vá khác cần được cài đặt trên cụm PowerScale. Do đó, việc áp dụng chúng thường bị hoãn lại hoặc bỏ qua, có khả năng gây nguy hiểm cho sự an toàn của cụm. Để giải quyết vấn đề này, các bản cập nhật tự động OneFS HealthCheck cho phép Healthchecks mới được tự động tải xuống và cài đặt mà không gây gián đoạn trên cụm PowerScale mà không cần bất kỳ sự can thiệp nào của người dùng.

Khung cập nhật HealthCheck tự động giúp đẩy nhanh việc áp dụng OneFS Healthchecks, bằng cách loại bỏ nhu cầu kiểm tra thủ công, tải xuống và cài đặt. Ngoài việc giảm chi phí quản lý, Healthchecks tự động tích hợp với CloudIQ để cập nhật điểm số sức khỏe của cụm – cải thiện hiệu quả hoạt động hơn nữa, đồng thời tránh các sự cố đã biết ảnh hưởng đến tính khả dụng của cụm.

Trước đây được gọi là bản vá Healthcheck hoặc RUP, với OneFS 9.4 trở về sau, chúng được đổi tên thành ‘Định nghĩa Healthcheck’. Khung Healthcheck kiểm tra các bản cập nhật cho các định nghĩa này bằng Dell Secure Remote Services (SRS). 

Thiết lập cấu hình tự động cập nhật trong khuôn khổ OneFS SRS kiểm soát xem các định nghĩa Healthcheck có được tự động tải xuống và cài đặt trên cụm hay không. Điểm cuối API nền tảng OneFS đã được thêm vào để xác minh phiên bản Healthcheck và Healthcheck cũng tùy chọn hỗ trợ chế độ tuân thủ OneFS.

Healthcheck tự động cập nhật được bật theo mặc định trong OneFS 9.4 trở lên và khả dụng cho cả cụm hiện tại và cụm mới, nhưng cũng có thể dễ dàng tắt từ CLI. Nếu tự động cập nhật được bật và SRS được bật, định nghĩa Healthcheck sẽ được tải xuống vị trí dàn dựng mong muốn và sau đó tự động và không ảnh hưởng đến cài đặt trên cụm. Bất kỳ định nghĩa Healthcheck nào được tải xuống tự động đều được ký và xác minh rõ ràng trước khi áp dụng, để đảm bảo tính bảo mật và toàn vẹn của chúng.

Vì vậy, quá trình thực hiện cập nhật tự động Healthcheck diễn ra như sau:

Trên cụm, tiện ích tự động cập nhật Healthcheck isi_healthcheck_update theo mặc định sẽ giám sát một gói mới một lần mỗi đêm. Tập lệnh Python này kiểm tra phiên bản định nghĩa Healthcheck hiện tại của cụm và tính khả dụng của các bản cập nhật mới bằng SRS. Tiếp theo, nó thực hiện so sánh phiên bản của gói cài đặt, sau đó định nghĩa mới được tải xuống và cài đặt. Dữ liệu đo từ xa được gửi và tệp /var/db/healthcheck_version.json được tạo nếu tệp này chưa có. Sau đó, tệp JSON này được cập nhật với thông tin phiên bản Healthcheck mới.

Để cấu hình và sử dụng chức năng tự động cập nhật Healthcheck, bạn phải thực hiện các bước sau:

1. Nâng cấp cụm lên OneFS 9.4 trở lên và xác nhận nâng cấp.
2. Để sử dụng tập lệnh isi_healthcheck, OneFS cần được cấp phép và kết nối với cổng ESRS. OneFS 9.4 cũng giới thiệu một tùy chọn mới cho ESRS, ‘SRS Download Enabled’, tùy chọn này phải được đặt thành ‘Yes’ (giá trị mặc định) để cho phép tiện ích isi_healthcheck_update chạy. Để thực hiện việc này, hãy sử dụng cú pháp sau (trong ví dụ này, sử dụng lab-sea-esrs.onefs.com làm cổng ESRS chính):

# isi esrs sửa đổi --enabled=có --primary-esrs-gateway=10.12.15.50 --srs-download-enabled=đúng

Xác nhận cấu hình ESRS như sau:

# isi esrs xem
                                    Đã bật: Có
                       Cổng ESRS chính: 10.12.15.50
                     Cổng ESRS thứ cấp: 
                        Cảnh báo khi ngắt kết nối: Có
                       Hồ bơi truy cập cổng vào: -
          Thời gian kiểm tra kết nối cổng: 60
Thời gian báo cáo tình báo sử dụng giấy phép: 86400
                           Tải xuống được kích hoạt: Không
                       Tải xuống SRS được bật: Có
          Thời gian chờ tải xuống tệp ESRS: 50
           Tải xuống tệp ESRS lỗi số lần thử lại: 3
              Kích thước khối tải xuống tệp ESRS: 1000000
             Giới hạn hệ thống tập tin tải xuống ESRS: 80
        Thời gian thu thập dữ liệu từ xa ngoại tuyến: 7200
                Trạng thái kết nối cổng: Đã kết nối

3. Tiếp theo, sử dụng giao diện web CloudIQ để đưa cụm lên tàu. Điều này yêu cầu tạo một trang web, sau đó từ trang Thêm sản phẩm , cấu hình số sê-ri của từng nút trong cụm, cùng với loại sản phẩm ISILON_NODE , ID trang web, sau đó chọn Gửi .

Quá trình tích hợp cụm CloudIQ thường mất vài giờ. Khi hoàn tất, trang Chi tiết sản phẩm sẽ hiển thị các trường Trạng thái CloudIQ , Dữ liệu ESRS và Dữ liệu CloudIQ là Đã bật , như được hiển thị ở đây:

4. Kiểm tra trạng thái cụm để xác minh rằng cụm có sẵn và được kết nối trong CloudIQ.

Khi các bước tiên quyết này hoàn tất, hãy sử dụng lệnh CLI isi_healthcheck_update mới để bật tính năng tự động cập nhật. Ví dụ: để bật:

# isi_healthcheck_update --bật
2022-05-02 22:21:27,310 - isi_healthcheck.auto_update - THÔNG TIN - isi_healthcheck_update đã bắt đầu
2022-05-02 22:21:27,513 - isi_healthcheck.auto_update - THÔNG TIN - Bật tự động cập nhật

Tương tự như vậy, bạn cũng có thể dễ dàng tắt tính năng cập nhật tự động:

# isi esrs sửa đổi --srs-download-enabled=false

Tính năng tự động cập nhật cũng có các tùy chọn cấu hình toàn cục gconfig và các giá trị mặc định sau:

# isi_gconfig -t kiểm tra sức khỏe 
Giá trị mặc định: healthcheck_autoupdate.enabled (bool) = true healthcheck_autoupdate.compliance_update (bool) = false healthcheck_autoupdate.alerts (bool) = false healthcheck_autoupdate.max_download_package_time (int) = 600 healthcheck_autoupdate.max_install_package_time (int) = 3600 healthcheck_autoupdate.number_of_failed_upgrades (int) = 0 healthcheck_autoupdate.last_failed_upgrade_package (char*) = healthcheck_autoupdate.download_directory (char*) = /ifs/data/auto_upgrade_healthcheck/downloads

Tiện ích Python isi_healthcheck_update được lên lịch bởi cron và được thực thi trên tất cả các nút trong cụm như sau:

# grep -i kiểm tra sức khỏe /etc/crontab
# Cập nhật kiểm tra sức khỏe hàng đêm
0 1 * * * gốc /usr/bin/isi_healthcheck_update -s

Mục nhập /etc/crontab mặc định này thực hiện cập nhật tự động một lần mỗi ngày vào lúc 1 giờ sáng. Tuy nhiên, lịch trình này có thể được điều chỉnh để đáp ứng nhu cầu của môi trường cục bộ.

Tự động cập nhật kiểm tra tính khả dụng của gói mới và tải xuống và thực hiện so sánh phiên bản của gói đã cài đặt và gói mới. Sau đó, gói được cài đặt, dữ liệu đo từ xa được gửi và tệp healthcheck_version.json được cập nhật bằng phiên bản mới.

Sau khi quá trình cập nhật Healthcheck hoàn tất, bạn có thể sử dụng lệnh CLI sau để xem bất kỳ gói Healthcheck nào được tải xuống tự động. Ví dụ:

# danh sách bản vá nâng cấp isi
Tên bản vá Mô tả Trạng thái
-------------------------------------------------- --------------------------
HealthCheck_9.4.0_32.0.3 [9.4.0 UHC 32.0.3] Định nghĩa HealthCheck Đã cài đặt
-------------------------------------------------- --------------------------
Tổng cộng: 1

Ngoài ra, việc xem tệp phiên bản JSON cũng sẽ xác nhận điều này:

# mèo /var/db/healthcheck_version.json
{“phiên bản”: “32.0.3”}

Trong trường hợp không may cập nhật tự động gặp sự cố, các bước khắc phục sự cố sau đây có thể hữu ích:

1. Xác nhận rằng tính năng tự động cập nhật Healthcheck thực sự được bật:

Kiểm tra cài đặt cấu hình toàn cầu ESRS và xác minh rằng chúng được đặt thành ‘Đúng’.

# isi_gconfig -t esrs esrs.enabled
esrs.enabled (bool) = đúng
# isi_gconfig -t esrs esrs.srs_download_enabled
esrs.srs_download_enabled (bool) = đúng

Nếu không, hãy chạy:

# isi_gconfig -t esrs esrs.enabled=đúng 
# isi_gconfig -t esrs esrs.srs_download_enabled=đúng

2. Nếu quá trình cài đặt bản vá cập nhật tự động không hoàn tất trong vòng 60 phút, OneFS sẽ tăng bộ đếm số lần cài đặt không thành công cho bản vá hiện tại và thử cài đặt lại vào ngày hôm sau.
3. Nếu bộ đếm cài đặt không thành công vượt quá năm lần thử, quá trình cài đặt sẽ bị hủy bỏ. Tuy nhiên, bạn có thể đặt lại các giá trị gconfig tự động cập nhật sau đây, như sau, để bật lại quá trình cài đặt:

# isi_gconfig -t healthcheck healthcheck_autoupdate.last_failed_upgrade_package = 0 
# isi_gconfig -t healthcheck healthcheck_autoupdate.number_of_failed_upgrades = ""

4. Nếu trạng thái cài đặt bản vá được báo cáo là ‘không thành công’, bạn nên liên hệ với bộ phận Hỗ trợ của Dell để chẩn đoán và giải quyết sự cố:

# danh sách bản vá nâng cấp isi
Tên bản vá Mô tả Trạng thái
-------------------------------------------------- --------------------------
HealthCheck_9.4.0_32.0.3 [9.4.0 UHC 32.0.3] Định nghĩa HealthCheck Không thành công
-------------------------------------------------- --------------------------
Tổng cộng: 1

Tuy nhiên, lệnh CLI sau đây có thể được sử dụng cẩn thận để sửa chữa hệ thống vá lỗi bằng cách cố gắng hủy bỏ hành động không thành công gần đây nhất: 

# isi nâng cấp bản vá lỗi bị hủy bỏ 

Lệnh  isi upgrade archive –clear dừng quá trình nâng cấp hiện tại và ngăn không cho nó tiếp tục:

# isi nâng cấp lưu trữ --clear

Khi trạng thái nâng cấp được báo cáo là ‘không xác định’, hãy chạy:

# isi nâng cấp bản vá gỡ cài đặt 

5. Tệp /var/log/isi_healthcheck.log cũng là nguồn tuyệt vời để biết thông tin chi tiết về nâng cấp tự động.

Tác giả : Nick Trimbee