Trong bài đăng đầu tiên của loạt bài, bạn có thể đọc toàn bộ tại đây , tôi đã thảo luận về một số thách thức liên quan đến việc quản lý các khía cạnh lưu trữ/Bảo vệ dữ liệu của Kubernetes. Bây giờ, chúng ta hãy thảo luận về các giải pháp của chúng tôi:

Nhập CSM hoặc Giới thiệu về Mô-đun lưu trữ Container

Bạn còn nhớ phiên họp năm 2019 và những suy nghĩ sâu sắc mà chúng ta đã trải qua về nhu cầu thực tế của khách hàng không? Hệ sinh thái Kubernetes đang phát triển nhanh chóng và khi nói đến tích hợp lưu trữ, các plugin CSI cung cấp một cách để đưa các hệ thống lưu trữ khối và tệp vào khối lượng công việc được chứa trong các hệ thống Container Orchestration (CO) như Kubernetes. 

Container Storage Modules (CSM) cải thiện khả năng quan sát, khả năng sử dụng và tính di động của dữ liệu cho các ứng dụng có trạng thái sử dụng danh mục lưu trữ của Dell Technologies. Nó cũng mở rộng các tính năng lưu trữ Kubernetes vượt ra ngoài những gì có trong thông số kỹ thuật Container Storage Interface (CSI). CSM và các plugin CSI cơ bản là các giải pháp sao lưu và phục hồi tiên phong nhận biết ứng dụng/ứng dụng nhất quán từ giải pháp lưu trữ và bảo vệ dữ liệu cấp doanh nghiệp toàn diện nhất cho Kubernetes. 

CSM mở rộng khả năng lưu trữ doanh nghiệp cho Kubernetes. Nó làm giảm sự phức tạp trong quản lý để các nhà phát triển có thể dễ dàng sử dụng lưu trữ doanh nghiệp một cách độc lập và tự động hóa các hoạt động hàng ngày như cung cấp, chụp nhanh, sao chép, khả năng quan sát, ủy quyền và khả năng phục hồi. CSM là mã nguồn mở và có sẵn miễn phí tại https://github.com/dell/csm .

Dell EMC Container Storage Modules (CSM) mang đến các tính năng và chức năng lưu trữ doanh nghiệp mạnh mẽ cho Kubernetes để dễ dàng áp dụng khối lượng công việc gốc trên đám mây, cải thiện năng suất và hoạt động có thể mở rộng. Bản phát hành này cung cấp các mô-đun phần mềm để quản lý lưu trữ, cung cấp cho các nhà phát triển quyền truy cập để xây dựng tự động hóa cho nhu cầu CNTT nâng cao và các tính năng lưu trữ doanh nghiệp quan trọng khác. Những tính năng này bao gồm sao chép dữ liệu trên khắp các trung tâm dữ liệu, ủy quyền kiểm soát truy cập dựa trên vai trò (RBAC), khả năng quan sát và khả năng phục hồi để phục hồi và tránh thảm họa. Việc sử dụng tài nguyên được cải thiện cho phép truy cập tự động vào bất kỳ hệ thống lưu trữ danh mục đầu tư nào của chúng tôi vào môi trường K8s và:

• Cung cấp sự linh hoạt để lựa chọn bất cứ điều gì ở phần cuối cho phép họ cung cấp và tận dụng thế mạnh của từng hệ thống riêng lẻ
• Linh hoạt + đơn giản = mạnh mẽ
• Bạn có dung lượng lưu trữ chưa được sử dụng 100%

Điều này cho phép trình quản lý môi trường K8 phân bổ trực tiếp dung lượng lưu trữ và dịch vụ và:

• Giảm thời gian
• Đưa cho họ cái nồi để lấy đồ ra và sau đó để họ tự xử lý
• Giải phóng nhà phát triển để phát triển

Mở rộng lưu trữ doanh nghiệp sang Kubernetes – bằng cách đẩy nhanh việc áp dụng khối lượng công việc gốc trên nền tảng đám mây với lưu trữ doanh nghiệp đã được chứng minh:

• Mô-đun lưu trữ container (CSM) của Dell EMC tạo nên nền tảng lưu trữ doanh nghiệp hiệu suất cao và bền bỉ cho Kubernetes.
• CSM cung cấp đầy đủ các khả năng của doanh nghiệp như sao chép, ủy quyền, phục hồi lỗi và quản lý hàng đầu trong ngành. Các khả năng này đẩy nhanh quá trình thử nghiệm triển khai, dẫn đến vòng đời triển khai ứng dụng nhanh hơn.
• CSM cho phép các nhà phát triển và quản trị viên lưu trữ tận dụng những lợi ích độc đáo của hệ thống lưu trữ Dell EMC, chẳng hạn như PowerMax Metro smart DR và ​​kiến ​​trúc lưu trữ được xác định bằng phần mềm PowerFlex.
• Dell Technologies có các nền tảng được xây dựng chuyên dụng cho các trường hợp sử dụng dữ liệu phát trực tuyến, IoT và điện toán biên được thiết kế với kiến ​​trúc và quản lý dựa trên container. Các khả năng này đẩy nhanh quá trình thử nghiệm triển khai, dẫn đến vòng đời triển khai ứng dụng nhanh hơn.

Trao quyền cho các nhà phát triển – Cải thiện năng suất bằng cách rút ngắn vòng đời phát triển

• CSM giảm độ phức tạp trong quản lý lưu trữ bằng các mô-đun quan sát để các nhà phát triển có thể dễ dàng sử dụng dung lượng lưu trữ doanh nghiệp.
• Nó cũng cung cấp giải pháp K8s hoàn chỉnh mang đến trải nghiệm tích hợp cho các nhà phát triển và quản trị viên lưu trữ.
• Khách hàng sẽ có thể tận dụng lợi thế của việc giám sát, quản lý và thực thi chính sách nhất quán trên toàn bộ môi trường lưu trữ doanh nghiệp và DevOps.

Tự động hóa các hoạt động lưu trữ – Tích hợp lưu trữ doanh nghiệp với bộ công cụ Kubernetes hiện có để có thể mở rộng quy mô hoạt động

• CSM cho phép khách hàng nhận ra lời hứa về cơ sở hạ tầng dưới dạng mã để thu thập và sử dụng dữ liệu dễ dàng
• Khả năng quan sát CSM cho phép khách hàng tạo nhóm lưu trữ trên nhiều mảng lưu trữ để quản lý lưu trữ tối thiểu
• CSM mang đến trải nghiệm tích hợp giúp thu hẹp khoảng cách giữa quản trị viên/nhà phát triển Kubernetes và quản trị viên CNTT truyền thống, củng cố thêm vai trò của lưu trữ doanh nghiệp như một giải pháp thay thế khả thi cho đám mây công cộng đồng thời loại bỏ các silo và CNTT ngầm.

Các mô-đun được chia thành sáu khả năng cụ thể sau:

Khả năng quan sát –  Cung cấp một khung duy nhất để xem toàn bộ môi trường CSM cho quản trị viên K8s/container, sử dụng bảng điều khiển Grafana và Prometheus mà quản trị viên K8s quen thuộc khi theo dõi hiệu suất lưu trữ liên tục.

Sao chép –  Cho phép người dùng K8s có khả năng sao chép mảng với sự hỗ trợ cho các cụm K8s kéo dài và sao chép. 

Ủy quyền – Cung cấp khả năng lưu trữ và cung cấp cho quản trị viên Kubernetes khả năng áp dụng RBAC và các quy tắc sử dụng cho Trình điều khiển CSI của chúng tôi. 

Resiliency –  Cho phép chuyển đổi dự phòng nút K8s bằng cách theo dõi tình trạng khối lượng liên tục, được thiết kế để làm cho các Ứng dụng Kubernetes, bao gồm cả những ứng dụng sử dụng lưu trữ liên tục, có khả năng phục hồi tốt hơn trước các lỗi nút. Mô-đun này tập trung vào việc phát hiện các lỗi nút (mất điện), lỗi mạng mặt phẳng điều khiển K8s và lỗi mạng I/O Mảng, và di chuyển các pod được bảo vệ đến phần cứng đang hoạt động bình thường. 

Phân bổ khối lượng  – Phân bổ khối lượng thông minh cho khối lượng công việc Kubernetes, được tối ưu hóa dựa trên dung lượng khả dụng.

Snapshots –  Snapshots dựa trên CSI để phục hồi hoạt động và tái sử dụng dữ liệu. Tính năng Snapshots là một phần của các plugin CSI của các mảng Dell EMC khác nhau và tận dụng công nghệ snapshot tiên tiến để bảo vệ và tái sử dụng dữ liệu. Ngoài việc phục hồi tại một thời điểm, các snapshot này có thể ghi và có thể được gắn kết cho các trường hợp sử dụng thử nghiệm, phát triển và phân tích mà không ảnh hưởng đến khối lượng sản xuất. Các mô-đun này được lên kế hoạch cho RTS, nhưng có một bản phát hành liên tục được ưu tiên dựa trên nhu cầu của khách hàng theo nền tảng lưu trữ – áp dụng cho PowerScale, PowerStore, PowerMax, PowerFlex và Unity XT. Có sẵn trên RTS:

• Mô-đun ủy quyền
  • Quy mô năng lượng
  • Sức mạnh tối đa
  • Điện năng linh hoạt
• Mô-đun phục hồi
  • Điện năng linh hoạt
  • Đoàn kết XT
• Mô-đun khả năng quan sát
  • Điện năng linh hoạt
  • Cửa hàng điện
• Mô-đun sao chép
  • PowerMax Metro/Không đồng bộ
• Một trình cài đặt

Kho lưu trữ công khai cho CSM có tại https://github.com/dell/csm . Để biết bộ tài liệu đầy đủ về CSM, hãy xem tài liệu tại https://dell.github.io/csm-docs/ .

Sau đây là bản demo tổng quan về CSM:

Đã xem chưa? Tuyệt vời, bây giờ chúng ta hãy đi sâu hơn vào các mô-đun:

Khả năng quan sát 

CSM for Observability là một phần của bộ mã nguồn mở CSM (Mô-đun lưu trữ vùng chứa) của bộ kích hoạt lưu trữ Kubernetes dành cho các sản phẩm Dell EMC. Đây là một tác nhân OpenTelemetry thu thập các số liệu cấp mảng cho bộ lưu trữ Dell EMC để chúng có thể được đưa vào cơ sở dữ liệu Prometheus. Với CSM for Observability, bạn sẽ có được khả năng hiển thị không chỉ về dung lượng của các ổ đĩa/chia sẻ tệp mà bạn quản lý bằng trình điều khiển Dell CSM CSI (Giao diện lưu trữ vùng chứa) mà còn cả hiệu suất của chúng về mặt băng thông, IOPS và thời gian phản hồi. Nhờ bảng điều khiển Grafana được đóng gói sẵn, bạn sẽ có thể xem qua lịch sử các số liệu này và xem cấu trúc giữa Kubernetes PV (Ổ đĩa liên tục) và bản dịch của nó dưới dạng LUN hoặc chia sẻ tệp trong mảng phụ trợ. Mô-đun này cũng cho phép quản trị viên Kubernetes thu thập các số liệu cấp mảng để kiểm tra dung lượng và hiệu suất tổng thể trực tiếp từ các công cụ Prometheus/Grafana thay vì giao tiếp trực tiếp với chính hệ thống lưu trữ. Dữ liệu số liệu được thu thập và đẩy đến OpenTelemetry Collector để có thể xử lý và xuất ra theo định dạng mà Prometheus có thể sử dụng. 

CSM for Observability hiện hỗ trợ PowerFlex và PowerStore. Các tính năng cấp cao chính của nó là:

• Thu thập và hiển thị Volume Metrics thông qua OpenTelemetry Collector
• Thu thập và hiển thị số liệu hệ thống tệp thông qua OpenTelemetry Collector
• Thu thập và hiển thị số liệu nút xuất (K8s) thông qua OpenTelemetry Collector
• Thu thập và hiển thị số liệu về dung lượng hệ thống tệp thông qua OpenTelemetry Collector
• Thu thập và hiển thị số liệu về dung lượng lưu trữ khối thông qua OpenTelemetry Collector
• Thay đổi cấu hình không gây gián đoạn
• Thay đổi mức nhật ký không gây gián đoạn
• Bảng điều khiển Grafana để hiển thị dữ liệu số liệu và cấu trúc

Dưới đây, bạn có thể thấy mô-đun hoạt động với PowerStore:

Và PowerFlex:

Kho lưu trữ có thể truy cập công khai có tại https://github.com/dell/csm-observability .

Xem tài liệu để biết bộ tài liệu đầy đủ về CSM Observability: https://dell.github.io/csm-docs/docs/observability/ .

Sao chép

CSM for Replication là mô-đun cho phép cung cấp các ổ đĩa được sao chép bằng bộ lưu trữ Dell. CSM for Replication hiện hỗ trợ PowerMax và PowerStore.

Các tính năng chính cấp cao:

• Sao chép PersistentVolumes (PV) trên các cụm Kubernetes Cấu trúc cụm đa/đơn
• Thực hiện hành động sao chép (chuyển đổi dự phòng có kế hoạch/không có kế hoạch, đồng bộ hóa, tạm dừng, tiếp tục)
• Hỗ trợ cấu hình Async/Sync/Metro (PowerStore chỉ hỗ trợ Async)
• repctl – Công cụ CLI hỗ trợ các thủ tục liên quan đến sao chép trên nhiều cụm K8

Kho lưu trữ công khai dành cho CSM có tại https://github.com/dell/csm-replication .

Xem tài liệu để biết bộ tài liệu đầy đủ về CSM Replication: https://dell.github.io/csm-docs/docs/replication/ .

Video sau đây bao gồm phần Giới thiệu và Kiến trúc (sử dụng PowerMax làm ví dụ):

Bên dưới, bạn có thể xem bản demo đầu cuối về cách cấu hình sao chép CSM cho PowerStore và cách thực hiện các hoạt động chuyển đổi dự phòng & khôi phục dữ liệu của WordPress và MySQL DB bằng cách sử dụng sao chép không đồng bộ PowerStore. 

Cài đặt:

Thực hiện chuyển đổi dự phòng và khôi phục dự phòng (Bảo vệ lại):

Bạn đang sử dụng PowerMax?

• Video sau đây trình bày quá trình sao chép đồng bộ sử dụng CSM Replication cho PowerMax SRDF Sync Replication với File I/O được tạo.

• Video này trình bày tính năng Active-Active High-Availability sử dụng CSM Replication cho PowerMax SRDF Metro Volumes với PostgreSQL:

Ủy quyền

• CSM for Authorization là một phần của bộ mã nguồn mở CSM (Container Storage Modules) của Kubernetes storage enablers cho các sản phẩm Dell EMC. CSM for Authorization cung cấp cho quản trị viên lưu trữ và Kubernetes khả năng áp dụng RBAC cho CSI Drivers. Nó thực hiện điều này bằng cách triển khai proxy giữa trình điều khiển CSI và hệ thống lưu trữ để thực thi các quy tắc sử dụng và truy cập dựa trên vai trò.
• Quản trị viên lưu trữ của các nền tảng lưu trữ tương thích sẽ có thể áp dụng hạn ngạch và quy tắc RBAC để hạn chế ngay lập tức và tự động việc sử dụng tài nguyên lưu trữ của người thuê cụm. Người dùng lưu trữ thông qua CSM để ủy quyền không cần phải có thông tin xác thực gốc quản trị viên lưu trữ để truy cập hệ thống lưu trữ.
• Quản trị viên Kubernetes sẽ có giao diện để tạo, xóa và quản lý các vai trò/nhóm mà các quy tắc lưu trữ có thể được áp dụng. Sau đó, quản trị viên và/hoặc người dùng có thể tạo mã thông báo xác thực mà người thuê có thể sử dụng để sử dụng lưu trữ với các chính sách truy cập phù hợp được tự động thực thi.
• CSM for Authorization hiện hỗ trợ PowerFlex, PowerMax và PowerScale.

Các tính năng cấp cao chính của nó là:

• Khả năng thiết lập giới hạn hạn ngạch lưu trữ để đảm bảo người thuê K8 không sử dụng quá mức dung lượng lưu trữ 
• Khả năng tạo chính sách kiểm soát truy cập để đảm bảo các cụm thuê bao K8 không truy cập vào bộ lưu trữ không thuộc về họ 
• Khả năng bảo vệ thông tin xác thực lưu trữ khỏi quản trị viên Kubernetes, đảm bảo rằng thông tin xác thực chỉ được quản trị viên lưu trữ xử lý

Kho lưu trữ có thể truy cập công khai có tại https://github.com/dell/csm-authorization .

Xem tài liệu để biết bộ tài liệu đầy đủ về Ủy quyền CSM: https://dell.github.io/csm-docs/docs/authorization/ .

Bên dưới, bạn có thể thấy mô-đun Ủy quyền cho PowerFlex:

Khả năng phục hồi

Ứng dụng người dùng có thể gặp vấn đề nếu bạn muốn Pod của họ có khả năng phục hồi sau lỗi node. Điều này đặc biệt đúng với những ứng dụng được triển khai với StatefulSets sử dụng PersistentVolumeClaims. Kubernetes đảm bảo rằng sẽ không bao giờ có hai bản sao của cùng một StatefulSet Pod chạy cùng lúc và truy cập vào bộ nhớ. Do đó, nó không dọn dẹp StatefulSet Pod nếu node thực thi chúng bị lỗi.

CSM for Resiliency hiện hỗ trợ PowerFlex và Unity. 

Các tính năng chính cấp cao:

• Phát hiện lỗi pod cho các loại lỗi sau – Lỗi nút, Lỗi mạng mặt phẳng điều khiển K8, Lỗi mạng I/O mảng
• Dọn dẹp các hiện vật pod từ các nút bị lỗi
• Thu hồi quyền truy cập PV từ các nút bị lỗi

Bên dưới, bạn có thể xem bản demo của mô-đun Resiliency cho PowerFlex:

Kho lưu trữ có thể truy cập công khai có tại https://github.com/dell/karavi-authorization .

Xem tài liệu để biết bộ tài liệu đầy đủ về CSM Resiliency: https://dell.github.io/csm-docs/docs/authorization/ .

Tính năng Snapshots là một phần của các plugin CSI của các mảng Dell EMC khác nhau và tận dụng công nghệ snapshot tiên tiến để bảo vệ và tái sử dụng dữ liệu. Ngoài việc khôi phục tại một thời điểm, các snapshot này có thể ghi và có thể được gắn kết cho các trường hợp sử dụng thử nghiệm, phát triển và phân tích mà không ảnh hưởng đến khối lượng sản xuất.

Xem bản demo sau về ảnh chụp nhanh nhóm ổ đĩa cho PowerFlex:

Không có người đàn ông (hoặc khách hàng) nào là một hòn đảo và Kubernetes có nhiều hương vị. Tại Dell Technologies, chúng tôi cung cấp nhiều giải pháp đa dạng cho khách hàng, bắt đầu từ các mảng lưu trữ cho mọi nhu cầu (từ PowerStore đến PowerFlex đến PowerMax đến PowerScale và ECS) cho đến các giải pháp chìa khóa trao tay như VxRail có/không có VCF, tích hợp sâu với các mảng lưu trữ của chúng tôi cho đến bất kỳ thứ gì từ Kubernetes thượng nguồn đến RedHat Openshift, với tích hợp sâu với OpenShift Operator hoặc vSphere với Tanzu, chỉ để chúng tôi có thể đáp ứng bạn ở nơi bạn đang ở hôm nay VÀ ngày mai.

Với danh mục đầu tư rộng lớn của Dell Technologies được thiết kế cho sự phát triển CNTT hiện đại và linh hoạt , khách hàng có thể sử dụng các giải pháp lưu trữ, bảo vệ dữ liệu, tính toán và mạng mở đầu cuối hỗ trợ việc áp dụng container nhanh chóng. Các nhà phát triển có thể tạo và tích hợp các ứng dụng dữ liệu hiện đại bằng cách dựa vào các khuôn khổ và công cụ tích hợp nguồn mở có thể truy cập trên các nền tảng bare metal, ảo và container. Dell cho phép hỗ trợ tính tự chủ của tổ chức và các lợi ích theo thời gian thực cho các nền tảng container và Kubernetes với sự tuân thủ các thông lệ tốt nhất về CNTT dựa trên nhu cầu thiết kế riêng của tổ chức.

Trong bài đăng tiếp theo, chúng tôi sẽ trình bày ‘Cách’ cài đặt trình cài đặt CSI 2.0 Common mới và các mô-đun CSM.