Dell ECS: Di chuyển dữ liệu (Sao chép lên đám mây)

Khi dữ liệu phi cấu trúc tiếp tục tăng theo cấp số nhân, các tổ chức phải đối mặt với những thách thức trong việc quản lý và phân tích dữ liệu trong lưu trữ đối tượng. Tại một số thời điểm, có thể cần phải di chuyển dữ liệu sang một cụm ECS khác hoặc một đám mây công cộng để quản lý dữ liệu đối tượng một cách linh hoạt và hiệu quả.

Di chuyển dữ liệu, còn được gọi là sao chép lên đám mây, là một tính năng mới trong ECS ​​3.8.0.1, trong đó người dùng có thể sao chép dữ liệu đối tượng cục bộ sang mục tiêu S3 bên ngoài, chẳng hạn như ECS không liên kết hoặc siêu quy mô công khai. (Hiện tại, chỉ hỗ trợ mục tiêu AWS.)

Tính năng di chuyển dữ liệu cho phép sao chép dữ liệu đối tượng vào mục tiêu S3 bên ngoài. Tính năng này được xây dựng trên công cụ mã nguồn mở ECS Sync, cung cấp khả năng sao chép dữ liệu song song. Tính năng di chuyển dữ liệu chỉ hỗ trợ tài khoản IAM và thùng IAM. Hình 1 cho thấy kiến ​​trúc giải pháp di chuyển dữ liệu.

Hình 1. Kiến trúc di chuyển dữ liệu 

Di chuyển dữ liệu được cấu hình như một tùy chọn bucket trong UI, như thể hiện trong hình 2. Nó có thể được giám sát bởi quản trị viên tài khoản hoặc quản trị viên hệ thống trong UI. Quản trị viên có thể xác định chính sách về bucket nguồn và đích và tiêu chí cho các đối tượng. Quản trị viên cũng có thể giám sát nhật ký cho tất cả các hoạt động sao chép ở cấp đối tượng, bao gồm thời gian sao chép, khóa đối tượng nguồn, kích thước đối tượng, điểm cuối đích, thời lượng và kết quả của hoạt động sao chép (thành công/thất bại, thông báo lỗi). Ngoài ra còn có các cảnh báo hiển thị tóm tắt về tất cả các hoạt động sao chép và lỗi trên bất kỳ lỗi nào.

Lưu ý: Thùng mục tiêu phải tồn tại tại thời điểm tạo thùng ECS.

Hình 2. Cấu hình di chuyển dữ liệu trong một thùng

Dịch vụ di chuyển dữ liệu chỉ có thể chạy trong các hệ thống Gen2 hoặc mới hơn đã được nâng cấp lên bộ nhớ 192 GB. Chính sách di chuyển dữ liệu không thể đồng bộ hóa các lần xóa. Điều này có nghĩa là nếu một đối tượng bị xóa khỏi thùng nguồn, nó sẽ không bị xóa khỏi thùng đích. Chính sách di chuyển dữ liệu chạy một lần mỗi giờ; nếu có nhiều phiên bản trong một giờ, chỉ có phiên bản mới nhất được sao chép.  

Dell đang mở rộng hệ sinh thái để hỗ trợ trải nghiệm đa đám mây cho Snowflake, chạy trên AWS. Khách hàng của Dell và Snowflake có thể sử dụng dữ liệu tại chỗ được lưu trữ trên Dell ECS trong khi vẫn giữ dữ liệu cục bộ hoặc sao chép dữ liệu đó một cách liền mạch lên đám mây công cộng để tận dụng hệ sinh thái các dịch vụ phân tích dữ liệu dựa trên đám mây của Snowflake.

Quy trình làm việc sau đây cho thấy cách Snowflake hoạt động với việc di chuyển dữ liệu ECS:

Hình 3. Di chuyển dữ liệu với Snowflake

1. Một ứng dụng ghi dữ liệu vào thùng lưu trữ cục bộ ECS.
2. Chính sách di chuyển dữ liệu trong ECS ​​được cấu hình để sao chép toàn bộ dữ liệu hoặc một phần dữ liệu vào thùng lưu trữ được xác định trước của khách hàng trong AWS. 
3. Dữ liệu được ghi vào thùng lưu trữ.
4. Thùng AWS này sẽ có thông báo S3 được cấu hình để thông báo cho hàng đợi AWS SQS mà Snowflake đã đăng ký.
5. Quy trình đường ống dữ liệu Snowflake có tên Snowpipe sẽ thức dậy và đưa dữ liệu vào Snowflake.
6. Sau đó, dữ liệu có thể bị xóa theo chính sách vòng đời trong AWS.

Phần kết luận

Bất kể trường hợp sử dụng nào để truyền dữ liệu, việc thực hiện nhanh chóng, đáng tin cậy, an toàn và nhất quán đều quan trọng. Và bất kể bạn phải di chuyển bao nhiêu dữ liệu, dữ liệu nằm ở đâu hoặc bạn có bao nhiêu băng thông, thì vẫn có một tùy chọn có thể phù hợp với bạn.