Đối tượng là cốt lõi mới

Các luồng công việc tạo nội dung ngày càng được phân bổ giữa nhiều trang web và nhà cung cấp đám mây. Việc sắp xếp dữ liệu từ lâu đã là một thành phần quan trọng trong các luồng công việc này. Với sự phức tạp (và chức năng) của nhiều cơ sở hạ tầng tại chỗ và đám mây, việc sắp xếp dữ liệu tự động trở nên quan trọng hơn bao giờ hết.

Đã có một sự thay đổi tinh tế nhưng đáng kể trong cách các công ty truyền thông lưu trữ và quản lý dữ liệu. Theo cách cũ, lưu trữ tệp tạo thành “cốt lõi” và dữ liệu cuối cùng được lưu trữ vào băng hoặc lưu trữ đối tượng để lưu giữ lâu dài. Cách quản lý dữ liệu mới đảo ngược mô hình này. Lưu trữ đối tượng đã trở thành “cốt lõi” mới với lưu trữ tệp hiệu suất cao tại các vị trí biên được sử dụng để xử lý và thao tác dữ liệu.

Nhiều yếu tố đã ảnh hưởng đến sự thay đổi này. Các yếu tố này bao gồm khối lượng dữ liệu ngày càng tăng liên quan đến các sản phẩm hiện đại, vai trò ngày càng mở rộng của các nhà cung cấp đám mây công cộng (mà đối với họ, lưu trữ đối tượng là mặc định) và hỗ trợ ứng dụng phương tiện.

Hình 1. Môi trường lưu trữ toàn cầu

Với sự thay đổi vai trò này, các kỹ thuật mới để sắp xếp dữ liệu trở nên cần thiết. Các nhà cung cấp quản lý dữ liệu đang phản ứng với các yêu cầu này đối với các giải pháp di chuyển dữ liệu và hệ thống tệp toàn cầu.

Tuy nhiên, nhiều giải pháp trong số này yêu cầu dữ liệu phải được thu thập và truy cập thông qua các cổng độc quyền chuyên dụng. Thường thì cách tiếp cận cổng này có nghĩa là dữ liệu hiện không thể truy cập được bằng API S3 gốc.

PowerScale OneFS và Superna Golden Copy cung cấp một cách sắp xếp dữ liệu giữa tệp và đối tượng, giữ lại những phẩm chất tốt nhất của cả hai loại lưu trữ. Dữ liệu có thể được truy cập ở cả cạnh hiệu suất cao (PowerScale) và lõi đối tượng (ECS hoặc đám mây công cộng) mà không bị khóa ở cả hai đầu.

Hơn nữa, Superna Golden Copy được tích hợp trực tiếp với PowerScale OneFS API. Danh sách thay đổi ảnh chụp nhanh OneFS được sử dụng để di chuyển dữ liệu gia tăng ngay lập tức. Siêu dữ liệu hệ thống tệp được bảo toàn trong thẻ S3.

Golden Copy và OneFS là giải pháp được xây dựng để di chuyển dữ liệu liền mạch giữa các vị trí, hệ thống tệp và lưu trữ đối tượng. Cấu trúc tệp và siêu dữ liệu được bảo toàn.

Công cụ phù hợp cho công việc

Dữ liệu có nguồn gốc từ lưu trữ đối tượng cần có thể truy cập được theo cách gốc bởi các hệ thống có thể nói API đối tượng. Ngoài ra, một số tập hợp con dữ liệu cần được chuyển đến lưu trữ tệp để xử lý thêm. Dữ liệu sản xuất có nguồn gốc từ lưu trữ tệp cũng cần có quyền truy cập gốc. Dữ liệu tệp đó sẽ cần được chuyển đến lưu trữ đối tượng để lưu giữ lâu dài và để có thể truy cập được vào các tài nguyên phân phối toàn cầu.

Quy trình tạo nội dung được trải rộng trên nhiều nhóm làm việc ở nhiều địa điểm. Sản xuất đa trang web đòi hỏi hệ sinh thái lưu trữ phân tán có thể trải dài trên nhiều vùng địa lý. Kiến trúc này rất phù hợp với lõi lưu trữ đối tượng là “nguồn thông tin trung tâm”. Các nhóm lưu trữ tệp có hiệu suất cao phục vụ các nhóm ở nhiều địa điểm toàn cầu khác nhau của họ.

Golden Copy GraphQL API cho phép các hệ thống bên ngoài kiểm soát, cấu hình và giám sát các tác vụ Golden Copy. Kiểu sắp xếp dữ liệu dựa trên API này rất cần thiết cho các đường ống toàn cầu phức tạp của người sáng tạo nội dung. Việc di chuyển thủ công một lượng lớn dữ liệu là không thể. Việc di chuyển dữ liệu theo lịch trình phù hợp với một số quy trình tạo nội dung; các quy trình khác yêu cầu di chuyển dữ liệu tùy ý hơn.

 Hình 2. Object Core với GoldenCopy và PowerScale

Một hệ sinh thái lớn các công cụ quản lý sản xuất, chẳng hạn như Autodesk Shotgrid, tồn tại để quản lý các nhóm toàn cầu. Các công cụ này rất tuyệt vời để quản lý các dự án, nhưng thường không bao gồm các trình di chuyển dữ liệu chuyên dụng. Việc di chuyển dữ liệu có thể đặc biệt khó khăn khi cần chuyển một lượng lớn phương tiện giữa đối tượng và tệp.

Quản lý tài sản sản xuất có thể kích hoạt di chuyển dữ liệu bằng Golden Copy dựa trên các thay đổi siêu dữ liệu đối với sản phẩm hoặc cảnh. Kiểu sắp xếp dữ liệu theo API và siêu dữ liệu này phù hợp với tầm nhìn 2030 của MovieLabs về quy trình làm việc được xác định bằng phần mềm để tạo nội dung. Chủ đề này được đề cập khá chi tiết về phân tầng trong hệ thống tệp OneFS trong bài báo: Một cách tiếp cận theo siêu dữ liệu để phân tầng theo nhu cầu .

Để biết thêm thông tin về việc sử dụng PowerScale OneFS cùng với Superna GoldenCopy, hãy xem báo cáo đầy đủ của tôi PowerScale OneFS: Quy trình làm việc phương tiện phân tán .

Tác giả : Gregory Shiff