Thành công với Dell PowerScale và Baselight của FilmLight

Với vai trò là người dẫn đầu kỹ thuật cho quy trình làm việc của phương tiện truyền thông tại Dell Technologies, tôi may mắn được hợp tác với các công ty tạo ra một số công cụ tốt nhất cho những người sáng tạo. FilmLight chắc chắn là một trong những công ty như vậy. Baselight của FilmLight được sử dụng trong sản xuất phim truyện cao cấp nhất. Tôi rất háo hức được thử nghiệm các nút PowerScale OneFS hoàn toàn bằng flash mới nhất và xem các nút lưu trữ đó có thể hỗ trợ quy trình làm việc của Baselight như thế nào. Tôi rất vui khi nói rằng PowerScale hỗ trợ Baselight rất tốt và tôi có thể chia sẻ các phương pháp hay nhất để tích hợp PowerScale vào môi trường Baselight.

Baselight là hệ thống phân loại màu và xử lý hình ảnh được sử dụng rộng rãi trong sản xuất phim. Theo truyền thống, quy trình làm việc DI của Baselight là phạm vi của SAN hoặc lưu trữ khối. Hành trình hướng tới hỗ trợ quy trình làm việc DI hiện đại trên PowerScale bắt đầu với sự hỗ trợ của OneFS cho NFS-over-RDMA. Sử dụng giao thức RDMA với PowerScale, tất cả lưu trữ flash cho phép các quy trình làm việc thông lượng cao mà TCP không thể đạt được. Việc sử dụng RDMA cho các ứng dụng phương tiện được ghi chép đầy đủ trong blog và sách trắng: NFS over RDMA for Media Workflows .

Với việc thử nghiệm RDMA thành công trên phần mềm hiệu chỉnh màu khác đã hoàn tất, tôi tự tin rằng chúng tôi có thể thêm Baselight vào danh sách các nền tảng được hỗ trợ. Thời điểm dường như đã chín muồi và FilmLight đã đồng ý hợp tác với chúng tôi để thực hiện. Hợp tác với nhóm FilmLight tại LA, chúng tôi đã đưa Baselight One vào hoạt động tại phòng thí nghiệm truyền thông Seattle.

FilmLightOS đã cài đặt trình điều khiển hỗ trợ RDMA cho NIC trong máy trạm. Điều này giúp cấu hình dễ dàng, vì không cần cài đặt thêm phần mềm nào để hỗ trợ giao thức (ít nhất là trong trường hợp của chúng tôi). Mặc dù RDMA vẫn là lựa chọn tốt nhất để sử dụng PowerScale với Baselight, nhưng không phải tất cả các mạng đều có thể hỗ trợ RDMA. Tin tốt ở đây là có một tùy chọn khác: nconnect.

Bản phân phối Linux mà Baselight chạy trên cũng hỗ trợ tùy chọn gắn kết NFS nconnect. Nconnect cho phép nhiều kết nối TCP giữa máy khách Baselight và bộ lưu trữ PowerScale. Kiểm tra với nconnect đã chứng minh đủ thông lượng để hỗ trợ phát lại 8K không nén từ PowerScale. Mặc dù RDMA được ưu tiên, nhưng nó không phải là yêu cầu tuyệt đối.

Với bộ lưu trữ được gắn kết và hoạt động như mong đợi, chúng tôi bắt đầu điều chỉnh các luồng Baselight và cài đặt DirectIO để tối ưu hóa tương tác của Baselight và PowerScale. Kết quả của thử nghiệm này cho thấy việc tăng số luồng của BaseLight lên 16 đã cải thiện hiệu suất. (Các luồng này không liên quan đến các kết nối nconnect được đề cập ở trên.) DirectIO là một cơ chế bỏ qua một số lớp lưu trữ đệm trong Linux. DirectIO đã cải thiện hiệu suất ghi của Baselight và làm giảm hiệu suất đọc. Rất may, Baselight đủ linh hoạt để chỉ bật DirectIO một cách có chọn lọc cho các lần ghi.

PowerScale là một chiến thắng dễ dàng cho Baselight One. Tuy nhiên, Baselight cũng có các biến thể khác: Baselight Two và Baselight X. Các phiên bản Baselight này có các nút xử lý riêng biệt và các thiết bị giao diện người dùng lưu trữ để giải quyết các quy trình làm việc đầy thách thức nhất. Các hệ thống Baselight này chia sẻ các tệp cấu hình có thể gây ra sự cố về cách lưu trữ được gắn trên các nút xử lý so với các nút giao diện người dùng lưu trữ. Khi sử dụng RDMA, các nút xử lý sẽ sử dụng gắn kết RDMA trong khi giao diện người dùng lưu trữ sẽ sử dụng TCP. Làm việc với nhóm FilmLight tại LA, các thay đổi đã được thực hiện để hỗ trợ các tùy chọn gắn kết riêng biệt cho các nút xử lý so với nút giao diện người dùng lưu trữ.

Việc tìm hiểu Baselight và hợp tác với FilmLight trong dự án này thực sự rất thỏa mãn. Sẽ không dễ để hiểu được những điều phức tạp hơn về cách Baselight tương tác với bộ lưu trữ nếu không có sự trợ giúp của họ (cơ chế kết xuất và lưu trữ đệm trong Baselight thật tuyệt vời).