Chuyển đổi hoạt hình nhân vật với NVIDIA Omniverse và máy trạm AI

Làm thế nào để bạn kết xuất các đám mây thể tích theo thời gian thực cho truyền hình phát sóng và giữ nguyên chất lượng hình ảnh của nội dung được kết xuất trước? Làm thế nào bạn có thể chạy một hình đại diện AI mà không cần khởi động một máy ảo mới cho mọi người dùng? Đây là những loại vấn đề kỹ thuật thúc đẩy Pekka Varis và nhóm của anh ấy tại Cineshare . Từ studio của họ ở Phần Lan, họ đang phát triển các phương pháp tiếp cận mới cho hoạt hình nhân vật và sản xuất ảo cân bằng chất lượng hình ảnh với các hạn chế về hiệu suất.

Giải quyết hình ảnh thời tiết thời gian thực

Cineshare đã phải đối mặt với một thách thức cụ thể thay mặt cho đài truyền hình quốc gia Phần Lan, YLE: tạo hình ảnh thời tiết trực tiếp trong quá trình phát sóng. Đường ống kỹ thuật bắt đầu ở Embergen , nơi nhóm tạo ra các đám mây và xuất chúng dưới dạng tệp VDB (Cơ sở dữ liệu khối lượng).

“Các tệp VDB cung cấp cho chúng tôi khả năng lưu trữ hiệu quả cho dữ liệu thể tích thưa thớt, nhưng chúng rất phức tạp để làm việc”, Varis giải thích, “Mỗi đám mây có thể có dung lượng lên tới vài gigabyte. Bạn cần bộ nhớ GPU lớn chỉ để tải chúng, chứ chưa nói đến việc xử lý chúng theo thời gian thực”.

Bước đột phá của Cineshare đến từ khuôn khổ Universal Scene Description (USD) của NVIDIA Omniverse , cho phép nhiều nghệ sĩ cộng tác trên các cảnh cùng lúc. Sử dụng máy trạm Dell Precision 3680 với GPU NVIDIA RTX 6000 Ada, nhóm có thể phân lớp các thay đổi từ các công cụ và nghệ sĩ khác nhau theo thời gian thực. Trong khi một nghệ sĩ tinh chỉnh ánh sáng thể tích, một nghệ sĩ khác có thể làm việc trên các hệ thống hạt cho hiệu ứng mưa và khí quyển.

“NVIDIA Omniverse đã thay đổi cách chúng ta xử lý những mô phỏng phức tạp này Trước đây, chúng ta phải truyền các tệp lớn qua lại giữa các công cụ khác nhau. Bây giờ, mọi thứ đều được cập nhật trực tiếp. Chúng ta thực sự có thể tinh chỉnh ánh sáng trong quá trình đánh giá của khách hàng thay vì phải chờ kết xuất qua đêm.” – Pekka Varis, Đồng sáng lập & Giám đốc sáng tạo của Cineshare

Thích ứng với VR

NVIDIA Omniverse chạy trên máy trạm Dell Precision, hợp lý hóa sự cộng tác trên mô phỏng và kết xuất 3D, nhưng nhóm đã phải đối mặt với một thách thức mới khi YLE, đài truyền hình quốc gia của Phần Lan, yêu cầu chuyển thể VR cho các buổi trình diễn công khai. VR đòi hỏi tốc độ khung hình cao nhất quán để ngăn ngừa say tàu xe, Varis cho biết. Chúng tôi đã dành ba tháng để tối ưu hóa đường ống thời gian thực của mình và giờ đây, du khách có thể bay qua các hệ thống bão trong VR trong khi trải nghiệm chất lượng hình ảnh cao với gió và mưa động. Sự tích hợp liền mạch giữa Embergen, Unreal Engine, hỗ trợ Varjo VR đã giúp điều này trở nên khả thi.

Tạo nhân vật và con người kỹ thuật số thời gian thực

Hình ảnh thời tiết đã đẩy ranh giới đồ họa thời gian thực của Cineshare. Tuy nhiên, trọng tâm chính của hãng phim vẫn là hoạt hình nhân vật. Là một trong những đại sứ Omniverse đầu tiên , Varis đã tiên phong trong quy trình làm việc giữa các công cụ tạo nhân vật và kết xuất thời gian thực.

“Tôi tham gia Omniverse từ sớm vì tôi thấy tiềm năng của nó đối với công việc tạo nhân vật,” Varis giải thích. “Khung USD cho phép chúng tôi duy trì các bộ nhân vật và hoạt ảnh phức tạp trên nhiều công cụ khác nhau. Chúng tôi có thể xây dựng một nhân vật trong một ứng dụng, tạo hoạt ảnh cho nhân vật đó trong một ứng dụng khác và xem mọi thứ được cập nhật trực tiếp trong Omniverse .”

Với các máy trạm Precision được trang bị card đồ họa chuyên nghiệp NVIDIA, studio hiện đạt được 120 FPS với việc triển khai trình đổ bóng da SSS (subsurface scattering) chạy qua Omniverse . Varis cho biết: “Việc dựng hình nhân vật theo thời gian thực không chỉ ảnh hưởng đến tốc độ”. “Bây giờ, chúng tôi có thể quản lý tóc động và các chi tiết da sống động như thật mà trước đây phải dựng hình ngoại tuyến. Omniverse cho phép chúng tôi lặp lại các hiệu ứng này ngay lập tức”.

Đẩy mạnh tích hợp AI hơn nữa

Thách thức kỹ thuật mới nhất của Cineshare liên quan đến việc tích hợp Avatar Cloud Engine (ACE) của NVIDIA với quy trình nhân vật của họ. Đại học Helsinki gần đây đã triển khai một hình đại diện ACE thông qua Pixel Streaming của Unreal Engine, cho thấy cả cơ hội và thách thức.

Varis giải thích rằng: “Các triển khai ACE hiện tại cần một phiên bản GPU chuyên dụng cho mỗi người dùng. Mỗi khi ai đó muốn tương tác với avatar, một máy ảo mới sẽ quay vòng trên đám mây. Nó hoạt động, nhưng tốn kém và phức tạp để duy trì”.

Điều này khiến Cineshare khám phá việc chạy các mô hình ngôn ngữ lớn trực tiếp tại chỗ với GPU máy trạm . Sử dụng RTX 6000 Ada 48GB VRAM, họ có thể chạy các mô hình Llama cục bộ trên máy trạm Dell Precision của mình để tương tác với hình đại diện và hỗ trợ kỹ thuật. Nhóm hiện đang làm việc để tích hợp các khả năng AI cục bộ này với đường ống nhân vật Omniverse của họ .

“Xử lý AI cục bộ giúp chúng tôi kiểm soát nhiều hơn”, Varis lưu ý. “Chúng tôi đang xây dựng các công cụ để giúp nghệ sĩ điều hướng các hệ thống kỹ thuật phức tạp – những thứ như môi trường Linux và giao diện dòng lệnh thường tạo ra các nút thắt trong quy trình sản xuất. AI cung cấp hướng dẫn theo thời gian thực mà không phụ thuộc vào đám mây hoặc các vấn đề về độ trễ, và nó thúc đẩy bộ phận hỗ trợ khách hàng AI Enterprise mà tôi tin tưởng trong việc xây dựng những trải nghiệm này”.

Nhìn về phía trước

Đối với Cineshare , tương lai nằm ở việc kết hợp các công nghệ này: dựng hình theo thời gian thực, quy trình làm việc cộng tác thông qua Omniverse và xử lý AI cục bộ trên phần cứng Dell. Varis cho biết: “Mỗi dự án thúc đẩy chúng tôi giải quyết các vấn đề kỹ thuật mới”. “Nhưng việc có một nền tảng thống nhất trong Omniverse cho phép chúng tôi xây dựng các giải pháp của mình thay vì phải bắt đầu từ đầu mỗi lần”.

Nhóm Cineshare tiếp tục phát triển các phương pháp tiếp cận mới cho hoạt hình nhân vật và sản xuất ảo, cân bằng chất lượng hình ảnh với các yêu cầu về hiệu suất. Công trình của họ chứng minh cách phần cứng GPU hiện đại và các nền tảng cộng tác như Omniverse đang biến đổi những gì có thể trong đồ họa thời gian thực.

Họ cũng vừa mới ra mắt sản phẩm SaaS đầu tiên của mình, Omniverse Easy Start!

Được thiết kế để có hiệu suất vô song, PC hiệu suất cao Dell Pro Max* khai thác toàn bộ tiềm năng của đồ họa chuyên nghiệp. Để tìm hiểu thêm về lợi ích của PC hiệu suất cao và GPU NVIDIA RTX, hãy nhấp vào đây .

*Máy tính hiệu suất cao Dell Pro Max, trước đây được gọi là máy trạm Dell Precision