Tạo dữ liệu tổng hợp với Dell PowerEdge R760xa và nền tảng NVIDIA Omniverse

Tạo dữ liệu tổng hợp

Tạo dữ liệu tổng hợp (SDG) là quá trình tạo dữ liệu để phát triển mô hình bằng cách sử dụng phân tích và các công cụ để biểu diễn các mẫu, mối quan hệ và đặc điểm của dữ liệu trong thế giới thực. 

Việc thu thập, quản lý và chú thích dữ liệu thực tế về bản chất là tốn thời gian, tốn kém và có thể không khả thi trong nhiều trường hợp. Mặt khác, dữ liệu tổng hợp có thể chứng minh là một giải pháp thay thế phù hợp, hoặc là tự nó hoặc kết hợp với dữ liệu thế giới thực hiện có. Dữ liệu tổng hợp có thêm lợi ích là ít rủi ro xâm phạm quyền riêng tư hoặc tiết lộ thông tin nhạy cảm trong khi vẫn cung cấp tính đa dạng của dữ liệu. 

Các loại dữ liệu tổng hợp và trường hợp sử dụng :

Văn bản tổng hợp: Được tạo ra một cách nhân tạovăn bản, chẳng hạn như văn bản được sử dụng để đào tạo mô hình ngôn ngữ.

Phương tiện tổng hợp: Âm thanh, hình ảnh và video được tạo ra một cách nhân tạo, chẳng hạn như phương tiện được sử dụng để đào tạo xe tự hành hoặc mô hình thị giác máy tính. 

Dữ liệu bảng tổng hợp:  Dữ liệu có cấu trúc được tạo ra một cách nhân tạo (như bảng tính và cơ sở dữ liệu). 

Dữ liệu/bộ dữ liệu tổng hợp ngày càng được sử dụng nhiều để đào tạo thuật toán AI và thực hiện mô hình hóa thế giới thực. 

Hình 1: Dự báo dữ liệu tổng hợp của Gartner. Nguồn www.gartner.com

Gartner dự đoán rằng đến năm 2030, hầu hết dữ liệu mô hình AI sẽ được tạo ra một cách nhân tạo bằng các quy tắc, mô hình thống kê, mô phỏng hoặc các kỹ thuật khác.

Phần một của loạt bài viết trên blog này thảo luận về cách triển khai phiên bản ảo của nền tảng NVIDIA Omniverse, Phần hai nêu bật cách sử dụng các cảnh 3D được xây dựng bằng các tài sản Omniverse SimReady trong quá trình phát triển quy trình làm việc Digital Twin 3D có độ chính xác về mặt vật lý.

Bài viết này, Phần 3, là phần cuối cùng trong loạt bài viết và mô tả cách NVIDIA Omniverse™ Isaac Sim với SimReady Assets có thể tạo ra các mô phỏng và dữ liệu tổng hợp chân thực, chính xác về mặt vật lý, sau đó có thể được sử dụng để đào tạo AI và tích hợp vào quy trình phát triển Digital Twin.

Omniverse Isaac Sim và TAO Toolkit 

Isaac Sim là bộ công cụ mô phỏng robot có thể mở rộng cho nền tảng NVIDIA Omniverse™ . Với Isaac Sim, các nhà phát triển có thể đào tạo và tối ưu hóa robot AI cho nhiều nhiệm vụ khác nhau. Nó cung cấp các công cụ và quy trình làm việc cần thiết để tạo ra các mô phỏng chính xác về mặt vật lý và các tập dữ liệu tổng hợp. 

Lưu ý: Isaac Sim giới thiệu một bộ tiện ích mở rộng ( Omniverse Replicator ) để cung cấp khả năng tạo dữ liệu tổng hợp.

Hình 2: NVIDIA Isaac Sim Stack

Tài sản SimReady 3D và SDG được thiết kế để sử dụng kết hợp với nhau để tạo và ngẫu nhiên hóa nhiều kịch bản khác nhau nhằm đáp ứng các mục tiêu đào tạo cụ thể và thực hiện an toàn như một mô phỏng ảo. Không giống như các tập dữ liệu trong thế giới thực phải được chú thích thủ công trước khi sử dụng, dữ liệu SDG được chú thích bằng cách sử dụng nhãn ngữ nghĩa có thể được sử dụng trực tiếp để đào tạo các mô hình AI.

NVIDIA TAO Toolkit được sử dụng để đào tạo và suy luận mô hình. TAO Toolkit là một bộ công cụ AI nguồn mở mạnh mẽ được thiết kế để đơn giản hóa quy trình tạo các mô hình AI thị giác máy tính tùy chỉnh, có độ chính xác cao. Nó tận dụng việc học chuyển giao , cho phép điều chỉnh các mô hình AI hiện có cho dữ liệu cụ thể. Được xây dựng bằng TensorFlow và PyTorch , nó hợp lý hóa quy trình đào tạo mô hình. 

TAO là một phần của NVIDIA AI Enterprise , một nền tảng phần mềm AI dành cho doanh nghiệp với tính bảo mật, ổn định, khả năng quản lý và hỗ trợ.  

Hình 3: Tổng quan về TAO 

TAO hỗ trợ hầu hết các tác vụ thị giác máy tính phổ biến như: 

• Phân loại hình ảnh 
• Phát hiện đối tượng 
• Phân đoạn ngữ nghĩa 
• Nhận dạng ký tự quang học (OCR)

Tạo dữ liệu hình ảnh tổng hợp trên máy chủ Dell Technologies PowerEdge R760xa

Bài viết này tập trung vào việc tận dụng máy chủ Dell PowerEdge R760xa với 4x GPU L40, một phiên bản ảo hóacủa NVIDIA Omniverse Enterprise với Isaac Sim để tạo ra một tập dữ liệu hình ảnh phù hợp có thể được sử dụng để đào tạo các mô hình AI phát hiện đối tượng trên thị giác máy tính.  

Hình 4: Bộ Omniverse ảo hóa trên máy chủ Dell PowerEdge 760xa với 4 GPU L40 

Nâng cao khả năng của mô hình thị giác máy tính với dữ liệu được tạo ra tổng hợp

Ví dụ sau đây khám phá việc tạo ra dữ liệu tổng hợp và cách sử dụng dữ liệu này để đào tạo mô hình AI thị giác máy tính nhằm phát hiện các vật thể “Pallet Jack” trong bối cảnh kho hàng để lập kế hoạch hậu cần. 

Hình 5: Hình ảnh tổng hợp và thực tế của các đối tượng “Pallet Jack” trong bối cảnh nhà kho

 Các bước ở cấp độ cao: 

• Cấu hình Isaac Sim
• Tải cảnh kho & Tài sản SimReady 
• Mô phỏng tình huống 
• Tạo dữ liệu hình ảnh 3D tổng hợp 
• Đào tạo mô hình AI phát hiện đối tượng CV bằng dữ liệu tổng hợp 
• Kiểm tra hiệu suất suy luận của mô hình AI trên hình ảnh thực tế 

Tài liệu NVIDIA sau đây cung cấp kho lưu trữ tài liệu bổ sung (thông tin, tập lệnh, sổ tay, v.v.) tập trung vào: 

• Cấu hình Isaac Sim
• Kỹ thuật tạo dữ liệu hình ảnh tổng hợp
• Các mô hình AI về thị giác máy tính được đào tạo trước

Cấu hình Isaac Sim

Một số tập lệnh python được bao gồm để cấu hình và chạy mô phỏng 3D với Isaac Sim . Đầu ra SDG kết quả bao gồm ~ 5.000 hình ảnh có chú thích chất lượng cao của các đối tượng “Pallet Jack” trong một cảnh nhà kho.   

Kỹ thuật tạo dữ liệu hình ảnh tổng hợp

Một yếu tố cần cân nhắc khi tạo dữ liệu hình ảnh tổng hợp là tính đa dạng. Các hình ảnh tương tự hoặc lặp lại từ miền/cảnh tổng hợp có thể sẽ không giúp cải thiện độ chính xác của mô hình AI. Các kỹ thuật ngẫu nhiên hóa miền phù hợp có thể thay đổi quá trình tạo hình ảnh, chẳng hạn như: 

• Sự phân tâm của cảnh (nhiều vật thể, che khuất),  
• Bố cục cảnh (ánh sáng, bề mặt phản chiếu, kết cấu).  

Xem Hình 6 & 7. 

Hình 6: Mô phỏng Isaac Sim (cảnh nhiều đối tượng với các điểm che khuất) & ảnh chụp nhanh về việc sử dụng GPUHình 7: Mô phỏng Isaac Sim (vật liệu phản chiếu)

Các kỹ thuật phân bổ dữ liệu có thể thay đổi tùy theo trường hợp sử dụng hoặc bối cảnh, ví dụ bối cảnh trong nhà so với ngoài trời có thể yêu cầu các phương pháp tiếp cận khác nhau trước khi tạo ra dữ liệu thỏa đáng. 

Các mô hình AI về thị giác máy tính được đào tạo trước

Một mẫu sổ ghi chép Jupyter từ kho lưu trữ Omniverse sau đây sử dụng Bộ công cụ TAO từ NVIDIA  để tải xuống mô hình AI thị giác máy tính được đào tạo trước (DetectNet_v2/resnet18), sau đó được đào tạo trên các hình ảnh tổng hợp được tạo trước đó.  

Hình 8 cho thấy quá trình xác thực mô hình AI của thị giác máy tính trên hình ảnh tổng hợp.   

Hình 8: Xác thực đào tạo phát hiện đối tượng với dữ liệu tổng hợp

 Cuối cùng, mô hình phát hiện đối tượng AI về thị giác máy tính được đào tạo tổng hợp được đánh giá trên hình ảnh “pallet-jack” trong thế giới thực trong quá trình suy luận để đánh giá hiệu suất và độ chính xác thu được.  

Ví dụ trong Hình 9 cho thấy khả năng phát hiện đối tượng bằng thị giác máy tính của “pallet-jack” trong hình ảnh thực tế  

Hình 9: Suy luận phát hiện đối tượng trên hình ảnh thế giới thực

Lưu ý: Xem  tập dữ liệu Đối tượng hậu cần trong bối cảnh (LOCO)  có chứa hình ảnh thực tế trong bối cảnh hậu cần. 

Phần kết luận 

Dữ liệu tổng hợp đang đóng vai trò ngày càng quan trọng trong việc nâng cao khả năng của các mô hình AI. Dữ liệu tổng hợp được sử dụng riêng lẻ hoặc để bổ sung cho các tập dữ liệu hiện có có thể được sử dụng để giải quyết một số thiếu sót và trở ngại của các tập dữ liệu thực trong quá trình đào tạo các mô hình AI như: dữ liệu không đủ, tính đa dạng, quyền riêng tư, các tình huống hiếm gặp và chi phí quản lý.  

Nền tảng Omniverse của NVIDIA kết hợp với ứng dụng Isaac Sim cho phép mô hình hóa và mô phỏng tình huống 3D với khả năng tạo hình ảnh dữ liệu tổng hợp tương ứng, sau đó có thể được sử dụng để đào tạo AI hoặc tích hợp vào đường ống dữ liệu 3D như Digital Twins. 

Trong loạt bài viết gồm ba phần này, Dell Technologies PowerEdge 760xa với NVIDIA Omniverse Enterprise Platform, chúng tôi đã khám phá, 

• Triển khai ảo,  
• Xây dựng/mô phỏng các mô hình 3D có độ trung thực cao và chính xác về mặt vật lý 
• Tạo dữ liệu tổng hợp 
• Đào tạo mô hình AI thị giác máy tính với dữ liệu tổng hợp