Tạo dữ liệu tổng hợp với Dell PowerEdge R760xa và Nền tảng đa dạng NVIDIA

Tạo dữ liệu tổng hợp

Tạo dữ liệu tổng hợp (SDG) là quá trình tạo dữ liệu để phát triển mô hình bằng cách sử dụng phân tích và công cụ để thể hiện các mẫu, mối quan hệ và đặc điểm của dữ liệu trong thế giới thực. 

Việc thu thập, quản lý và chú thích dữ liệu trong thế giới thực vốn rất tốn thời gian, tốn kém và có thể không khả thi trong nhiều trường hợp. Mặt khác, dữ liệu tổng hợp có thể là một giải pháp thay thế phù hợp, theo cách riêng của nó hoặc kết hợp với dữ liệu thực tế hiện có. Dữ liệu tổng hợp có thêm lợi ích là ít nguy cơ xâm phạm quyền riêng tư hoặc tiết lộ thông tin nhạy cảm trong khi cung cấp sự đa dạng của dữ liệu. 

Các loại dữ liệu tổng hợp và trường hợp sử dụng :

Văn bản tổng hợp: Được tạo nhân tạovăn bản, chẳng hạn như văn bản được sử dụng để đào tạo các mô hình ngôn ngữ.

Phương tiện tổng hợp: Âm thanh, hình ảnh và video được tạo ra một cách nhân tạo, chẳng hạn như phương tiện được sử dụng để đào tạo phương tiện tự hành hoặc mô hình thị giác máy tính. 

Dữ liệu dạng bảng tổng hợp:  Dữ liệu có cấu trúc được tạo nhân tạo (chẳng hạn như bảng tính và cơ sở dữ liệu). 

Dữ liệu/bộ dữ liệu tổng hợp ngày càng được sử dụng để đào tạo các thuật toán AI và thực hiện mô hình hóa trong thế giới thực. 

Hình 1: Dự báo dữ liệu tổng hợp của Gartner. Nguồn www.gartner.com

Gartner dự đoán rằng đến năm 2030, hầu hết dữ liệu mô hình AI sẽ được tạo ra một cách giả tạo bằng các quy tắc, mô hình thống kê, mô phỏng hoặc các kỹ thuật khác.

Phần một của loạt blog này đã thảo luận về cách triển khai phiên bản ảo của nền tảng Omniverse của NVIDIA, trong đó Phần hai nêu bật cách sử dụng các cảnh 3D được xây dựng bằng nội dung Omniverse SimReady để phát triển quy trình làm việc Digital Twin 3D chính xác về mặt vật lý.

Bài viết này, Phần 3, là phần cuối cùng trong loạt bài này và mô tả cách NVIDIA Omniverse™ Isaac Sim với SimReady Assets có thể tạo ra dữ liệu tổng hợp và mô phỏng chính xác về mặt vật lý, giống như ảnh thực, sau đó có thể được sử dụng để đào tạo AI và tích hợp vào quy trình phát triển Digital Twin .

Bộ công cụ Omniverse Isaac Sim và TAO 

Isaac Sim là bộ công cụ mô phỏng robot có thể mở rộng dành cho nền tảng NVIDIA Omniverse™ . Với Isaac Sim, các nhà phát triển có thể đào tạo và tối ưu hóa robot AI cho nhiều nhiệm vụ khác nhau. Nó cung cấp các công cụ và quy trình làm việc cần thiết để tạo ra các mô phỏng và bộ dữ liệu tổng hợp chính xác về mặt vật lý. 

Lưu ý: Isaac Sim hiển thị dưới dạng một bộ tiện ích mở rộng ( Omniverse Replicator ) để cung cấp khả năng tạo dữ liệu tổng hợp.

Hình 2: Ngăn xếp Sim NVIDIA Isaac

Nội dung SimReady 3D và SDG được thiết kế để sử dụng phối hợp nhằm tạo và ngẫu nhiên hóa nhiều tình huống khác nhau nhằm đáp ứng các mục tiêu đào tạo cụ thể và thực hiện nó một cách an toàn dưới dạng mô phỏng ảo. Không giống như các tập dữ liệu trong thế giới thực phải được chú thích thủ công trước khi sử dụng, dữ liệu SDG được chú thích bằng nhãn ngữ nghĩa có thể được sử dụng trực tiếp để huấn luyện các mô hình AI.

Bộ công cụ NVIDIA TAO được sử dụng để đào tạo mô hình và suy luận. Bộ công cụ TAO là bộ công cụ AI mã nguồn mở mạnh mẽ được thiết kế để đơn giản hóa quá trình tạo các mô hình AI thị giác máy tính tùy chỉnh, có độ chính xác cao. Nó thúc đẩy việc học chuyển giao , cho phép điều chỉnh các mô hình AI hiện có cho dữ liệu cụ thể. Được xây dựng bằng TensorFlow và PyTorch , nó hợp lý hóa quy trình đào tạo mô hình. 

TAO là một phần của NVIDIA AI Enterprise , một nền tảng phần mềm AI dành cho doanh nghiệp với tính bảo mật, ổn định, khả năng quản lý và hỗ trợ.  

Hình 3: Tổng quan về TAO 

TAO hỗ trợ hầu hết các tác vụ thị giác máy tính phổ biến như: 

• Phân loại hình ảnh 
• Phát hiện đối tượng 
• Phân đoạn ngữ nghĩa 
• Nhận dạng ký tự quang học (OCR)

Tạo dữ liệu hình ảnh tổng hợp trên máy chủ Dell Technologies PowerEdge R760xa

Bài viết này tập trung vào việc tận dụng các máy chủ Dell PowerEdge R760xa với GPU 4x L40, một phiên bản ảo hóacủa NVIDIA Omniverse Enterprise với Isaac Sim để tổng hợp tạo ra một tập dữ liệu gồm các hình ảnh phù hợp có thể được sử dụng để huấn luyện các mô hình AI phát hiện đối tượng Computer Vision.  

Hình 4: Ngăn xếp Omniverse ảo hóa trên máy chủ Dell PowerEdge 760xa với GPU 4x L40 

Nâng cao khả năng của mô hình thị giác máy tính với dữ liệu được tạo tổng hợp

Ví dụ sau đây khám phá cách tạo dữ liệu tổng hợp và cách sử dụng dữ liệu đó để huấn luyện mô hình AI Thị giác Máy tính nhằm phát hiện các vật thể “Kích cắm pallet” trong môi trường kho hàng nhằm lập kế hoạch hậu cần. 

Hình 5: Hình ảnh tổng hợp và thực tế của các vật thể “Pallet Jack” trong khung cảnh nhà kho

 Các bước cấp cao: 

• Cấu hình Isaac Sim
• Tải cảnh kho & Tài sản SimReady 
• Kịch bản mô phỏng 
• Tạo dữ liệu hình ảnh 3D tổng hợp 
• Huấn luyện mô hình AI phát hiện đối tượng CV bằng dữ liệu tổng hợp 
• Kiểm tra hiệu suất suy luận của mô hình AI trên hình ảnh trong thế giới thực 

Tài liệu NVIDIA sau đây cung cấp kho lưu trữ tài liệu bổ sung (thông tin, tập lệnh, sổ ghi chép, v.v.) tập trung vào: 

• Cấu hình Isaac Sim
• Kỹ thuật tạo dữ liệu hình ảnh tổng hợp
• Các mô hình AI thị giác máy tính được đào tạo trước

Cấu hình Sim Isaac

Một số tập lệnh python được đưa vào để định cấu hình và chạy mô phỏng 3D với Isaac Sim . Kết quả đầu ra SDG bao gồm ~ 5.000 hình ảnh có chú thích chất lượng cao về các vật thể “Kích cắm pallet” trong cảnh nhà kho.   

Kỹ thuật tạo dữ liệu hình ảnh tổng hợp

Một yếu tố cần xem xét khi tạo dữ liệu hình ảnh tổng hợp là tính đa dạng. Các hình ảnh tương tự hoặc lặp đi lặp lại từ miền/cảnh tổng hợp có thể sẽ không giúp cải thiện độ chính xác của mô hình AI. Có thể cần phải có các kỹ thuật ngẫu nhiên miền phù hợp để tạo ra hình ảnh khác nhau, chẳng hạn như: 

• Phân tâm cảnh (nhiều đối tượng, tắc nghẽn),  
• Bố cục cảnh (ánh sáng, bề mặt phản chiếu, kết cấu).  

Xem Hình 6 & 7. 

Hình 6: Mô phỏng Isaac Sim (cảnh nhiều đối tượng bị che khuất) & ảnh chụp nhanh việc sử dụng GPUHình 7: Mô phỏng Isaac Sim (vật liệu phản chiếu)

Kỹ thuật đa dạng dữ liệu có thể sẽ khác nhau tùy theo trường hợp sử dụng hoặc cơ sở cảnh, ví dụ: cảnh trong nhà và ngoài trời có thể yêu cầu các cách tiếp cận khác nhau trước khi tạo ra dữ liệu thỏa đáng. 

Các mô hình AI thị giác máy tính được đào tạo trước

Một sổ ghi chép Jupyter mẫu từ sau ( kho lưu trữ Omniverse ) sử dụng Bộ công cụ TAO từ NVIDIA  để tải xuống mô hình AI thị giác máy tính được đào tạo trước (DetectNet_v2/resnet18), sau đó được đào tạo trên các hình ảnh tổng hợp được tạo trước đó.  

Hình 8 cho thấy xác thực mô hình AI thị giác máy tính trên hình ảnh tổng hợp.   

Hình 8: Xác thực đào tạo phát hiện đối tượng bằng Dữ liệu tổng hợp

 Cuối cùng, mô hình phát hiện đối tượng AI thị giác máy tính được huấn luyện tổng hợp sẽ được đánh giá trên các hình ảnh “giắc pallet” trong thế giới thực trong quá trình suy luận để đánh giá hiệu suất và độ chính xác thu được.  

Ví dụ trong Hình 9 cho thấy khả năng phát hiện đối tượng thị giác máy tính của “giắc cắm pallet” trong hình ảnh thế giới thực  

Hình 9: Suy luận phát hiện đối tượng trên hình ảnh thế giới thực

Lưu ý: Xem  bộ dữ liệu Đối tượng hậu cần trong ngữ cảnh (LOCO)  chứa hình ảnh trong thế giới thực trong cài đặt hậu cần. 

Phần kết luận 

Dữ liệu tổng hợp đang đóng vai trò ngày càng quan trọng trong việc nâng cao khả năng của các mô hình AI. Dữ liệu tổng hợp được sử dụng riêng lẻ hoặc để bổ sung cho các bộ dữ liệu hiện có có thể được sử dụng để giải quyết những thiếu sót và trở ngại nhất định của bộ dữ liệu thực trong quá trình đào tạo mô hình AI như: không đủ dữ liệu, tính đa dạng, quyền riêng tư, các tình huống hiếm gặp và chi phí quản lý.  

Nền tảng Omniverse của NVIDIA kết hợp với ứng dụng Isaac Sim cho phép tạo mô hình và mô phỏng kịch bản 3D với khả năng tạo hình ảnh dữ liệu tổng hợp tương ứng, sau đó có thể được sử dụng để huấn luyện AI và hoặc được tích hợp vào các đường dẫn dữ liệu 3D như Digital Twins. 

Trong loạt blog gồm ba phần này Dell Technologies PowerEdge 760xa với Nền tảng doanh nghiệp đa dạng NVIDIA, chúng tôi đã khám phá: 

• Triển khai ảo,  
• Xây dựng/mô phỏng các mô hình 3D có độ trung thực cao và chính xác về mặt vật lý 
• Tạo dữ liệu tổng hợp 
• Huấn luyện mô hình AI thị giác máy tính với dữ liệu tổng hợp