Một số tính năng chính của thiết kế được xác nhận này bao gồm:

• Phân bổ và ảo hóa GPU —VMware vSphere 7 trở lên hỗ trợ ảo hóa cho GPU NVIDIA Ampere. GPU ảo hóa có thể được gán cho các máy ảo (VM) và vùng chứa thông qua ảo hóa đầu vào/đầu ra một gốc (SR-IOV). Ngoài ra, vSphere hỗ trợ:

• Phân vùng GPU sử dụng công nghệ NVIDIA Multi-Instance GPU (MIG), giúp tăng cường sử dụng GPU. Các phiên bản GPU ảo (vGPU) được phân vùng MIG được cách ly hoàn toàn bằng cách phân bổ độc quyền bộ nhớ, bộ nhớ đệm và điện toán băng thông cao. Trường hợp sử dụng phổ biến là quản trị viên phân vùng GPU có sẵn thành nhiều đơn vị để phân bổ cho từng nhà khoa học dữ liệu thông qua máy ảo hoặc vùng chứa. Mỗi nhà khoa học dữ liệu có thể yên tâm về hiệu suất có thể dự đoán được do tính cách ly và đảm bảo Chất lượng dịch vụ của công nghệ phân vùng vGPU.
• Tính năng tổng hợp GPU cho phép gán nhiều GPU ảo cho máy ảo và bộ chứa để hỗ trợ các công việc deep learning đòi hỏi tính toán chuyên sâu. GPUDirect RDMA của NVIDIA cung cấp khả năng trao đổi dữ liệu hiệu quả hơn giữa các GPU thực hiện đào tạo đa nút trên quy mô lớn. Nó cho phép đường dẫn dữ liệu ngang hàng trực tiếp giữa các tài nguyên bộ nhớ của hai hoặc nhiều GPU sử dụng cổng bộ điều hợp mạng ConnectX trên máy chủ.

• Hỗ trợ ảo hóa GPU với điều phối vùng chứa Tanzu —GPU ảo hóa hiện có thể được cung cấp cho việc điều phối vùng chứa Kubernetes cấp doanh nghiệp thông qua Tanzu. Quản trị viên có thể cung cấp khối lượng công việc AI dưới dạng nhóm Kubernetes hoặc thông qua triển khai Helm sử dụng GPU ảo hóa.
• Tính khả dụng và bảo trì liên tục bằng VMware vSphere vMotion —vSphere cho phép di chuyển trực tiếp (sử dụng vSphere vMotion) cho các máy ảo hỗ trợ NVIDIA vGPU, đơn giản hóa việc bảo trì cơ sở hạ tầng như hợp nhất, mở rộng hoặc nâng cấp và cho phép các hoạt động không bị gián đoạn.

Với Bộ lập lịch tài nguyên phân tán (DRS), vSphere cung cấp vị trí khối lượng công việc ban đầu tự động cho cơ sở hạ tầng AI trên quy mô lớn để tiêu thụ tài nguyên tối ưu và tránh tắc nghẽn hiệu suất.

• Hỗ trợ VM tạm dừng và tiếp tục hoạt động với đào tạo đa nút GPU ảo —GPUDirect RDMA của NVIDIA cho phép đường dẫn dữ liệu ngang hàng trực tiếp giữa bộ nhớ GPU và bộ điều hợp mạng ConnectX. Đường dẫn này giúp giảm đáng kể độ trễ giao tiếp giữa GPU với GPU và giảm tải hoàn toàn cho CPU, loại bỏ CPU khỏi tất cả các giao tiếp giữa GPU với GPU trên mạng. GPUDirect RDMA của NVIDIA mang lại hiệu suất gần như bình thường khi đào tạo đa nút.