Với sự hỗ trợ của VMware vSphere dành cho GPU ảo hóa, quản trị viên CNTT có thể chạy khối lượng công việc AI như đào tạo mạng thần kinh, suy luận hoặc phát triển mô hình cùng với các ứng dụng trung tâm dữ liệu tiêu chuẩn của họ. Hình dưới đây thể hiện kiến ​​trúc cấp cao cho thiết kế đã được xác thực này với các máy chủ PowerEdge R760, mỗi máy chủ có hai GPU NVIDIA A100 và bộ điều hợp mạng ConnectX, như một phần của cụm VMware vSphere. Máy ảo có vGPU chạy bộ chứa từ NVIDIA AI Enterprise. Thiết kế đã được xác thực này cho phép khối lượng công việc AI chạy dưới dạng nhóm VM hoặc Kubernetes trong cụm Tanzu Kubernetes.

Hình 3.   Kiến trúc cấp cao với máy chủ PowerEdge R760 và bộ lưu trữ PowerScale

Các khía cạnh chính của thiết kế được xác nhận này bao gồm:

• Máy chủ điện toán —Máy chủ PowerEdge R760 và R7625 là một phần của thiết kế đã được kiểm chứng này.
• GPU —GPU NVIDIA A100 và A30 có thể được sử dụng cho AI và máy học. Chúng tôi khuyên dùng GPU A100 cho các mô hình đào tạo mạng thần kinh lớn đòi hỏi hiệu suất cao và GPU A30 cho khối lượng công việc chính của doanh nghiệp và suy luận AI. Số lượng GPU được hỗ trợ trong một máy chủ phụ thuộc vào kiểu máy chủ như trong  Bảng 2 .
• Bộ nhớ —vSAN là bộ nhớ được đề xuất cho máy ảo. Chúng tôi khuyên dùng bộ lưu trữ PowerStore để lưu trữ hồ dữ liệu, nghĩa là lưu trữ dữ liệu cần thiết cho quá trình đào tạo mạng thần kinh. Lưu trữ PowerScale cũng có thể được sử dụng để lưu trữ dữ liệu cho khối lượng công việc AI trong phân vùng NFS.
• Cơ sở hạ tầng mạng —Khách hàng có thể có cơ sở hạ tầng mạng Ethernet 25 Gb hoặc cơ sở hạ tầng mạng Ethernet 100 Gb. Chúng tôi khuyên dùng 25 GbE cho khối lượng công việc có thể sử dụng cơ sở hạ tầng mạng hiện có mà không cần đầu tư vào cơ sở hạ tầng mạng 100 Gb. Thiết kế này phù hợp với các công việc đào tạo mạng thần kinh có thể chạy trên một nút (sử dụng tối đa hai GPU) và cho các công việc suy luận và phát triển mô hình tận dụng phân vùng GPU.

Chúng tôi khuyên dùng 100 GbE cho khối lượng công việc yêu cầu đào tạo mô hình quy mô lớn bằng cách sử dụng bộ dữ liệu lớn (thường là bộ dữ liệu dựa trên hình ảnh hoặc video có độ phân giải cao).

• Ảo hóa và điều phối vùng chứa —GPU có thể được ảo hóa và cung cấp cho các máy ảo chạy trên máy chủ VMware ESXi được triển khai trên máy chủ PowerEdge. Đối với khối lượng công việc được đóng gói, dịch vụ Tanzu Kubernetes Grid được bật trên cụm vSphere. Các nút công nhân Kubernetes có thể được tạo bằng tài nguyên GPU ảo. Khối lượng công việc AI có thể được triển khai dưới dạng nhóm trên các dịch vụ triển khai chạy trên cụm Tanzu Kubernetes.
• Quản lý với VMware vCenter —VMware vCenter Server có thể được triển khai như một máy ảo trong trung tâm dữ liệu của bạn. vCenter rất quan trọng đối với việc triển khai, vận hành và bảo trì môi trường vSAN. Vì lý do này, Dell Technologies khuyến nghị rằng vCenter nên được triển khai trên một cụm quản lý có tính sẵn sàng cao, tồn tại bên ngoài cụm điện toán.

Kết quả xác thực