Nền tảng của kiến ​​trúc chung này là tính mô-đun, cung cấp một thiết kế linh hoạt phục vụ cho vô số trường hợp sử dụng, lĩnh vực và yêu cầu tính toán. Cơ sở hạ tầng AI thực sự theo mô-đun được thiết kế để có thể thích ứng và phù hợp với tương lai, với các thành phần có thể được kết hợp và kết hợp dựa trên các yêu cầu cụ thể của dự án. Giải pháp Dell-NVIDIA sử dụng phương pháp này, cho phép các doanh nghiệp tập trung vào các khía cạnh nhất định của khối lượng công việc AI tổng quát khi xây dựng cơ sở hạ tầng của họ. Phương pháp mô-đun này được thực hiện thông qua các thiết kế trường hợp sử dụng cụ thể để đào tạo, điều chỉnh mô hình và suy luận giúp sử dụng hiệu quả từng loại điện toán. Mỗi thiết kế bắt đầu với đơn vị tối thiểu cho từng trường hợp sử dụng, với các tùy chọn để mở rộng.

Ngăn xếp phần mềm mô-đun cũng rất quan trọng để cho phép các nhà nghiên cứu AI, nhà khoa học dữ liệu, kỹ sư dữ liệu và những người dùng khác thiết kế cơ sở hạ tầng của họ một cách nhanh chóng và đạt được thời gian nhanh chóng để định giá. Giải pháp Dell-NVIDIA sử dụng phần mềm NVIDIA AI tốt nhất, với các giải pháp của đối tác để xây dựng một nền tảng AI có thể thích ứng và được hỗ trợ ở mỗi lớp—từ hệ điều hành đến bộ lập lịch cho đến nhiều Hoạt động AI (AIOps) và Hoạt động Học máy (MLOps) ) các giải pháp.

Hình dưới đây cho thấy chế độ xem cấp cao về kiến ​​trúc giải pháp, nhấn mạnh vào ngăn xếp phần mềm, từ lớp cơ sở hạ tầng cho đến phần mềm ứng dụng AI:

Hình 1.        Kiến trúc giải pháp và ngăn xếp phần mềm

Ở cấp độ cao, kiến ​​trúc giải pháp bắt đầu với các thành phần phần cứng cơ bản của Dell Technologies và NVIDIA, được kết hợp theo các hoán vị tập trung vào khối lượng công việc AI cụ thể, chẳng hạn như đào tạo, tinh chỉnh và suy luận. Sách trắng này mô tả các thành phần phần cứng riêng lẻ trong phần sau.

Mỗi mặt phẳng điều khiển hoặc phần tử điện toán đều hỗ trợ Red Hat Enterprise Linux hoặc Ubuntu làm hệ điều hành, hệ điều hành này được tải sẵn trình điều khiển GPU NVIDIA và Kiến trúc thiết bị điện toán hợp nhất (CUDA) để sử dụng kim loại trần.

NVIDIA Base Command Manager (BCM) đóng vai trò là trình quản lý cụm bằng cách cài đặt phần mềm trên các hệ thống máy chủ trong cụm, triển khai Kubernetes và giám sát trạng thái cụm. Cung cấp máy chủ là cốt lõi của một cụm hoạt động tốt, với khả năng tải hệ điều hành, trình điều khiển, chương trình cơ sở và phần mềm quan trọng khác trên mỗi hệ thống máy chủ. Việc triển khai Kubernetes bao gồm cài đặt GPU Operator và Network Operator, một phần quan trọng của việc hỗ trợ kết cấu mạng và GPU. NVIDIA BCM hỗ trợ cả quản lý máy chủ lưu trữ trạng thái và không trạng thái, theo dõi từng hệ thống, tình trạng của hệ thống và thu thập các số liệu mà quản trị viên có thể xem trong thời gian thực hoặc có thể tổng hợp thành báo cáo.

Ở lớp trên cùng của giải pháp, là phần mềm NVIDIA AI Enterprise giúp tăng tốc quy trình khoa học dữ liệu và hợp lý hóa quá trình phát triển và triển khai AI sản xuất bao gồm AI tổng quát, thị giác máy tính, AI lời nói, v.v. Cho dù ban đầu phát triển một mô hình AI mới hay sử dụng một trong các quy trình AI tham chiếu làm mẫu để bắt đầu, NVIDIA AI Enterprise đều cung cấp phần mềm toàn diện, ổn định, an toàn đang phát triển nhanh chóng và được NVIDIA hỗ trợ đầy đủ.

Với Kubernetes được triển khai trong giải pháp, có thể cài đặt một số giải pháp MLOps khác nhau, cho dù là các giải pháp nguồn mở như Kubeflow và MLFlow hay các giải pháp được hỗ trợ nổi bật như cnvrg.io, Domino, H2O.ai, Run:ai, v.v. . Mỗi giải pháp này có thể được triển khai để hoạt động trong kịch bản đám mây đa cụm và đám mây lai.