Doanh nghiệp AI của NVIDIA

NVIDIA AI Enterprise là bộ phần mềm phân tích dữ liệu và AI toàn diện, dựa trên đám mây. Nó được NVIDIA tối ưu hóa, chứng nhận và hỗ trợ để chạy độc quyền trên VMware vSphere với Hệ thống được NVIDIA chứng nhận, như minh họa trong hình sau:

Hình 2.   NVIDIA AI Enterprise—bộ AI toàn diện

NVIDIA AI Enterprise bao gồm các công nghệ và phần mềm hỗ trợ chính của NVIDIA để triển khai, quản lý và mở rộng nhanh chóng khối lượng công việc AI trong đám mây lai hiện đại. Giấy phép NVIDIA và hỗ trợ NVIDIA AI Enterprise.

Phần mềm trong bộ NVIDIA AI Enterprise được tổ chức thành các lớp sau:

• Phần mềm tối ưu hóa cơ sở hạ tầng:

• NVIDIA vGPU —Phần mềm NVIDIA vGPU tạo GPU ảo có thể được chia sẻ trên nhiều máy ảo cho phép bộ phận CNTT sử dụng các lợi ích quản lý và bảo mật của ảo hóa cũng như hiệu suất của GPU NVIDIA.
• Bộ công cụ NVIDIA CUDA —Bộ công cụ CUDA bao gồm các thư viện được tăng tốc GPU, công cụ gỡ lỗi và tối ưu hóa, trình biên dịch C/C++ và thư viện thời gian chạy để xây dựng và triển khai ứng dụng AI của bạn.
• NVIDIA Magnum IO — Ngăn xếp Magnum IO chứa các thư viện mà các nhà phát triển cần để tạo và tối ưu hóa ứng dụng IO trên toàn bộ ngăn xếp, bao gồm:
  • Kết nối mạng trên NVIDIA NVLink
  • Ethernet
  • InfinBand
  • API lưu trữ
  • Điện toán trong mạng để tăng tốc hoạt động đa nút
  • Quản lý IO của phần cứng mạng

• Phần mềm Cloud-Native Deployment, cần thiết để hỗ trợ VMware Tanzu:

• NVIDIA GPU Operator  sử dụng khung toán tử trong Kubernetes để tự động hóa việc quản lý tất cả các thành phần phần mềm NVIDIA cần thiết để cung cấp GPU. Các thành phần này bao gồm trình điều khiển NVIDIA (để kích hoạt CUDA), trình cắm thiết bị Kubernetes dành cho GPU, Thời gian chạy bộ chứa NVIDIA, gắn nhãn nút tự động, giám sát dựa trên DCGM và các thành phần khác.
• NVIDIA Network Operator  sử dụng khung toán tử trong Kubernetes để quản lý các thành phần liên quan đến mạng nhằm kích hoạt kết nối mạng nhanh, RDMA và GPUDirect cho khối lượng công việc trong cụm Kubernetes. Nhà điều hành mạng làm việc với Nhà điều hành GPU để kích hoạt GPU-Direct RDMA trên các hệ thống tương thích.

• AI và khung khoa học dữ liệu bao gồm các vùng chứa được xác thực sau trên VMware vSphere:

• NVIDIA RAPIDS  là một khung máy học mã nguồn mở. RAPIDS mang đến khả năng tối ưu hóa GPU cho các vấn đề được giải quyết theo cách truyền thống bằng cách sử dụng các công cụ như Hadoop hoặc Scikit-learning và pandas. RAPIDS là một công cụ hữu ích để làm việc với các định dạng dữ liệu dạng bảng và dữ liệu khác; nó cũng là một công cụ thiết yếu để chuẩn bị dữ liệu, định dạng dữ liệu và ghi nhãn dữ liệu. RAPIDS là một thành phần quan trọng để bắt đầu bất kỳ quy trình AI nào yêu cầu tiền xử lý dữ liệu.
• TensorFlow  là một khung mã nguồn mở dành cho máy học được triển khai bằng sự kết hợp giữa các công cụ C++ và NVIDIA CUDA. Lần đầu tiên được Google phát triển, nó đã trở thành một công cụ chính cho deep learning kể từ khi ra mắt vào năm 2015. Bộ chứa TensorFlow được cung cấp có hỗ trợ đầy đủ cho GPU, cũng như các khả năng đa GPU và đa nút cùng với các tối ưu hóa GPU đã được NVIDIA thử nghiệm.
• PyTorch  là một Khung học sâu Python mã nguồn mở. Facebook đã tạo PyTorch, giống như Tensorflow, là một khung AI hàng đầu. Bộ chứa PyTorch được xuất bản thông qua NVIDIA AI Enterprise bao gồm phần mềm cần thiết để chạy các khối lượng công việc GPU đơn, đa GPU hoặc đa nút.
• NVIDIA TensorRT  chuyển đổi các mô hình được phát triển trong các khung như TensorFlow và PyTorch bằng cách biên dịch chúng thành một định dạng được tối ưu hóa để suy luận trên một nền tảng thời gian chạy cụ thể. Khi biên dịch một mô hình với TensorRT, các tính năng bao gồm tối ưu hóa độ chính xác bit, tối ưu hóa biểu đồ mạng thần kinh và điều chỉnh tự động dẫn đến một mô hình hiệu quả hơn để suy luận. Lợi ích hiệu suất có thể là đáng kể tùy thuộc vào loại mô hình đang được phát triển. Nói chung, các mô hình được biên dịch bằng TensorRT chiếm ít bộ nhớ hơn và thực hiện các tác vụ suy luận nhanh hơn định dạng gốc.
• NVIDIA Triton Inference Server  là một mô hình mã nguồn mở phục vụ phần mềm giúp đơn giản hóa việc triển khai các mô hình AI sản xuất trên quy mô lớn. Nó cho phép các nhóm triển khai các mô hình AI được đào tạo từ bất kỳ khung nào, bao gồm các mô hình TensorRT được tối ưu hóa trên bất kỳ cơ sở hạ tầng dựa trên GPU, đa GPU hoặc CPU nào. Khi các mô hình được đào tạo lại, nhân viên CNTT có thể dễ dàng triển khai các bản cập nhật mà không cần khởi động lại máy chủ suy luận hoặc làm gián đoạn ứng dụng gọi điện. Triton hỗ trợ nhiều loại suy luận bao gồm thời gian thực, hàng loạt và phát trực tuyến. Nó cũng hỗ trợ các tập hợp mô hình hiệu quả nếu quy trình của bạn có nhiều mô hình chia sẻ đầu vào và đầu ra, chẳng hạn như trong AI đàm thoại.

Cấp phép và hỗ trợ doanh nghiệp

NVIDIA AI Enterprise được cấp phép cho mỗi ổ cắm CPU và có thể được mua thông qua Phần mềm & Thiết bị ngoại vi của Dell. Bạn có thể mua các sản phẩm NVIDIA AI Enterprise dưới dạng giấy phép vĩnh viễn với các dịch vụ hỗ trợ hoặc dưới dạng đăng ký hàng năm hoặc nhiều năm. Giấy phép vĩnh viễn cung cấp quyền sử dụng phần mềm NVIDIA AI Enterprise vô thời hạn, không hết hạn. Bạn phải mua NVIDIA AI Enterprise với giấy phép vĩnh viễn với các dịch vụ hỗ trợ một năm, ba năm hoặc năm năm. Dịch vụ hỗ trợ một năm cũng có sẵn để gia hạn. Để biết thêm thông tin, hãy xem  Hướng dẫn đóng gói, định giá và cấp phép doanh nghiệp AI của NVIDIA .

Dịch vụ hỗ trợ NVIDIA  cho bộ phần mềm NVIDIA AI Enterprise cung cấp khả năng truy cập liền mạch vào các bản vá lỗi, cập nhật, nâng cấp và hỗ trợ kỹ thuật phần mềm toàn diện.

GPU NVIDIA Ampere

Công nghệ Tensor Core trong kiến ​​trúc Ampere đã mang lại hiệu suất đáng kể cho khối lượng công việc AI. Thử nghiệm quy mô lớn và nghiên cứu trường hợp khách hàng chứng minh rằng GPU Ampere dựa trên Tensor Core có thể giảm đáng kể thời gian đào tạo. Hai loại GPU Ampere có sẵn cho khối lượng công việc tính toán:

• GPU NVIDIA A100 —GPU Tensor Core này có thể đạt được khả năng tăng tốc lớn cho khối lượng công việc đào tạo. Các chuyên gia CNTT được hưởng lợi từ việc giảm độ phức tạp trong vận hành bằng cách sử dụng một công nghệ duy nhất dễ dàng tích hợp và quản lý cho các trường hợp sử dụng này. GPU A100 là thẻ PCI Express (PCIe) Gen4 10,5 inch hai khe cắm dựa trên GPU NVIDIA Ampere A100. Nó sử dụng một tản nhiệt thụ động để làm mát. A100 PCIe hỗ trợ các tác vụ điện toán có độ chính xác kép (FP64), độ chính xác đơn (FP32) và độ chính xác một nửa (FP16). Nó cũng hỗ trợ bộ nhớ ảo hợp nhất và một công cụ di chuyển trang.
• GPU NVIDIA A30 —GPU Tensor Core này là GPU điện toán chính linh hoạt nhất dành cho suy luận AI và khối lượng công việc chính của doanh nghiệp. Nó hỗ trợ một loạt các phép toán chính xác, cung cấp một máy gia tốc duy nhất để đẩy nhanh mọi khối lượng công việc. Được xây dựng để suy luận AI trên quy mô lớn, cùng một tài nguyên điện toán có thể nhanh chóng đào tạo lại các mô hình AI với TF32, cũng như tăng tốc các ứng dụng điện toán hiệu năng cao (HPC) bằng cách sử dụng Lõi FP64 Tensor. MIG và FP64 Tensor Cores kết hợp với băng thông bộ nhớ nhanh 933 GB/giây trong vỏ bọc công suất thấp 165 W, tất cả đều chạy trên thẻ PCIe tối ưu cho các máy chủ phổ thông.

GPU A100 và A30 hỗ trợ tính năng MIG, cho phép quản trị viên phân vùng một GPU thành nhiều phiên bản, mỗi phiên bản được cách ly hoàn toàn với bộ nhớ, bộ đệm và điện toán băng thông cao riêng. Thẻ A100 PCIe hỗ trợ cấu hình MIG với tối đa bảy phiên bản GPU cho mỗi GPU A100, trong khi GPU A30 hỗ trợ tối đa bốn phiên bản GPU. Để biết thêm thông tin, hãy xem phần về GPU ảo trong  Virtualizing GPUs for AI with VMware and NVIDIA  design guide. 

ConnectX SmartNIC

ConnectX-6 Dx SmartNIC là thẻ giao diện mạng đám mây tiên tiến và an toàn giúp tăng tốc các ứng dụng trung tâm dữ liệu quan trọng, chẳng hạn như ảo hóa, SDN/NFV, dữ liệu lớn, học máy, bảo mật mạng và lưu trữ. ConnectX-6 hỗ trợ Truy cập bộ nhớ trực tiếp từ xa (RDMA) qua Ethernet hội tụ (RoCE), giao thức mạng cần thiết cho đào tạo đa nút với GPUDirect RDMA. Trong thiết kế đã được kiểm chứng này, chúng tôi sử dụng ConnectX-6 Lx cho kết nối Ethernet 25 Gb/giây và tùy chọn ConnectX-6 Dx cho kết nối Ethernet 100 Gb/giây.

Hệ thống được NVIDIA chứng nhận 

Để thành công với các sáng kiến ​​trí tuệ nhân tạo và máy học, các doanh nghiệp cần có cơ sở hạ tầng điện toán nhất quán hiện đại cung cấp chức năng, hiệu suất, bảo mật và khả năng mở rộng. Các tổ chức cũng được hưởng lợi khi họ có thể chạy cả khối lượng công việc phát triển và sản xuất bằng công nghệ chung. Với Hệ thống được chứng nhận NVIDIA của Dell Technologies, doanh nghiệp có thể tự tin lựa chọn phần cứng được tối ưu hóa hiệu suất để chạy các giải pháp phần mềm VMware và NVIDIA—tất cả đều được hỗ trợ ở cấp độ doanh nghiệp.

Dell Technologies sản xuất nhiều loại máy chủ PowerEdge đủ điều kiện là Hệ thống được NVIDIA chứng nhận. Các Hệ thống được NVIDIA chứng nhận đi kèm với GPU A100 và A30 Tensor Core kiến ​​trúc NVIDIA Ampere và bộ điều hợp mạng NVIDIA Mellanox ConnectX-6 mới nhất.

Một nhóm nhỏ Hệ thống được NVIDIA chứng nhận sẽ trải qua chứng nhận bổ sung, bao gồm chứng nhận GPU VMware, để đảm bảo khả năng tương thích với NVIDIA AI Enterprise. Hệ thống được NVIDIA chứng nhận tương thích với NVIDIA AI Enterprise tuân thủ các phương pháp hay nhất về thiết kế của NVIDIA và đã vượt qua các bài kiểm tra chứng nhận giải quyết nhiều trường hợp sử dụng trên cơ sở hạ tầng VMware vSphere. Các trường hợp sử dụng này bao gồm đào tạo học sâu, suy luận AI, thuật toán khoa học dữ liệu, phân tích video thông minh, bảo mật cũng như giảm tải mạng và lưu trữ cho cả cụm một nút và nhiều nút.