Doanh nghiệp trí tuệ nhân tạo NVIDIA

NVIDIA AI Enterprise là bộ phần mềm phân tích dữ liệu và AI gốc từ đầu đến cuối, dựa trên nền tảng đám mây. Nó được NVIDIA tối ưu hóa, chứng nhận và hỗ trợ để chạy độc quyền trên VMware vSphere với Hệ thống được NVIDIA chứng nhận, như minh họa trong hình sau:

Hình 2.   NVIDIA AI Enterprise—bộ AI toàn diện

NVIDIA AI Enterprise bao gồm các công nghệ và phần mềm hỗ trợ chính của NVIDIA để triển khai, quản lý và mở rộng quy mô khối lượng công việc AI một cách nhanh chóng trong đám mây lai hiện đại. NVIDIA cấp phép và hỗ trợ NVIDIA AI Enterprise.

Phần mềm trong bộ NVIDIA AI Enterprise được tổ chức thành các lớp sau:

• Phần mềm tối ưu hóa cơ sở hạ tầng:

• NVIDIA vGPU —Phần mềm NVIDIA vGPU tạo ra các GPU ảo có thể được chia sẻ trên nhiều máy ảo, cho phép CNTT sử dụng các lợi ích quản lý và bảo mật của ảo hóa cũng như hiệu suất của GPU NVIDIA.
• Bộ công cụ NVIDIA CUDA —Bộ công cụ CUDA bao gồm các thư viện được tăng tốc GPU, các công cụ gỡ lỗi và tối ưu hóa, trình biên dịch C/C++ và thư viện thời gian chạy để xây dựng và triển khai ứng dụng AI của bạn.
• NVIDIA Magnum IO —Magnum IO stack chứa các thư viện mà nhà phát triển cần để tạo và tối ưu hóa ứng dụng IO trên toàn bộ ngăn xếp, bao gồm:
  • Kết nối mạng trên NVIDIA NVLink
  • Ethernet
  • InfinBand
  • API lưu trữ
  • Tính toán trong mạng để tăng tốc hoạt động đa nút
  • Quản lý IO của phần cứng mạng

• Phần mềm Triển khai Cloud-Native cần thiết để hỗ trợ VMware Tanzu:

• NVIDIA GPU Operator  sử dụng khung toán tử trong Kubernetes để tự động hóa việc quản lý tất cả các thành phần phần mềm NVIDIA cần thiết để cung cấp GPU. Các thành phần này bao gồm trình điều khiển NVIDIA (để bật CUDA), plug-in thiết bị Kubernetes cho GPU, NVIDIA Container Runtime, ghi nhãn nút tự động, giám sát dựa trên DCGM và các thành phần khác.
• NVIDIA Network Operator  sử dụng khung toán tử trong Kubernetes để quản lý các thành phần liên quan đến mạng nhằm hỗ trợ kết nối mạng, RDMA và GPUDirect nhanh chóng cho khối lượng công việc trong cụm Kubernetes. Nhà điều hành mạng làm việc với Nhà điều hành GPU để kích hoạt RDMA GPU-Direct trên các hệ thống tương thích.

• Khung khoa học dữ liệu và AI bao gồm các vùng chứa đã được xác thực sau trên VMware vSphere:

• NVIDIA RAPIDS  là một khung học máy nguồn mở. RAPIDS mang lại khả năng tối ưu hóa GPU cho các vấn đề được giải quyết theo cách truyền thống bằng cách sử dụng các công cụ như Hadoop hoặc Scikit-learn và gấu trúc. RAPIDS là một công cụ hữu ích để làm việc với các định dạng dữ liệu dạng bảng và các định dạng dữ liệu khác; nó cũng là một công cụ thiết yếu để chuẩn bị dữ liệu, định dạng dữ liệu và ghi nhãn dữ liệu. RAPIDS là thành phần quan trọng để bắt đầu bất kỳ quy trình AI nào yêu cầu xử lý trước dữ liệu.
• TensorFlow  là một framework mã nguồn mở dành cho machine learning được triển khai bằng sự kết hợp giữa các công cụ C++ và NVIDIA CUDA. Được phát triển lần đầu tiên bởi Google, nó đã trở thành một công cụ phổ biến để học sâu kể từ khi ra mắt vào năm 2015. Bộ chứa TensorFlow được cung cấp có hỗ trợ đầy đủ cho GPU, cũng như các khả năng đa GPU và đa nút cùng với khả năng tối ưu hóa GPU đã được NVIDIA thử nghiệm.
• PyTorch  là một Khung học tập sâu Python mã nguồn mở. Facebook đã tạo ra PyTorch, giống như Tensorflow, là một framework AI hàng đầu. Các bộ chứa PyTorch được xuất bản thông qua NVIDIA AI Enterprise bao gồm phần mềm cần thiết để chạy khối lượng công việc GPU đơn, đa GPU hoặc đa nút.
• NVIDIA TensorRT  chuyển đổi các mô hình được phát triển trong các khung như TensorFlow và PyTorch bằng cách biên dịch chúng thành định dạng được tối ưu hóa để suy luận trên nền tảng thời gian chạy cụ thể. Khi biên dịch một mô hình bằng TensorRT, các tính năng bao gồm tối ưu hóa độ chính xác bit, tối ưu hóa đồ thị mạng thần kinh và điều chỉnh tự động sẽ mang lại một mô hình suy luận hiệu quả hơn. Lợi ích về hiệu suất có thể đáng kể tùy thuộc vào loại mô hình đang được phát triển. Nói chung, các mô hình được biên dịch bằng TensorRT chiếm ít bộ nhớ hơn và thực hiện các tác vụ suy luận nhanh hơn định dạng ban đầu.
• NVIDIA Triton Inference Server  là phần mềm phục vụ mô hình nguồn mở giúp đơn giản hóa việc triển khai các mô hình AI sản xuất trên quy mô lớn. Nó cho phép các nhóm triển khai các mô hình AI đã được đào tạo từ bất kỳ khung nào, bao gồm các mô hình TensorRT được tối ưu hóa trên bất kỳ cơ sở hạ tầng dựa trên GPU, đa GPU hoặc CPU nào. Khi các mô hình được đào tạo lại, nhân viên CNTT có thể dễ dàng triển khai các bản cập nhật mà không cần khởi động lại máy chủ suy luận hoặc làm gián đoạn ứng dụng gọi điện. Triton hỗ trợ nhiều loại suy luận bao gồm thời gian thực, hàng loạt và truyền phát. Nó cũng hỗ trợ các tổ hợp mô hình hiệu quả nếu quy trình của bạn có nhiều mô hình chia sẻ đầu vào và đầu ra, chẳng hạn như trong AI đàm thoại.

Cấp phép và hỗ trợ doanh nghiệp

NVIDIA AI Enterprise được cấp phép cho mỗi ổ cắm CPU và có thể được mua thông qua Phần mềm & Thiết bị ngoại vi của Dell. Bạn có thể mua các sản phẩm NVIDIA AI Enterprise dưới dạng giấy phép vĩnh viễn với các dịch vụ hỗ trợ hoặc dưới dạng đăng ký hàng năm hoặc nhiều năm. Giấy phép vĩnh viễn cung cấp quyền sử dụng phần mềm NVIDIA AI Enterprise vô thời hạn, không hết hạn. Bạn phải mua NVIDIA AI Enterprise với giấy phép vĩnh viễn với các dịch vụ hỗ trợ một năm, ba năm hoặc năm năm. Dịch vụ hỗ trợ một năm cũng có sẵn để gia hạn. Để biết thêm thông tin, hãy xem  Hướng dẫn đóng gói, định giá và cấp phép dành cho doanh nghiệp NVIDIA AI .

Dịch vụ Hỗ trợ NVIDIA  dành cho bộ phần mềm NVIDIA AI Enterprise cung cấp khả năng truy cập liền mạch vào các bản vá, cập nhật, nâng cấp và hỗ trợ kỹ thuật toàn diện về phần mềm.

GPU NVIDIA Ampe

Công nghệ Tensor Core trong kiến ​​trúc Ampere đã mang lại hiệu suất tăng đáng kể cho khối lượng công việc AI. Thử nghiệm quy mô lớn và nghiên cứu điển hình về khách hàng chứng minh rằng GPU Ampere dựa trên Tensor Core có thể giảm đáng kể thời gian đào tạo. Hai loại GPU Ampere có sẵn cho khối lượng công việc điện toán:

• GPU NVIDIA A100 —GPU Tensor Core này có thể đạt được khả năng tăng tốc lớn cho khối lượng công việc đào tạo. Các chuyên gia CNTT được hưởng lợi từ việc giảm độ phức tạp trong vận hành bằng cách sử dụng một công nghệ duy nhất dễ dàng tích hợp và quản lý cho các trường hợp sử dụng này. GPU A100 là thẻ Gen4 PCI Express (PCIe) 10,5 inch hai khe cắm dựa trên GPU NVIDIA Ampere A100. Nó sử dụng tản nhiệt thụ động để làm mát. A100 PCIe hỗ trợ các tác vụ tính toán có độ chính xác kép (FP64), độ chính xác đơn (FP32) và độ chính xác một nửa (FP16). Nó cũng hỗ trợ bộ nhớ ảo hợp nhất và công cụ di chuyển trang.
• GPU NVIDIA A30 —GPU Tensor Core này là GPU điện toán phổ thông linh hoạt nhất dành cho suy luận AI và khối lượng công việc phổ thông của doanh nghiệp. Nó hỗ trợ nhiều phép toán chính xác, cung cấp một bộ tăng tốc duy nhất để đẩy nhanh mọi khối lượng công việc. Được xây dựng để suy luận AI trên quy mô lớn, cùng một tài nguyên điện toán có thể nhanh chóng đào tạo lại các mô hình AI bằng TF32, cũng như tăng tốc các ứng dụng điện toán hiệu năng cao (HPC) bằng cách sử dụng Lõi Tensor FP64. Lõi Tensor MIG và FP64 kết hợp với băng thông bộ nhớ nhanh 933 GB/s trong mức công suất thấp 165 W, tất cả đều chạy trên thẻ PCIe tối ưu cho các máy chủ phổ thông.

GPU A100 và A30 hỗ trợ tính năng MIG, cho phép quản trị viên phân vùng một GPU thành nhiều phiên bản, mỗi phiên bản được cách ly hoàn toàn với bộ nhớ, bộ đệm và điện toán băng thông cao riêng. Thẻ PCIe A100 hỗ trợ cấu hình MIG với tối đa bảy phiên bản GPU trên mỗi GPU A100, trong khi GPU A30 hỗ trợ tối đa bốn phiên bản GPU. Để biết thêm thông tin, hãy xem phần về GPU ảo trong  hướng dẫn thiết kế GPU ảo hóa cho AI với VMware và NVIDIA  . 

ConnectX SmartNIC

ConnectX-6 Dx SmartNIC là thẻ giao diện mạng đám mây an toàn và tiên tiến giúp tăng tốc các ứng dụng trung tâm dữ liệu quan trọng như ảo hóa, SDN/NFV, dữ liệu lớn, máy học, bảo mật mạng và lưu trữ. ConnectX-6 hỗ trợ Truy cập bộ nhớ trực tiếp từ xa (RDMA) qua Ethernet hội tụ (RoCE), giao thức mạng cần thiết để đào tạo nhiều nút với GPUDirect RDMA. Trong thiết kế đã được xác thực này, chúng tôi sử dụng ConnectX-6 Lx cho kết nối Ethernet 25 Gb/s và tùy chọn ConnectX-6 Dx cho kết nối Ethernet 100 Gb/s.

Hệ thống được NVIDIA chứng nhận 

Để thành công với các sáng kiến ​​máy học và AI, doanh nghiệp cần có cơ sở hạ tầng điện toán mạch lạc hiện đại, cung cấp chức năng, hiệu suất, bảo mật và khả năng mở rộng. Các tổ chức cũng được hưởng lợi khi họ có thể thực hiện cả khối lượng công việc phát triển và sản xuất bằng công nghệ phổ biến. Với Hệ thống được chứng nhận NVIDIA từ Dell Technologies, doanh nghiệp có thể tự tin lựa chọn phần cứng được tối ưu hóa hiệu suất chạy các giải pháp phần mềm VMware và NVIDIA—tất cả đều được hỗ trợ bởi sự hỗ trợ cấp doanh nghiệp.

Dell Technologies sản xuất nhiều loại máy chủ PowerEdge đủ tiêu chuẩn là Hệ thống được NVIDIA chứng nhận. Các hệ thống được NVIDIA chứng nhận được trang bị GPU NVIDIA Ampere A100 và A30 Tensor Core cũng như bộ điều hợp mạng NVIDIA Mellanox ConnectX-6 mới nhất.

Một nhóm nhỏ Hệ thống được NVIDIA chứng nhận sẽ trải qua chứng nhận bổ sung, bao gồm chứng nhận GPU VMware, để đảm bảo khả năng tương thích với NVIDIA AI Enterprise. Hệ thống được NVIDIA chứng nhận tương thích với NVIDIA AI Enterprise tuân thủ các phương pháp thiết kế tốt nhất của NVIDIA và đã vượt qua các bài kiểm tra chứng nhận nhằm giải quyết nhiều trường hợp sử dụng trên cơ sở hạ tầng VMware vSphere. Các trường hợp sử dụng này bao gồm đào tạo deep learning, suy luận AI, thuật toán khoa học dữ liệu, phân tích video thông minh, bảo mật cũng như giảm tải mạng và lưu trữ cho cả cụm nút đơn và cụm đa nút.