Các GPU NVIDIA sau đây nằm trong số các thành phần tăng tốc NVIDIA được sử dụng trong kiến ​​trúc giải pháp AI tổng quát này.

NVIDIA H100 Tenor Core GPU

GPU NVIDIA H100 Tensor Core mang lại hiệu suất, khả năng mở rộng và bảo mật chưa từng có cho mọi khối lượng công việc. Với Hệ thống chuyển mạch NVLInk thế hệ thứ tư của NVIDIA, GPU NVIDIA H100 tăng tốc khối lượng công việc AI với Công cụ biến áp chuyên dụng cho các mô hình ngôn ngữ nghìn tỷ tham số. GPU NVIDIA H100 sử dụng những cải tiến đột phá trong kiến ​​trúc NVIDIA Hopper để cung cấp AI đàm thoại đầu ngành, tăng tốc các mô hình ngôn ngữ lớn gấp 30 lần so với thế hệ trước.

Đối với các công việc nhỏ, GPU NVIDIA H100 có thể được phân vùng thành các phân vùng GPU Đa phiên bản (MIG) có kích thước phù hợp. Với Điện toán bí mật Hopper, sức mạnh tính toán có thể mở rộng này có thể bảo mật các ứng dụng nhạy cảm trên cơ sở hạ tầng trung tâm dữ liệu dùng chung. Việc bao gồm bộ phần mềm NVIDIA AI Enterprise giúp giảm thời gian phát triển và đơn giản hóa việc triển khai khối lượng công việc AI, đồng thời biến GPU NVIDIA H100 trở thành nền tảng trung tâm dữ liệu HPC và AI đầu cuối mạnh mẽ nhất.

GPU NVIDIA L40

Bộ tăng tốc GPU NVIDIA L40 là giải pháp đồ họa PCI Express Gen4 10,5 inch có chiều cao đầy đủ, chiều dài đầy đủ (FHFL), khe cắm kép dựa trên Kiến trúc NVIDIA Ada Lovelace mới nhất. Thẻ được làm mát thụ động và có khả năng cung cấp công suất bo mạch tối đa 300 W.

GPU NVIDIA L40 hỗ trợ dò tia được tăng tốc phần cứng mới nhất, các tính năng AI mang tính cách mạng, tạo bóng tiên tiến và khả năng mô phỏng mạnh mẽ cho nhiều trường hợp sử dụng đồ họa và điện toán trong triển khai trung tâm dữ liệu và máy chủ biên. Hỗ trợ này bao gồm NVIDIA Omniverse, chơi game trên đám mây, kết xuất hàng loạt, máy trạm ảo và đào tạo học sâu cũng như khối lượng công việc suy luận.

Là một phần của nền tảng máy chủ NVIDIA OVX, GPU NVIDIA L40 mang lại hiệu suất đồ họa, dò tia và mô phỏng ở mức cao nhất cho NVIDIA Omniverse. Với bộ nhớ GDDR6 48 GB, ngay cả những ứng dụng đồ họa nặng nhất cũng chạy với mức hiệu suất cao nhất.

NVIDIA L4 Tenor Core GPU

GPU NVIDIA Ada Lovelace L4 Tensor Core mang đến khả năng tăng tốc toàn cầu và tiết kiệm năng lượng cho video, AI, máy tính để bàn ảo hóa và các ứng dụng đồ họa trong doanh nghiệp, trên đám mây và ở vùng biên. Với nền tảng AI của NVIDIA và phương pháp tiếp cận toàn bộ, GPU NVIDIA L4 được tối ưu hóa để suy luận trên quy mô lớn cho nhiều ứng dụng AI, bao gồm đề xuất, trợ lý hình đại diện AI dựa trên giọng nói, AI tổng hợp, tìm kiếm trực quan và tự động hóa trung tâm liên lạc để cung cấp những trải nghiệm cá nhân tốt nhất.

GPU NVIDIA L4 là bộ tăng tốc NVIDIA hiệu quả nhất cho mục đích sử dụng chính. Các máy chủ được trang bị GPU NVIDIA L4 cung cấp hiệu suất video AI cao hơn tới 120 lần và hiệu suất AI tổng thể cao hơn 2,5 lần so với các giải pháp CPU, cũng như hiệu suất đồ họa cao hơn bốn lần so với thế hệ GPU trước đó. Tính linh hoạt và hệ số dạng cấu hình thấp, một khe cắm, tiết kiệm năng lượng của GPU NVIDIA L4 khiến nó trở nên lý tưởng cho việc triển khai toàn cầu, bao gồm cả các vị trí biên.

NVIDIA NVLink và NVSwitch

NVIDIA NVLink là một kết nối nhanh, có khả năng mở rộng, hỗ trợ các hệ thống đa nút, đa GPU với khả năng giao tiếp tốc độ cao, liền mạch giữa mọi GPU. Thế hệ thứ tư của công nghệ NVIDIA NVLink cung cấp băng thông cao hơn 1,5 lần và khả năng mở rộng được cải thiện cho các cấu hình hệ thống đa GPU. Một GPU NVIDIA H100 Tensor Core duy nhất hỗ trợ tối đa 18 kết nối NVLink với tổng băng thông là 900 gigabyte mỗi giây (GB/giây), gấp bảy lần băng thông của PCIe Gen5.

Để có khả năng mở rộng lớn hơn nữa,  NVIDIA  NVSwitch xây dựng dựa trên khả năng giao tiếp tiên tiến của NVIDIA NVLink để cung cấp băng thông cao hơn và giảm độ trễ cho khối lượng công việc tính toán chuyên sâu. Để kích hoạt các hoạt động tập thể, tốc độ cao, mỗi NVIDIA NVSwitch có 64 cổng NVIDIA NVLink được trang bị các công cụ cho Giao thức giảm tổng hợp phân cấp có thể mở rộng NVIDIA (SHARP) để giảm thiểu trong mạng và tăng tốc phát đa hướng.