Bản phát hành gần đây của kết quả MLPerf Training v3.1 bao gồm điểm chuẩn Khuếch tán ổn định mới ra mắt. Tại thời điểm xuất bản, Dell Technologies dẫn đầu thị trường OEM về tiêu chuẩn hiệu suất này để đào tạo mô hình nền tảng AI sáng tạo, đặc biệt là mô hình Khuếch tán ổn định. Với việc gửi máy chủ Dell PowerEdge XE9680, Dell Technologies nổi bật là nhà cung cấp duy nhất có điểm Khuếch tán ổn định cho hệ thống tám chiều. Thời gian hội tụ khi sử dụng 8 GPU NVIDIA H100 Tensor Core là 46,7 phút. 

Tổng quan

Việc triển khai khối lượng công việc AI sáng tạo đang tăng trưởng với tốc độ chưa từng có. Những lý do chính bao gồm năng suất tăng lên và sự hội tụ ngày càng tăng của đầu vào đa phương thức. Việc tạo nội dung đã trở nên dễ dàng hơn và ngày càng trở nên hợp lý hơn trong nhiều ngành khác nhau. AI sáng tạo đã hỗ trợ nhiều trường hợp sử dụng của doanh nghiệp và nó tiếp tục mở rộng bằng cách khám phá nhiều biên giới hơn. Sự tăng trưởng này có thể là do các thế hệ chuyển văn bản thành hình ảnh có độ phân giải cao hơn, chuyển văn bản thành video và các thế hệ phương thức khác. Đối với những nhiệm vụ AI ấn tượng này, nhu cầu điện toán thậm chí còn mở rộng hơn. Một số khối lượng công việc AI tổng quát phổ biến hơn bao gồm chatbot, tạo video, tạo nhạc, tạo nội dung 3D, v.v. 

Khuếch tán ổn định là mô hình chuyển văn bản thành hình ảnh học sâu, chấp nhận văn bản đầu vào và tạo ra hình ảnh tương ứng. Kết quả đầu ra đáng tin cậy và có vẻ thực tế. Đôi khi, khó có thể biết được hình ảnh đó có phải do máy tính tạo ra hay không. Việc xem xét khối lượng công việc này rất quan trọng vì sự mở rộng nhanh chóng của các trường hợp sử dụng như Thương mại điện tử, tiếp thị, thiết kế đồ họa, mô phỏng, tạo video, thời trang ứng dụng, thiết kế web, v.v.  

Vì những khối lượng công việc này yêu cầu tính toán chuyên sâu để đào tạo nên việc đo lường hiệu suất hệ thống trong quá trình sử dụng là điều cần thiết. Là một điểm chuẩn của hệ thống AI, MLPerf đã nổi lên như một cách tiêu chuẩn để so sánh những người gửi khác nhau bao gồm OEM, nhà cung cấp máy gia tốc và những người khác theo cách tương tự. 

MLPerf gần đây đã giới thiệu điểm chuẩn Khuếch tán ổn định cho Đào tạo MLPerf v3.1. Nó đo thời gian hội tụ khối lượng công việc Khuếch tán ổn định để đạt được mục tiêu chất lượng mong đợi. Điểm chuẩn sử dụng mô hình Stable Diffusion v2 được đào tạo trên tập dữ liệu được lọc LAION-400M . Bộ dữ liệu LAION 400M ban đầu có 400 triệu cặp hình ảnh và văn bản. Một tập hợp con của những hình ảnh đó (khoảng 6,5 triệu) được sử dụng để đào tạo trong điểm chuẩn. Tập dữ liệu xác thực là tập hợp con của 30 K hình ảnh COCO 2014. Mục tiêu chất lượng mong đợi là FID <= 90 và CLIP >=0,15.

Hình sau đây thể hiện mô hình khuếch tán tiềm ẩn [1] : 

Hình 1: Mô hình khuếch tán tiềm ẩn

[1] Nguồn:   https://arxiv.org/pdf/2112.10752.pdf

Stable Diffusion v2 là mô hình khuếch tán tiềm ẩn kết hợp bộ mã hóa tự động với mô hình khuếch tán được huấn luyện trong không gian tiềm ẩn của bộ mã hóa tự động. Khuếch tán ổn định MLPerf tập trung vào mạng khử nhiễu U-Net, có khoảng 865 M tham số. Có một số sai lệch so với mô hình v2. Tuy nhiên, những điều chỉnh này không đáng kể và khuyến khích nhiều người gửi gửi bài với các ràng buộc về tính toán hơn. 

Bài nộp sử dụng khung NVIDIA NeMo , đi kèm với NVIDIA AI Enterprise , để tạo ra AI sản xuất an toàn, được hỗ trợ và ổn định. Đó là một khuôn khổ để xây dựng, tùy chỉnh và triển khai các mô hình AI tổng quát. Nó bao gồm các khung đào tạo và hội thảo, bộ công cụ lan can bảo vệ, công cụ quản lý dữ liệu và các mô hình được đào tạo trước, mang đến cho doanh nghiệp một cách dễ dàng, tiết kiệm chi phí và nhanh chóng để áp dụng AI tổng hợp. 

Hiệu suất của máy chủ Dell PowerEdge XE9680 và các GPU dựa trên NVIDIA khác trên Khuếch tán ổn định

Hình dưới đây cho thấy hiệu suất của các hệ thống dựa trên GPU NVIDIA H100 Tensor Core trên điểm chuẩn Khuếch tán ổn định. Nó bao gồm các bài gửi từ Dell Technologies và NVIDIA sử dụng số lượng GPU NVIDIA H100 khác nhau. Kết quả hiển thị thay đổi từ 8 GPU (gửi Dell) đến 1024 GPU (gửi NVIDIA). Hình sau đây cho thấy hiệu suất dự kiến ​​của khối lượng công việc này và chứng minh rằng có thể đạt được khả năng mở rộng quy mô mạnh mẽ với ít tổn thất về quy mô hơn.  

Hình 2: Kết quả chia tỷ lệ Khuếch tán ổn định của MLPerf Training trên GPU NVIDIA H100 của Dell Technologies và NVIDIA

Người dùng cuối có thể sử dụng công nghệ tính toán tiên tiến để rút ra thời gian định giá nhanh hơn.

Phần kết luận

Những điểm chính bao gồm:

• MLPerf Training v3.1 được phát hành mới nhất đo lường khối lượng công việc AI sáng tạo như Khuếch tán ổn định.
• Dell Technologies là nhà cung cấp OEM duy nhất đã gửi bản Khuếch tán ổn định tuân thủ MLPerf.
• Máy chủ Dell PowerEdge XE9680 là một lựa chọn tuyệt vời để thu được giá trị từ khối lượng công việc AI tạo hình ảnh cho tiếp thị, nghệ thuật, chơi game, v.v. Kết quả điểm chuẩn rất nổi bật đối với Stable Diffusion v2.