Lần đầu tiên, bản phát hành mới nhất của điểm chuẩn suy luận MLPerf™ v3.1 bao gồm mô hình GPT-J để thể hiện hiệu suất của mô hình ngôn ngữ lớn (LLM) trên các hệ thống khác nhau. Với tư cách là nhân tố chủ chốt trong tập đoàn MLPerf kể từ phiên bản 0.7, Dell Technologies đã trở lại với những cập nhật thú vị về lần gửi gần đây cho mẫu GPT-J trong MLPerf Inference v3.1. Trong blog này, chúng tôi giải thích ý nghĩa của những con số mới này và trình bày những cải tiến mà Dell Technologies đạt được với máy chủ Dell PowerEdge XE9680.

Suy luận MLPerf v3.1

Suy luận MLPerf là ​​một bài kiểm tra tiêu chuẩn hóa cho hệ thống máy học (ML), cho phép người dùng so sánh hiệu suất giữa các loại phần cứng máy tính khác nhau. Thử nghiệm giúp xác định xem các mô hình, chẳng hạn như GPT-J, hoạt động tốt như thế nào trên các máy khác nhau. Các blog trước đây cung cấp phần giới thiệu suy luận MLPerf chi tiết. Để biết chi tiết chuyên sâu, hãy xem Giới thiệu về Hiệu suất suy luận MLPerf v1.0 với Máy chủ Dell . Để biết hướng dẫn từng bước về cách chạy điểm chuẩn, hãy xem Chạy điểm chuẩn suy luận MLPerf v1.0 trên Hệ thống Dell . Phiên bản suy luận v3.1 là phiên bản suy luận thứ bảy mà Dell Technologies đã tham gia. Bản gửi hiển thị hiệu suất hệ thống mới nhất cho các tác vụ và mô hình deep learning (DL) khác nhau.

Máy chủ Dell PowerEdge XE9680

Máy chủ PowerEdge XE9680 là máy chủ rack 6U làm mát bằng không khí hai ổ cắm mới nhất của Dell, được thiết kế để đào tạo và suy luận cho các mẫu ML và DL lớn có yêu cầu khắt khe nhất.

Hình 1. Máy chủ Dell PowerEdge XE9680

Các tính năng chính của hệ thống bao gồm:

• Hai bộ xử lý Intel Xeon có khả năng mở rộng thế hệ thứ 4
• Lên đến 32 khe DIMM DDR5
• Tám GPU NVIDIA HGX H100 SXM 80 GB
• Lên đến 10 khe cắm PCIe Gen5 để hỗ trợ kết nối mạng và thiết bị PCIe Gen5 mới nhất, cho phép thiết kế mạng linh hoạt
• Tối đa tám ổ SSD U.2 SAS4/SATA (với ổ fPERC12)/NVMe (PSB trực tiếp) hoặc tối đa 16 ổ E3.S NVMe (PSB trực tiếp)
• Một thiết kế để đào tạo và suy luận các mô hình lớn ML và DL có yêu cầu cao nhất cũng như chạy khối lượng công việc HPC đòi hỏi nhiều tính toán

Hình sau đây hiển thị một GPU NVIDIA H100 SXM:

Hình 2. GPU NVIDIA H100 SXM

Mô hình GPT-J cho suy luận

Các mô hình ngôn ngữ lấy mã thông báo làm đầu vào và dự đoán xác suất của mã thông báo hoặc mã thông báo tiếp theo. Phương pháp này được sử dụng rộng rãi để tạo bài luận, phát triển mã, dịch ngôn ngữ, tóm tắt và thậm chí hiểu trình tự di truyền. Mô hình GPT-J trong suy luận MLPerf v3.1 có 6 tham số B và thực hiện các tác vụ tóm tắt văn bản trên tập dữ liệu CNN-DailyMail. Mô hình có 28 lớp biến áp và độ dài chuỗi là 2048 mã thông báo.  

Cập nhật hiệu suất

Kết quả suy luận MLPerf v3.1 chính thức cho tất cả các hệ thống Dell được công bố trên https://mlcommons.org/benchmarks/inference-datacenter/ . ID hệ thống PowerEdge XE9680 là ID 3.1-0069.

 Sau khi gửi mẫu GPT-J, chúng tôi đã áp dụng các bản cập nhật chương trình cơ sở mới nhất cho máy chủ PowerEdge XE9680. Hình dưới đây cho thấy hiệu suất được cải thiện nhờ đó:

Hình 3. Cải thiện máy chủ PowerEdge XE9680 trên GPT-J Datacenter 99 và 99.9, kịch bản Máy chủ và Ngoại tuyến  [1]

Trong cả hai kịch bản Máy chủ 99 và 99,9, hiệu suất đã tăng từ 81,3 lên 84,6 một cách ấn tượng. Sự khác biệt 4,1 phần trăm này thể hiện khả năng của máy chủ theo các câu hỏi được cung cấp ngẫu nhiên trong giới hạn độ trễ do MLPerf xác định. Trong các tình huống Ngoại tuyến, hiệu suất tăng đáng chú ý 5,3% từ 101,8 lên 107,2. Những kết quả này có nghĩa là máy chủ thậm chí còn hiệu quả hơn và có khả năng xử lý khối lượng công việc LLM theo lô.

Lưu ý : Để biết chi tiết cấu hình máy chủ PowerEdge XE9680, hãy xem https://github.com/mlcommons/inference_results_v3.1/blob/main/closed/Dell/systems/XE9680_H100_SXM_80GBx8_TRT.json

Phần kết luận

Blog này tập trung vào các cập nhật của mẫu GPT-J trong bản gửi v3.1, tiếp tục hành trình trải nghiệm của Dell với suy luận MLPerf. Chúng tôi đã nêu bật những cải tiến được thực hiện đối với máy chủ PowerEdge XE9680, thể hiện cam kết của Dell trong việc nâng cao các giới hạn của điểm chuẩn ML. Khi công nghệ phát triển, Dell Technologies vẫn là người dẫn đầu, không ngừng đổi mới và mang lại kết quả nổi bật.