MLCommons™ là một nhóm kỹ thuật mở gồm các chuyên gia về học sâu tập trung vào việc cải thiện quy trình học máy liên quan đến khả năng tăng tốc hệ thống, khả năng truy cập dễ dàng và tiêu chuẩn hóa công cụ học sâu. Nó được thành lập bởi các chuyên gia từ các lĩnh vực khác nhau như các công ty quy mô lớn, các công ty khởi nghiệp, học giả và viện nghiên cứu. MLCommons lưu trữ các điểm chuẩn MLPerf với mục đích tạo ra các điểm chuẩn hiệu quả. Các điểm chuẩn này nhằm mục đích tương quan với các trường hợp sử dụng trong thế giới thực mà khách hàng thường xuyên gặp phải trong cài đặt trung tâm dữ liệu của họ.

Điểm chuẩn Đào tạo MLPerf nhằm mục đích thể hiện hợp lý khối lượng công việc không chỉ yêu cầu thông lượng cao và khả năng tính toán cao mà còn đạt được chỉ số hội tụ mục tiêu dự kiến. Nó đo thời gian hội tụ. MLPerf không đo thông lượng hệ thống làm thước đo chính vì thông lượng có thể dễ dàng bị thao túng bằng cách tăng kích thước lô. Sự hội tụ không thể dễ dàng bị thao túng như thông lượng.

Đào tạo MLPerf bao gồm hai phần: Mở và Đóng.

Bộ phận Mở hỗ trợ các kiến ​​trúc mô hình mới, cơ chế cập nhật mô hình (bộ tối ưu hóa) và các nghiên cứu khác nhằm đạt được chất lượng dịch vụ mục tiêu (độ chính xác).

Nội dung gửi của chúng tôi tới chương trình đào tạo MLPerf là ​​dành cho Bộ phận Đóng, trong đó nội dung gửi đảm bảo việc so sánh có thể được thực hiện tương tự giữa những người gửi bộ phận Đóng khác. Bộ phận Đóng bắt buộc các nội dung gửi phải tuân theo cùng một quy trình xử lý trước tập dữ liệu, mô hình, phương pháp đào tạo và mục tiêu chất lượng như cách triển khai tham chiếu. Ví dụ: siêu tham số phải giống với cách triển khai tham chiếu. Siêu tham số bao gồm các trình tối ưu hóa được sử dụng và các giá trị như định mức chính quy và phân rã trọng số. Các định dạng số fp64, fp32, tf32, fp16, fp8, bfloat16, int8, uint8, int4 và uint4 đã được phê duyệt trước để sử dụng. Các định dạng bổ sung yêu cầu sự chấp thuận rõ ràng.

Bảng sau liệt kê các điểm chuẩn có sẵn để gửi và mục tiêu chất lượng mong đợi tương ứng của chúng. Để nội dung gửi có giá trị, độ chính xác của mô hình cụ thể đó phải hội tụ đến mục tiêu chất lượng được chỉ định.

Bảng 1.     Điểm chuẩn có sẵn trong MLPerf Training v3.0

Bảng sau đây hiển thị số lần chạy dự kiến ​​​​tối thiểu cho điểm chuẩn hợp lệ trong phần Đóng:

Ban 2.     Số lần chạy dự kiến ​​tối thiểu

Bộ đào tạo MLPerf sử dụng trình kiểm tra tuân thủ để đảm bảo rằng việc gửi bài được thực hiện theo tiêu chuẩn một cách công bằng. Việc kiểm tra này diễn ra thông qua gói và trình kiểm tra RCP. Trình kiểm tra gói đảm bảo rằng các tiêu chí mong đợi được đáp ứng, như được xác định bởi quy tắc phân chia khép kín.

Trình kiểm tra RCP đảm bảo rằng độ hội tụ của điểm chuẩn được gửi không sai lệch so với độ hội tụ của tham chiếu. Mục đích của nó là để tránh trường hợp tốc độ hội tụ đệ trình nhanh hơn tham chiếu. Sự hội tụ triển khai tham chiếu đặt ra giới hạn dưới cho sự hội tụ kỷ nguyên mà một lần gửi hợp lệ không được vượt qua.

Các tính năng mới