Chúng tôi đã tiến hành mô tả đặc điểm hiệu suất của các mẫu NeMo sau: 345M, 1.3B, 5B và 20B trên máy chủ PowerEdge R760xa với bốn GPU H100 được kết nối với NVLink Bridge. Chúng tôi đã sử dụng công cụ Trình phân tích mô hình, công cụ này cho phép chúng tôi chạy quét mô hình bằng bộ dữ liệu tổng hợp. Trong các lần quét này, Trình phân tích mô hình đã thực hiện suy luận đối với từng mô hình NeMo trong khi thay đổi số lượng yêu cầu đồng thời, cho phép chúng tôi đo lường độ trễ phản hồi và thu thập các chỉ số GPU cần thiết. Tất cả các mẫu NeMo đều chạy trên một GPU duy nhất và Trình phân tích mô hình đã tạo các báo cáo toàn diện cho mỗi lần quét này.

Mô hình tiêu thụ bộ nhớ GPU

Bởi vì bộ nhớ GPU là nút cổ chai chính trong quá trình suy luận hiệu quả của các mô hình LLM, điều quan trọng là chúng tôi phải phân tích mức tiêu thụ bộ nhớ của mô hình. Hiểu bộ nhớ GPU được tiêu thụ bởi các mô hình LLM khác nhau là mấu chốt để xác định phân bổ tài nguyên phù hợp trong môi trường sản xuất. Bằng cách đánh giá chính xác việc sử dụng bộ nhớ GPU, chúng tôi có thể đảm bảo rằng cơ sở hạ tầng có kích thước phù hợp, tránh lỗi hết bộ nhớ và tối ưu hóa hiệu suất tổng thể của suy luận LLM.

Bảng 9. Thông số model và mức tiêu thụ bộ nhớ GPU

Theo quy định, chúng tôi có thể ước tính rằng mô hình LLM tiêu thụ khoảng 2,1 GB bộ nhớ cho mỗi tham số 1B. Tuy nhiên, có những ngoại lệ đối với quy tắc này, chẳng hạn như các mẫu nhỏ hơn như NeMo 345M. Ngoài ra, các mô hình không phải LLM như Khuếch tán ổn định có yêu cầu bộ nhớ riêng và có thể không tuân theo cùng một mẫu. Lưu ý rằng bộ nhớ mà một mô hình tiêu thụ có thể tăng nhẹ khi số lượng yêu cầu đồng thời được mô hình xử lý tăng lên.

FP16 (Half Precision) và BF16 (BFloat16) là hai định dạng dấu phẩy động khác nhau được sử dụng trong học sâu và điện toán hiệu năng cao để biểu thị các giá trị số với độ chính xác giảm. Cả hai định dạng đều mang lại lợi ích về mặt sử dụng bộ nhớ, tốc độ tính toán và hiệu quả năng lượng. BF16 thường được ưu tiên trong đào tạo học sâu và suy luận trên phần cứng chuyên dụng như bộ xử lý tensor.

Sử dụng tài nguyên

Bằng cách sử dụng báo cáo Trình phân tích mô hình, chúng tôi có thể hình dung độ trễ của các yêu cầu thay đổi như thế nào với các yêu cầu máy khách đồng thời. Hình dưới đây cho thấy một đồ thị do Model Analyzer tạo ra cho kiểu máy 20B:

Hình 12. Báo cáo Trình phân tích mô hình cho mô hình 20B

Đối với mọi mô hình, chúng tôi đã xác định số lượng yêu cầu đồng thời tối ưu có tác động tối thiểu đến độ trễ trong khi sử dụng hiệu quả các tài nguyên có sẵn. Ví dụ: bằng cách sử dụng biểu đồ trước, chúng tôi đã kết luận rằng một mô hình 20B phiên bản duy nhất có thể hỗ trợ đồng thời 16. Thông tin này cho phép chúng tôi đạt được sự cân bằng phù hợp giữa hiệu quả tính toán và khả năng phản hồi cho từng mô hình NeMo. Bảng sau đây tóm tắt các chỉ số sử dụng tài nguyên, độ trễ và yêu cầu đồng thời cho từng mô hình để biết số lượng yêu cầu đồng thời tối ưu của chúng:

Bảng 10. Sử dụng tài nguyên và số liệu mô hình cho số lượng yêu cầu đồng thời tối ưu