Tối ưu hóa GPU với Run:ai Atlas (2)

Run:ai Atlas cung cấp hệ thống chia sẻ GPU phân đoạn cho khối lượng công việc được chứa trên Kubernetes. GPU phân số phù hợp với các tác vụ AI nhẹ như suy luận và phát triển mô hình. Hệ thống GPU phân đoạn cho phép các nhóm khoa học dữ liệu và kỹ thuật AI chạy đồng thời nhiều khối lượng công việc trên một GPU duy nhất. Do đó, các công ty có thể chạy nhiều khối lượng công việc hơn như thị giác máy tính, nhận dạng giọng nói và xử lý ngôn ngữ tự nhiên trên cùng một phần cứng để giảm chi phí.

Hệ thống GPU phân đoạn từ Run:ai Atlas tạo ra các GPU logic một cách hiệu quả với bộ nhớ và không gian tính toán riêng mà các bộ chứa có thể sử dụng và truy cập như thể chúng là các bộ xử lý độc lập. Phương pháp này cho phép một số khối lượng công việc chạy trong các vùng chứa cạnh nhau trên cùng một GPU mà không can thiệp lẫn nhau. Giải pháp minh bạch, đơn giản và di động; nó không yêu cầu thay đổi đối với các thùng chứa.

Một trường hợp sử dụng điển hình có thể có từ hai đến tám tác vụ chạy trên cùng một GPU, nghĩa là bạn có thể thực hiện tác vụ gấp tám lần với cùng một phần cứng.

Chúng tôi sử dụng các lệnh sau để xác thực GPU phân đoạn:

nhóm dự án cấu hình runai-a

runai gửi frac05 -i gcr.io/run-ai-demo/quickstart -g 0.5 –interactive

runai gửi frac03 -i gcr.io/run-ai-demo/quickstart -g 0.3

Hình 5. Phân bổ GPU cho các phân số GPU

Hình này cho thấy GPU đang chạy hai tác vụ đồng thời và mức sử dụng GPU tổng thể là 80 phần trăm (50 phần trăm cho tác vụ frac05 và 30 phần trăm cho tác vụ frac03 ).