Dell Validated Design for Generative AI Inferencing là một kiến ​​trúc tham chiếu được thiết kế để giải quyết những thách thức khi triển khai LLM trong môi trường sản xuất. LLM đã cho thấy tiềm năng to lớn trong các nhiệm vụ xử lý ngôn ngữ tự nhiên nhưng yêu cầu cơ sở hạ tầng chuyên biệt để triển khai và suy luận hiệu quả.

Kiến trúc tham chiếu này đóng vai trò như một kế hoạch chi tiết, cung cấp các nguyên tắc và phương pháp hay nhất cho các tổ chức để thiết kế và triển khai các hệ thống suy luận AI có thể mở rộng, hiệu quả và đáng tin cậy, được thiết kế riêng cho các mô hình AI tổng quát. Mặc dù trọng tâm chính của nó là suy luận AI tổng quát, nhưng kiến ​​trúc này có thể được điều chỉnh cho các mô hình AI phân biệt hoặc dự đoán, như được giải thích thêm trong phần này.

Hinh 4.  Kiến trúc tham khảo

Các phần sau đây mô tả các thành phần chính của kiến ​​trúc tham chiếu.

Cơ sở hạ tầng điện toán

Cơ sở hạ tầng điện toán là một thành phần quan trọng của thiết kế, chịu trách nhiệm thực hiện hiệu quả các mô hình AI. Dell Technologies cung cấp một loạt máy chủ được tối ưu hóa về khả năng tăng tốc, được trang bị GPU NVIDIA, để xử lý nhu cầu điện toán cường độ cao của LLM. Các mô hình máy chủ sau đây có sẵn dưới dạng tài nguyên điện toán để triển khai các mô hình LLM trong sản xuất:

• Máy chủ PowerEdge XE9680 được trang bị tám GPU NVIDIA H100 SXM với NVSwitch
• Máy chủ PowerEdge XE8640 được trang bị bốn GPU NVIDIA H100 SXM với NVLink
• Máy chủ PowerEdge R760xa hỗ trợ tối đa bốn GPU NVIDIA H100 PCIe với NVLink Bridge.

Ngoài ra, máy chủ PowerEdge R760xa được định cấu hình với GPU NVIDIA L40 có thể được sử dụng để suy luận AI không phát sinh, chẳng hạn như các hệ thống đề xuất.

Hạ tầng mạng

Các tổ chức có thể chọn giữa cơ sở hạ tầng mạng 25 Gb hoặc 100 Gb dựa trên các yêu cầu cụ thể của họ. Đối với các tác vụ suy luận LLM sử dụng dữ liệu văn bản, chúng tôi khuyên bạn nên sử dụng cơ sở hạ tầng mạng hiện có với Ethernet 25 Gb, đáp ứng đầy đủ nhu cầu băng thông của dữ liệu văn bản. Để đảm bảo cơ sở hạ tầng trong tương lai, có thể sử dụng thiết lập Ethernet 100 Gb. PowerSwitch S5232F-ON hoặc PowerSwitch S5248F-ON có thể được sử dụng làm bộ chuyển đổi mạng. PowerSwitch S5232F-ON hỗ trợ cả Ethernet 25 Gb và 100 Gb, trong khi PowerSwitch S5248F-On là bộ chuyển mạch Ethernet 25 Gb. Bộ điều hợp mạng ConnectX-6 được sử dụng để kết nối mạng. Chúng có sẵn ở cả hai tùy chọn 25 Gb và 100 Gb.

Phạm vi của kiến ​​trúc tham chiếu chỉ bao gồm các mô hình AI trong sản xuất có thể phù hợp với một máy chủ PowerEdge duy nhất. Nó không bao gồm các mô hình trải rộng trên nhiều nút và yêu cầu kết nối tốc độ cao.

Cơ sở hạ tầng quản lý

Cơ sở hạ tầng quản lý đảm bảo triển khai và điều phối liền mạch hệ thống suy luận AI. Phần mềm quản lý cụm của NVIDIA, một giải pháp quản lý cụm mạnh mẽ, thực hiện các nhiệm vụ cung cấp kim loại trần, triển khai cụm và quản lý liên tục. Được triển khai trên máy chủ PowerEdge R660 đóng vai trò là nút đầu, phần mềm quản lý cụm đơn giản hóa việc quản trị toàn bộ cụm.

Để cho phép điều phối vùng chứa hiệu quả, cụm Kubernetes được triển khai trong cơ sở hạ tầng điện toán, dưới sự quản lý của trình quản lý cụm. Tùy thuộc vào yêu cầu dự phòng và khả năng mở rộng, mặt phẳng điều khiển Kubernetes có thể được triển khai trên một hoặc ba máy chủ PowerEdge R660. Đối với một máy chủ điện toán cụm nhỏ (ít hơn tám nút), một nút điều khiển duy nhất là đủ. Đối với các cụm lớn hơn và có tính dự phòng cao, kế hoạch kiểm soát có thể được triển khai trên ba nút.

cơ sở hạ tầng lưu trữ

Lưu trữ cục bộ có sẵn trong máy chủ PowerEdge được sử dụng cho hệ điều hành và lưu trữ vùng chứa. Kubernetes, được triển khai bởi phần mềm quản lý cụm của NVIDIA, triển khai Lớp lưu trữ đường dẫn cục bộ Rancher, cung cấp bộ nhớ cục bộ để cung cấp các nhóm.

Nhu cầu lưu trữ bên ngoài để suy luận mô hình AI phụ thuộc vào các yêu cầu và đặc điểm cụ thể của mô hình AI và môi trường triển khai. Trong nhiều trường hợp, bộ nhớ ngoài không bắt buộc phải có để suy luận mô hình AI, vì các mô hình nằm trong bộ nhớ GPU. Trong thiết kế đã được xác thực này, chúng tôi không đưa bộ nhớ ngoài vào như một phần của kiến ​​trúc.

Tuy nhiên, bộ lưu trữ PowerScale có thể được sử dụng làm kho lưu trữ cho các mô hình, lập phiên bản và quản lý mô hình, nhóm mô hình cũng như để lưu trữ và lưu trữ dữ liệu suy luận. Khả năng lưu trữ bên ngoài mạnh mẽ của nó cung cấp quy mô và tốc độ cần thiết để vận hành các mô hình AI, cung cấp thành phần nền tảng cho quy trình làm việc AI. Khả năng xử lý các yêu cầu dữ liệu khổng lồ của AI, kết hợp với độ tin cậy và hiệu suất cao, củng cố vai trò quan trọng của bộ nhớ ngoài trong việc đưa các mô hình AI thành công từ ý tưởng đến ứng dụng.

Máy chủ suy luận

Trung tâm của hệ thống suy luận AI là Máy chủ suy luận Triton, xử lý các mô hình AI và xử lý các yêu cầu suy luận. Triton là một phần mềm máy chủ suy luận mạnh mẽ phục vụ hiệu quả các mô hình AI với độ trễ thấp và thông lượng cao. Sự tích hợp của nó với cơ sở hạ tầng điện toán, bộ tăng tốc GPU và kết nối mạng đảm bảo các hoạt động suy luận được tối ưu hóa và trơn tru.

Công cụ và khuôn khổ AI

Để cho phép triển khai các mô hình AI tổng quát trong sản xuất, khung NeMo, kết hợp với Triton Inference Server, cung cấp các công cụ AI mạnh mẽ và tối ưu hóa. Cụ thể, khung NeMo, kết hợp với FasterTransformer, mở khóa độ chính xác hiện đại, độ trễ thấp và hiệu suất suy luận thông lượng cao trên cả cấu hình một GPU và nhiều GPU. Sự kết hợp này trao quyền cho các tổ chức giải phóng toàn bộ tiềm năng của các mô hình AI tổng quát của họ.

Kiến trúc tham chiếu cũng có thể được sử dụng cho AI dự đoán hoặc phân biệt đối xử. Ví dụ: các hệ thống khuyến nghị có thể được xây dựng trên kiến ​​trúc tham chiếu này. Hệ thống đề xuất là các mô hình AI phân tích sở thích, hành vi và dữ liệu lịch sử của người dùng để đề xuất các mục hoặc nội dung có liên quan và được cá nhân hóa. NVIDIA Merlin là một khung giúp tăng tốc và hợp lý hóa quá trình phát triển và triển khai các hệ thống đề xuất dựa trên học sâu quy mô lớn. Nó nhằm mục đích tối ưu hóa toàn bộ quy trình đề xuất, từ tiền xử lý dữ liệu và kỹ thuật tính năng đến đào tạo và triển khai mô hình, tập trung vào hiệu suất và khả năng mở rộng.

mô hình AI

Kiến trúc tham chiếu được hưởng lợi từ bộ sưu tập phong phú các mô hình được đào tạo trước do khung NeMo cung cấp. Các mô hình này giải quyết các danh mục khác nhau, bao gồm Nhận dạng giọng nói tự động (ASR), NLP và Chuyển văn bản thành giọng nói (TTS). Ngoài ra, các mô hình GPT có sẵn để tải xuống từ các vị trí như kho lưu trữ mô hình Hugging Face, cung cấp nhiều lựa chọn khả năng AI tổng quát.

MLOps

Các tổ chức đang tìm cách quản lý vòng đời mô hình toàn diện có thể tùy chọn triển khai các nền tảng MLOps, như cnvrg, Kubeflow, MLflow và Domino Data. Các nền tảng này hợp lý hóa việc triển khai, giám sát và bảo trì các mô hình AI, đảm bảo quản lý và tối ưu hóa hiệu quả trong suốt vòng đời của chúng. Chúng tôi đã xác thực cnvrg.io như một phần của thiết kế đã được xác thực này.

Bằng cách tuân thủ Thiết kế đã được Xác thực của Dell dành cho Suy luận Trí tuệ Nhân tạo Sáng tạo này, các tổ chức có thể tự tin triển khai các hệ thống suy luận Trí tuệ nhân tạo hiệu suất cao, hiệu quả và đáng tin cậy. Tính mô-đun và khả năng mở rộng của kiến ​​trúc mang lại sự linh hoạt, giúp nó phù hợp với nhiều quy trình công việc AI khác nhau, trong khi trọng tâm chính của nó là suy luận AI tổng quát giúp tối đa hóa tiềm năng của các LLM nâng cao.