Bản cập nhật phát hành AI tạo ra với Dell và AMD

Khi AI tiếp tục phát triển nhanh chóng, sự kết hợp giữa các công nghệ nguồn mở và khả năng tăng tốc phần cứng tiên tiến đang thúc đẩy sự đổi mới của ngành. Dell Technologies và AMD đi đầu, cung cấp các giải pháp cơ sở hạ tầng tại chỗ có hiệu quả về chi phí lên đến 75% ¹ so với IaaS đám mây công cộng và được thiết kế riêng để hỗ trợ các ứng dụng AI tạo ra trong doanh nghiệp.

Chúng tôi rất vui mừng được chia sẻ một loạt các bản cập nhật thúc đẩy việc triển khai các hệ sinh thái và khuôn khổ AI mở. Đầu tiên, Dell PowerEdge XE9680 hiện đang được cung cấp cùng với bộ tăng tốc AMD Instinct™ MI300X , nâng cao các tùy chọn hiệu suất AI cho khách hàng của chúng tôi. Thứ hai, chúng tôi đã công bố Thiết kế được Dell xác thực cho AI tạo sinh với AMD , cho phép phát triển các ứng dụng tùy chỉnh với nền tảng khuôn khổ mở. Và thứ ba, các dịch vụ triển khai mới của chúng tôi , có sẵn vào tháng 9, sẽ đảm bảo tích hợp trơn tru các cải tiến này vào hoạt động của bạn.

Đang giao hàng – PowerEdge XE9680 với bộ tăng tốc AMD Instinct MI300X

PowerEdge XE9680 với bộ tăng tốc AMD Instinct MI300X cung cấp khả năng hiệu suất cao được thiết kế cho các doanh nghiệp tận dụng AI tạo sinh và có tám bộ tăng tốc MI300X, bộ nhớ HBM3 kết hợp 1,5 TB và 42 petaFLOPS FP8 lý thuyết đỉnh cao với hiệu suất chính xác thưa thớt. ²

Cấu hình mạnh mẽ này cho phép đào tạo và suy luận nhanh hơn các mô hình ngôn ngữ lớn giúp các tổ chức cung cấp thông tin chi tiết do AI thúc đẩy và các ứng dụng sáng tạo hiệu quả hơn. Thử nghiệm gần đây trên cấu hình một nút duy nhất cho thấy tổng chi phí sở hữu hàng đầu:

• Triển khai mô hình tham số Llama 2 70B trên một bộ tăng tốc AMD Instinct MI300X duy nhất trên Máy chủ Dell PowerEdge XE9680. ³
• Đã triển khai tám phiên bản đồng thời của mô hình bằng cách sử dụng tất cả tám bộ tăng tốc AMD Instinct MI300X có sẵn trên Máy chủ Dell PowerEdge XE9680. ³
• Đã tinh chỉnh mô hình tham số Llama 2 70B với độ chính xác FP16 trên một Máy chủ Dell PowerEdge XE9680 với tám bộ tăng tốc AMD Instinct MI300X. ³

Với khả năng triển khai đơn giản thông qua Dell OpenManage Enterprise, tự động hóa thông minh thông qua phần mềm APEX AIOps  và bảo mật nâng cao với tính năng phục hồi mạng tích hợp và phương pháp Zero Trust , XE9680 giúp các doanh nghiệp triển khai và mở rộng nhanh chóng các giải pháp GenAI của mình trong khi vẫn duy trì thế trận bảo mật mạnh mẽ.

Có sẵn ngay hôm nay – Thiết kế được Dell xác thực cho AI tạo sinh với AMD

Được công bố vào tháng 5 và có sẵn ngày hôm nay, Dell Validated Design for Generative AI with AMD là bước tiếp theo của Dell Generative AI Solutions giúp các tổ chức triển khai GenAI đáng tin cậy dễ dàng hơn. Hướng dẫn thiết kế này cung cấp cho các tổ chức và nhà phát triển các hướng dẫn toàn diện để triển khai suy luận LLM và tùy chỉnh mô hình, cũng như các kỹ thuật tiên tiến như tinh chỉnh và thế hệ tăng cường truy xuất (RAG). Được xây dựng trên các tiêu chuẩn mở và giảm nhu cầu về bộ phần mềm AI độc quyền, các nhà phát triển có thể đơn giản hóa quá trình phát triển và tùy chỉnh quy trình làm việc một cách tự do với các mô hình LLM nguồn mở từ các đối tác bao gồm Hugging Face và Meta.

Tăng tốc khối lượng công việc hiện đại. Đổi mới và mở rộng quy mô cho phép doanh nghiệp và kết quả hiệu quả, nhanh nhẹn.

• Được trang bị bộ tăng tốc AMD Instinct MI300X, Thiết kế được Dell xác thực cho phép mở rộng gần như tuyến tính và đào tạo và suy luận GenAI phân tán có độ trễ thấp.
• PowerScale F710 rút ngắn thời gian xử lý thông tin AI với hiệu suất phát trực tuyến được cải thiện đáng kể, giúp tăng tốc mọi giai đoạn của quy trình AI.
• Dell PowerSwitch Z9664F-ON , cung cấp 64 cổng 400GbE, mang đến độ trễ thấp và kết nối Ethernet thông lượng cao cho các cụm AI hiện đại.
• NIC được tối ưu hóa cho AI Broadcom Thor2 cung cấp 400G, kết nối các bộ tăng tốc MI300X với yêu cầu điện năng thấp nhất trong ngành. ⁴

Thúc đẩy phát triển ứng dụng. Phần mềm và hệ sinh thái nguồn mở cho phép các nhà phát triển và nhà khoa học dữ liệu tự do sáng tạo.

• Các khuôn khổ do AMD ROCm cung cấp mở rộng hệ sinh thái Giải pháp AI tạo sinh của Dell và bao gồm hỗ trợ cho các mô hình ngôn ngữ lớn nguồn mở như PyTorch, TensorFlow, ONNX-RT và JAX, cũng như toàn bộ trình điều khiển, bộ công cụ phát triển và API cho trình tăng tốc AMD Instinct.
• Dell Omnia hợp lý hóa việc tạo và quản lý các cụm AI, tự động hóa cấu hình để xử lý khối lượng công việc hiệu quả.
• Giải pháp phân phối SONiC dành cho doanh nghiệp của Dell Technologies cung cấp giải pháp mạng có khả năng mở rộng kết hợp nền tảng SONiC nguồn mở với Dell PowerSwitch, mang đến các tính năng tiên tiến và hỗ trợ cấp doanh nghiệp.

Thiết kế được Dell xác thực dành cho AI tạo sinh giúp khách hàng của Dell dễ dàng xây dựng nền tảng GenAI phù hợp với nhu cầu của họ bằng cách loại bỏ những phỏng đoán về khả năng tích hợp, hiệu suất và cân nhắc về quy mô.

Dịch vụ để bắt đầu

Quản lý vòng đời AI một cách tự tin, với khuôn khổ phát triển mở, được chứng minh trong tương lai được phát triển cho AI. Phù hợp với Thiết kế được Dell xác thực mới này, chúng tôi sẽ giới thiệu các dịch vụ triển khai nền tảng mới vào tháng 9. Các chuyên gia đáng tin cậy sẽ giúp bạn nhanh chóng thiết lập một nền tảng hoạt động đầy đủ, sẵn sàng cho sự đổi mới, triển khai các công cụ và khuôn khổ cần thiết vào môi trường của bạn và chia sẻ các phương pháp hay nhất để duy trì các hoạt động an toàn, hợp lý.

Bạn không biết nên bắt đầu từ đâu? Hãy thử tham gia Hội thảo tăng tốc , một sự kiện kéo dài nửa ngày do người hướng dẫn tổ chức, là bước khởi đầu tuyệt vời để xác định cách tổ chức của bạn có thể tối đa hóa giá trị từ AI. Đây là các phiên họp hợp tác và hấp dẫn có sự tham gia của các bên liên quan chính, được thiết kế để tập trung vào các thách thức chính nhằm giúp bạn đạt được sự rõ ràng cho tầm nhìn của mình. Với hơn 1.000 hội thảo được tổ chức mỗi năm và nhiều thập kỷ kinh nghiệm, chúng tôi sẽ giúp bạn đẩy nhanh thành công của AI.

Nhiêu tai nguyên hơn

Tại Dell Tech World, chúng tôi đã trình diễn RAG đa phương thức đầu tiên trong ngành trên Máy chủ Dell PowerEdge XE9680 với Bộ tăng tốc AMD Instinct MI300X

Sự ra đời của Llama3 đã thu hút nhiều sự quan tâm trong lĩnh vực AI tạo sinh, chúng tôi cũng đã tạo một blog để hỗ trợ triển khai Llama trên PowerEdge XE9680 với MI300X. Hãy xem tại Chạy Llama 3 trên Dell PowerEdge XE9680 và AMD MI300x với vLLM .

AMD, logo AMD Arrow, AMD Instinct và các kết hợp của chúng là thương hiệu của Advanced Micro Devices.

¹ https://www.delltechnologies.com/asset/en-us/solutions/business-solutions/briefs-summaries/esg-inferencing-on-premises-with-dell-technologies.pdf
² https://www.amd.com/content/dam/amd/en/documents/instinct-tech-docs/data-sheets/amd-instinct-mi300x-platform-data-sheet.pdf
³ https://infohub.delltechnologies.com/en-us/p/silicon-diversity-deploy-genai-on-the-powerge-xe9680-with-amd-instinct-mi300x-accelerators/
⁴ https://techfieldday.com/video/broadcom-thor-2-high-performance-ethernet-nic-for-ai-ml/