Trao quyền cho sự lựa chọn GenAI: Nhà máy AI của Dell mở rộng với Intel

Khi việc áp dụng AI tạo sinh (GenAI) tiếp tục tăng tốc trong hầu hết mọi ngành, các tổ chức phải đối mặt với những thách thức quan trọng như đảm bảo quyền riêng tư và bảo mật dữ liệu, xác định đúng cơ sở hạ tầng, công cụ, mô hình và nền tảng cho các trường hợp sử dụng của họ, định cỡ đúng các khoản đầu tư AI của họ, tích hợp liền mạch các công nghệ AI mới với các hệ thống hiện có và khắc phục tình trạng thiếu hụt nhân sự có tay nghề cao. Dell Technologies đang ứng phó với những thách thức này bằng cách giới thiệu Dell Generative AI Solutions với Intel, một sự mở rộng thú vị của Dell AI Factory .

Được thiết lập để cung cấp rộng rãi vào cuối năm, các giải pháp này được thiết kế để đẩy nhanh quá trình đổi mới AI bằng cách kết hợp sức mạnh của bộ tăng tốc AI Intel® Gaudi 3® với máy chủ hiệu suất cao, lưu trữ, mạng, dịch vụ chuyên nghiệp và một bộ phần mềm nguồn mở đầy đủ của Dell. Các giải pháp được thiết kế chung này cung cấp hiệu suất cao với TCO được tối ưu hóa, khả năng mở rộng lớn và tính linh hoạt để lựa chọn silicon, ethernet, phần mềm và mô hình triển khai phù hợp cho quy trình làm việc GenAI của bạn.

Các tính năng và lợi ích chính

1. Hiệu suất cao

Các giải pháp Dell Generative AI với Intel được thiết kế để cung cấp hiệu suất tuyệt vời đồng thời giảm tổng chi phí sở hữu (TCO). Các giải pháp này bao gồm Dell PowerEdge XE9680 được trang bị bo mạch chủ Intel Guadi 3 (HLB-325) có 8 card mezzanine Intel Gaudi 3 AI Accelerator OAM và bộ xử lý Intel® Xeon® Scalable thế hệ thứ 5 kép.

Các liên kết Ethernet tích hợp của Intel Gaudi 3 cung cấp 200Gbps cho mỗi liên kết. 8 mô-đun Gaudi 3 có thể đạt băng thông lý thuyết cực đại là 4.200GB/giây, loại bỏ nhu cầu về NIC ngoài ở phía sau trong khi vẫn cung cấp băng thông tổng hợp cao hơn so với các giải pháp thay thế độc quyền. Được ghép nối với NIC Intel E810 ở phía trước, hệ thống đảm bảo tốc độ 10/25GbE, lọc gói tin nâng cao và hỗ trợ RoCEv2, mang lại mạng có khả năng mở rộng và hiệu suất cao cho lưu lượng dữ liệu nhạy cảm với độ trễ bên ngoài. Bộ tăng tốc AI Gaudi 3 mới cung cấp thông lượng cao hơn tới 20% và giá/hiệu suất gấp 2 lần để suy luận Llama 2 70B so với đối thủ cạnh tranh hàng đầu, giúp các doanh nghiệp nâng cao khối lượng công việc AI của mình mà không ảnh hưởng đến hiệu quả. Xem cách Intel Gaudi 3 và Dell PowerEdge XE9680 phối hợp với nhau để hỗ trợ các sáng kiến ​​AI khắt khe.

Các giải pháp này cũng tận dụng Dell PowerScale All-Flash Storage  và mạng Dell PowerSwitch , tất cả đều được thiết kế để đáp ứng khối lượng công việc AI khắt khe.

2. Khả năng mở rộng

Sự tăng trưởng và thay đổi trong tương lai của sáng kiến ​​GenAI là điều không thể tránh khỏi. Các giải pháp của chúng tôi cung cấp cả khả năng mở rộng và tính linh hoạt lớn, cho phép các tổ chức hỗ trợ các mục tiêu trước mắt ngay hôm nay, đồng thời định vị chiến lược cho sự tăng trưởng trong tương lai. Điều này có nghĩa là cho dù bạn đang thêm người dùng mới, xử lý nhiều dữ liệu hơn hay triển khai các trường hợp sử dụng nâng cao, cơ sở hạ tầng của bạn có thể thích ứng mà không cần phải đại tu hoàn toàn, đảm bảo bạn vẫn nhanh nhẹn và cạnh tranh trong bối cảnh thay đổi nhanh chóng.

3. Tính linh hoạt

Môi trường mạng Ethernet chuẩn mở, ngăn xếp phần mềm nguồn mở và các tùy chọn triển khai được xác thực trước cho phép bạn triển khai giải pháp hỗ trợ tốt nhất cho hành trình GenAI của mình và nâng cao năng suất của nhà phát triển. Tận dụng lợi thế của nền tảng AI dựa trên tiêu chuẩn cùng với Dell Enterprise SONiC và Dell PowerSwitch Z9864F-ON, có 64 cổng kết nối 800G. Các giải pháp Dell GenAI với Intel đã được Dell Validated Design chứng minh, giúp bạn dễ dàng điều chỉnh đúng mức đầu tư của mình mà không cần phải phỏng đoán.

Hệ sinh thái nguồn mở được xác thực đầy đủ

Giải pháp AI tạo sinh của Dell với Intel được thiết kế bằng cách sử dụng ngăn xếp phần mềm nguồn mở để tối ưu hóa hiệu suất và khả năng truy cập trên nhiều môi trường khác nhau. Ngăn xếp này kết hợp phần mềm Intel® Gaudi® và đảm bảo khả năng tương tác liền mạch với nhiều công cụ, thư viện và mô hình nguồn mở hàng đầu trong ngành. Hệ sinh thái toàn diện này bao gồm các nền tảng, thời gian chạy, khuôn khổ, tiện ích mở rộng và thư viện như PyTorch, Hugging Face, Meta, vLLM, TGI, TEI, v.v., giúp dễ dàng tìm kiếm, tinh chỉnh, đào tạo, triển khai, giám sát và phục vụ các mô hình GenAI ở quy mô lớn. Mỗi thành phần đã được lựa chọn và xác thực cẩn thận để tối đa hóa cả hiệu quả và tính linh hoạt trong quá trình phát triển và triển khai mô hình AI, trao quyền cho các nhà phát triển đổi mới nhanh chóng trong khi vẫn duy trì hiệu suất cao.

Trọng tâm của các giải pháp là Dell Omnia , một công cụ điều phối phần mềm nguồn mở được thiết kế để triển khai và quản lý các cụm hiệu suất cao được thiết kế riêng cho khối lượng công việc HPC, AI và phân tích dữ liệu. Omnia tạo điều kiện thuận lợi cho việc cài đặt Kubernetes để quản lý công việc hiệu quả, đồng thời cho phép tích hợp nhiều gói và dịch vụ khác nhau để hỗ trợ nhiều khối lượng công việc khác nhau trong một giải pháp hội tụ duy nhất. Các nhà phát triển đang tích cực cải tiến Omnia để đẩy nhanh việc triển khai cơ sở hạ tầng mới vào các nhóm tài nguyên có thể dễ dàng phân bổ và phân bổ lại cho các khối lượng công việc khác nhau. Bằng cách hợp lý hóa quy trình này, Omnia trao quyền cho các nhóm CNTT cung cấp các công cụ phù hợp cho từng công việc trên cơ sở hạ tầng phù hợp khi cần.

Bắt đầu với Dell Professional Services cho AI tạo sinh

Dell Professional Services cung cấp danh mục dịch vụ chuyên nghiệp toàn diện như một phần của Dell AI Factory để hỗ trợ mọi giai đoạn trong hành trình AI tạo sinh (GenAI) của bạn. Chúng tôi làm việc cùng bạn để xây dựng chiến lược và lộ trình, xác thực và quản lý dữ liệu an toàn để hỗ trợ AI, triển khai, đào tạo, xác thực và hỗ trợ các mô hình GenAI và đơn giản hóa hoạt động, thu hẹp khoảng cách kỹ năng để tối đa hóa ROI của các giải pháp AI. Tìm hiểu thêm về cách Dell Professional Services có thể giúp bạn bắt đầu hành trình AI tạo sinh của mình.

Sẵn sàng khám phá tiềm năng của AI trong doanh nghiệp của bạn? Đăng ký tham gia Hội thảo tăng tốc miễn phí cho AI tạo sinh . Hội thảo này giúp đạt được sự đồng thuận giữa các bên liên quan về kinh doanh và kỹ thuật về giải pháp của bạn và các trường hợp sử dụng được ưu tiên.