Áp dụng GenAI nguồn mở với Dell AI Factory và AMD

“Tôi phải bắt đầu như thế nào?” và “Tôi phải làm sao để giữ an toàn cho dữ liệu của mình?”

Đây là hai câu hỏi tôi thường nghe nhất khi nói chuyện với khách hàng áp dụng AI tạo sinh (GenAI). Trong bối cảnh thay đổi nhanh chóng này, việc đổi mới và tạo ra sự khác biệt cạnh tranh đòi hỏi phải tiếp cận các kỹ năng, công nghệ và cơ sở hạ tầng tiên tiến. Khi khách hàng của chúng tôi bắt đầu hành trình này, việc trả lời những câu hỏi này là chìa khóa.

Tại Dell Technologies, cam kết của chúng tôi là đơn giản hóa việc áp dụng GenAI của các công ty và đưa nó vào dữ liệu của họ một cách an toàn. Cách tiếp cận này trao quyền cho khách hàng để khám phá những thông tin chi tiết có giá trị một cách an toàn, củng cố lợi thế cạnh tranh của họ và đưa ra quyết định nhanh hơn dựa trên dữ liệu.

Sự hợp tác lâu dài giữa Dell và AMD đã thúc đẩy sự đổi mới và cung cấp nhiều giải pháp mạnh mẽ, có thể mở rộng và hiệu quả trong nhiều năm. Với tinh thần hợp tác này, chúng tôi rất vui mừng thông báo về các bản cập nhật cho Dell AI Factory, bao gồm các máy chủ mới, giải pháp nâng cao, dịch vụ triển khai được cải thiện và các bổ sung quan trọng cho Dell Enterprise Hub.

Cập nhật mới nhất về Nhà máy AI của Dell

Quay trở lại những câu hỏi ban đầu – “Tôi phải bắt đầu như thế nào?” và “Tôi có thể bảo mật dữ liệu của mình như thế nào?”

Phương pháp Dell AI Factory đơn giản hóa việc áp dụng GenAI với các chiến lược phù hợp, đúng kích cỡ và kiến ​​trúc được thiết kế cho các nhu cầu đa dạng. Bằng cách đưa AI vào dữ liệu, nó đảm bảo tính toàn vẹn và bảo vệ dữ liệu, đẩy nhanh quá trình chuyển đổi an toàn và thích ứng.

Đơn giản hóa kiến ​​trúc nguồn mở bằng giải pháp AI sáng tạo của Dell với AMD

Nhà máy AI của Dell hợp lý hóa việc áp dụng và khuếch đại thành công. Việc bổ sung các Giải pháp AI tạo sinh của Dell với AMD cho phép đạt được các kết quả tập trung và có thể lặp lại trong khi giảm thời gian tạo ra giá trị lên tới 86%. ¹ Các giải pháp này hiện đã được cập nhật với máy chủ PowerEdge XE9680 có bộ tăng tốc AMD Instinct™ MI300X. Việc kết hợp điều này với mạng PowerSwitch và bộ lưu trữ PowerScale cung cấp một giải pháp phần cứng hoàn chỉnh được thiết kế cho các yêu cầu về hiệu suất và băng thông cao của GenAI. Tuy nhiên, giải pháp này không thể hoàn thiện nếu không có tích hợp phần mềm. Bằng cách khai thác phần mềm nguồn mở như Dell Omnia, Enterprise SONiC, AMD ROCm, PyTorch và Jupyter, các tổ chức có thể cung cấp kết quả GenAI trên một ngăn xếp hoàn chỉnh và được tối ưu hóa.

Chúng tôi làm nhiều hơn là chỉ phác thảo giải pháp và kiến ​​trúc. Quy trình xác thực của Dell bao gồm thử nghiệm toàn diện để tối ưu hóa cấu hình mô hình, giúp khách hàng tiết kiệm thời gian thử nghiệm. Cho dù thử nghiệm Thời gian đến Mã thông báo đầu tiên (TTFT) cho các ứng dụng tương tác như chatbot và trợ lý hỗ trợ khách hàng hay thông lượng và độ trễ để suy luận, chúng tôi đã thực hiện thử nghiệm để khách hàng của chúng tôi không phải thử nghiệm. Bằng cách đánh giá kỹ lưỡng các yếu tố này, chúng tôi đảm bảo các giải pháp mạnh mẽ và hiệu quả phù hợp với nhiều trường hợp sử dụng khác nhau và giúp khách hàng của chúng tôi:

• Giảm thiểu rủi ro khi quyết định mua hàng và chọn cấu hình phù hợp.
• Cấu hình hệ thống một cách tối ưu, khai thác hiệu suất tốt nhất từ ​​khoản đầu tư của họ.
• Tập trung vào việc giải quyết nhu cầu kinh doanh của họ thay vì cố gắng tìm ra cách tốt nhất để cấu hình và điều chỉnh khối lượng công việc của họ.

Triển khai LLM dễ dàng hơn với Dell Enterprise Hub trên Hugging Face

Mối quan hệ bền chặt của chúng tôi một lần nữa được nhấn mạnh khi Dell, AMD và Hugging Face hợp tác để hỗ trợ PowerEdge XE9680 với bộ tăng tốc Instinct MI300X, cung cấp các container và tập lệnh tùy chỉnh để triển khai dễ dàng hơn các mô hình Llama và Mistral. Các mô hình container này được tối ưu hóa và điều chỉnh độc đáo cho máy chủ và bộ tăng tốc để đạt được triển khai tối ưu chỉ bằng một vài cú nhấp chuột tận dụng phần phụ trợ Hugging Face Text Generation Inference (TGI) và có sẵn trên Dell Enterprise Hub .

Khởi động thành công với dịch vụ triển khai Dell cho AI tạo sinh

Bắt đầu với công nghệ mới đòi hỏi nhiều hơn là chỉ triển khai chung chung. Dịch vụ triển khai Dell mới cung cấp nền tảng hoạt động tùy chỉnh, bao gồm cấu hình cụm Kubernetes, triển khai khung GenAI tiên tiến và chuyển giao kiến ​​thức cần thiết cho các nhóm khách hàng. Bằng cách thu hẹp khoảng cách kỹ năng, chúng tôi giúp các tổ chức thúc đẩy kết quả kinh doanh hoàn chỉnh, bao gồm phát triển chiến lược, chuẩn bị dữ liệu, vận hành, quản lý và mở rộng quy mô.

 Tính toán nâng cao cho AI trong Trung tâm dữ liệu

Danh mục cơ sở hạ tầng máy chủ đã được mở rộng để bao gồm năm máy chủ PowerEdge mới sử dụng hiệu suất tiên tiến của bộ xử lý AMD EPYC™ thế hệ thứ 5 mới để thúc đẩy AI và khối lượng công việc chung.

Dell PowerEdge thế hệ tiếp theo

• Dell PowerEdge XE7745. Được xây dựng cho khối lượng công việc AI của doanh nghiệp, máy chủ này hỗ trợ tối đa tám GPU PCIe bên trong có chiều rộng đôi hoặc 16 GPU PCIe chiều rộng đơn và tám bộ điều hợp mạng PCIe hướng trước trong khung máy làm mát bằng không khí 4U dày đặc. Nó lý tưởng cho suy luận AI, tinh chỉnh mô hình và điện toán hiệu suất cao (HPC).
• Dell PowerEdge R6725 và R7725. Máy chủ ổ cắm kép được tối ưu hóa cho khả năng mở rộng và hiệu suất vượt trội trong phân tích dữ liệu, HPC và khối lượng công việc AI. Các nền tảng này có thể hỗ trợ nhiều hơn tới 50% lõi, với hiệu suất tăng tới 37% cho mỗi lõi dẫn đến hiệu suất, hiệu quả và TCO được cải thiện. ² Những lợi ích này hợp nhất tối đa bảy máy chủ năm năm tuổi thành một máy chủ hiện nay, dẫn đến mức tiêu thụ điện năng CPU thấp hơn tới 65%. ³
• Dell PowerEdge R6715 và R7715. Máy chủ ổ cắm đơn với bộ xử lý AMD EPYC thế hệ thứ 5, mang lại hiệu suất và hiệu quả vượt trội. Các máy chủ này cung cấp dung lượng ổ đĩa tăng lên đến 37% để có mật độ lưu trữ lớn hơn, hoàn hảo cho các mô hình AI quy mô nhỏ, tiết kiệm chi phí. ⁴ R6715 đạt hiệu suất kỷ lục thế giới cho các tác vụ AI và ảo hóa. ⁵

Ngoài ra, các bản cập nhật cho Bộ điều khiển truy cập từ xa tích hợp của Dell (iDRAC) nâng cao khả năng quản lý CNTT bằng cách cho phép giám sát hệ thống từ xa và cập nhật với tính bảo mật và hiệu quả được cải thiện. Hợp tác với AMD, Dell chuyển đổi các trung tâm dữ liệu bằng công nghệ tiên tiến, bao gồm hỗ trợ cho các bộ tăng tốc Instinct mới nhất trên máy chủ PowerEdge XE, cho phép hiệu suất vượt trội cho khối lượng công việc đòi hỏi khắt khe.

Một ví dụ tuyệt vời về quan hệ đối tác của chúng tôi trong hành động là OSF Healthcare. “Sự hợp tác giữa Dell Technologies và AMD đã cách mạng hóa hiệu suất hoạt động của chúng tôi tại OSF Healthcare, cho phép chúng tôi cung cấp các dịch vụ nhanh hơn và đáng tin cậy hơn, cuối cùng là nâng cao trải nghiệm chăm sóc bệnh nhân. Với các giải pháp hiệu quả về chi phí và hiệu suất cao do Dell và AMD cung cấp, chúng tôi đang đạt được hiệu quả chưa từng có, cho phép các bác sĩ lâm sàng của chúng tôi tập trung nhiều hơn vào sức khỏe của bệnh nhân thay vì các hạn chế về công nghệ”, Joe Morrow, Giám đốc Dịch vụ Công nghệ cho biết.

Mở khóa tương lai của AI với Dell và AMD

Tất cả những thông báo này đưa chúng ta trở lại với câu hỏi “Tôi bắt đầu như thế nào?” và “Tôi giữ an toàn cho dữ liệu của mình như thế nào?” Các bản cập nhật mới nhất cho Dell AI Factory tiếp tục đưa AI vào dữ liệu và hợp lý hóa quy trình áp dụng, cho phép các doanh nghiệp tự tin bắt đầu hành trình chuyển đổi này. Sự hợp tác của chúng tôi với AMD đã dẫn đến việc phát triển các giải pháp mới giúp tăng cường khả năng mở rộng và hiện đại hóa các trung tâm dữ liệu, đảm bảo chúng duy trì được lợi thế cạnh tranh . Cùng nhau, chúng tôi cam kết cung cấp công nghệ tiên tiến không chỉ giải quyết các mối quan tâm của bạn mà còn trao quyền cho doanh nghiệp của bạn để đổi mới và phát triển trong bối cảnh GenAI đang thay đổi nhanh chóng.

Sẵn sàng chuyển đổi khả năng AI của bạn? Tìm hiểu thêm về cách Dell và AMD có thể trao quyền cho doanh nghiệp của bạn để luôn dẫn đầu trong tương lai do AI thúc đẩy. Hãy bắt đầu với Dell AI Factory ngay hôm nay!

^{1 Ước tính dựa trên phân tích của Dell vào tháng 5 năm 2024 so sánh thời gian thiết lập cụm Kubernetes 2 nút cho LLM mục đích chung bằng cách sử dụng các tập lệnh tự động so với triển khai thiết kế chung theo cách thủ công. Thời gian thiết lập chỉ bao gồm cài đặt cơ bản. Thời gian thiết lập thực tế sẽ thay đổi tùy thuộc vào cấu hình giải pháp.
2 Dựa trên phân tích của Dell so sánh SKU hàng đầu được hỗ trợ trong Dell PowerEdge R7725 của CPU AMD EPYC thế hệ thứ 5 với 192 lõi zen 5c với SKU được hỗ trợ trong Dell PowerEdge R7625 của CPU AMD EPYC thế hệ thứ 4 với 128 lõi zen 4c với SKU hàng đầu. Dữ liệu chính xác tính đến ngày 10/2/2024. Hiệu suất thực tế có thể thay đổi.
Dựa trên phân tích của Dell về điểm SPECFP của CPU AMD EPYC thế hệ thứ 5 9755 là 2270 trong R7725 so với điểm của CPU AMD EPYC thế hệ thứ 4 9754 là 1420 trong R7625. Dữ liệu chính xác tính đến ngày 10/2/2024. Hiệu suất thực tế sẽ khác nhau.
3 Dựa trên phân tích của Dell khi so sánh điểm SPECint và SPECFP của AMD EPYC thế hệ thứ 5 9965 trong Dell R7725 (2980 và 2350) với cùng điểm của Intel Xeon 8280 trong Dell PowerEdge R740XD (375 và 296). Tỷ lệ điểm cho thấy 7 trong số các máy chủ R740xd sẽ cho tổng điểm tương tự như điểm của R7725 đơn lẻ được định cấu hình ở trên. Các CPU trong một R7725 duy nhất sẽ có tổng TDP là 1000W (2x500W). Các CPU trong 7x R740XD sẽ có tổng TDP là 2870W (2*205*7) trong khi mỗi Intel Xeon 8280 có TDP là 205W. Điều này thể hiện mức giảm công suất CPU là 65%. Dữ liệu chính xác tính đến ngày 10/2/2024. Hiệu suất thực tế sẽ khác nhau.
4 Dựa trên phân tích thông số kỹ thuật của Dell so sánh máy chủ Dell PowerEdge R67x5 có tối đa 22 khe cắm ổ đĩa E3.s với máy chủ Dell PowerEdge R66x5 có tối đa 16 khe cắm ổ đĩa E3.s. Dữ liệu được thu thập tính đến ngày 10/2/2024.
5 Dựa trên máy chủ Dell PowerEdge đạt điểm kỷ lục thế giới về SPECVirt (điểm SAN 1-S 4 nút là 3,38 với Dell PowerEdge R6715 là điểm kỷ lục thế giới về SPECVirt ở cấp độ 32 lõi trên mỗi hệ thống) và TPCx-AI (Điểm 720,386 @SF3, 864,593@SF10 với Dell PowerEdge R6715 là kỷ lục thế giới về hiệu suất) tính đến ngày 10/2/2024. Hiệu suất thực tế có thể khác.}