Tối ưu hóa quá trình xử lý dữ liệu với Dell AI Factory cùng NVIDIA và Mistral AI

Dell Technologies tiếp tục đặt ra chuẩn mực cho những tiến bộ đột phá về AI khi hợp tác với các công ty hàng đầu trong ngành như NVIDIA và Mistral AI. Như chúng tôi đã nêu trong blog của mình từ Dell Technologies World cách đây vài tuần, chúng tôi đang hợp tác chặt chẽ với Mistral AI để phát triển các giải pháp mang sức mạnh thực sự của AI đến với doanh nghiệp. Sau thành công chung tại sự kiện, chúng tôi đang mở rộng sự hợp tác với các giải pháp RAG agentic tiên tiến do Dell AI Factory cung cấp với NVIDIA và Dell AI Data Platform , có đầu nối Dell PowerScale mới cho các ứng dụng RAG.

Tối ưu hóa hiệu quả AI

Khi các tổ chức khám phá các ứng dụng tạo ra tăng cường truy xuất tác nhân (RAG) để trích xuất thông tin chi tiết từ các kho dữ liệu lớn, thì tình trạng thiếu hiệu quả trong hoạt động trở thành rào cản. Các nhà phát triển AI và nhà khoa học dữ liệu sẽ cần phải tinh chỉnh các mô hình rất nhiều để làm cho các tác nhân của họ sẵn sàng cho doanh nghiệp bằng cách sử dụng một lượng lớn dữ liệu độc quyền và IP đa dạng. Các tác nhân sẽ chạy nhiều kỹ thuật AI cùng lúc và các yêu cầu suy luận sẽ tăng nhanh chóng. Đồng thời, các thách thức thu thập dữ liệu lặp đi lặp lại có thể làm chậm tiến độ và gây căng thẳng cho các tài nguyên tính toán.

Khi xử lý hàng terabyte dữ liệu, điều này có thể tăng lên vì các nhà phát triển liên tục xử lý các thay đổi trên hàng triệu tệp, dẫn đến việc sử dụng tài nguyên CPU và GPU quá mức, di chuyển dữ liệu quá mức, nhu cầu mạng tăng lên và các đường ống xử lý chậm hơn. Việc theo kịp các tập dữ liệu động lớn là một vấn đề dai dẳng, thường yêu cầu các nhà phát triển phải xây dựng lại các khối và nhúng dữ liệu chuyên sâu về tính toán.

Tại NVIDIA GTC San Jose vào tháng 3, Dell đã giới thiệu một  đầu nối dành riêng cho Dell PowerScale dành cho các ứng dụng RAG giúp khách hàng giải phóng tài nguyên CPU và GPU trên các cụm máy tính AI của họ. Là chìa khóa cho các ứng dụng RAG, đầu nối này giảm thiểu việc xử lý dữ liệu dư thừa, tối ưu hóa chi phí vận hành, hiệu suất cơ sở hạ tầng và tăng tốc thời gian tạo ra kiến ​​thức. Sử dụng đầu nối, hệ thống theo dõi các tệp đã xử lý và chưa xử lý bằng siêu dữ liệu hệ thống tệp được đồng bộ hóa với cơ sở dữ liệu Elasticsearch, giảm bớt gánh nặng tính toán bằng cách tránh việc xử lý lại các tệp không thay đổi.

Phần mềm NVIDIA AI Enterprise, trung tâm của Dell AI Factory với NVIDIA bổ sung các khả năng này bằng cách tăng tốc quá trình chuyển đổi, nhúng và truy xuất dữ liệu. Các nhà phát triển hiện có thể khai thác các dịch vụ vi mô NeMo để trích xuất thông tin chi tiết một cách nhanh chóng và trực quan.

Tích hợp với Mistral AI

Chúng tôi đang hợp tác với Mistral AI để giải quyết những thách thức quan trọng về hiệu quả hoạt động. Chúng tôi đang cùng nhau phát triển các giải pháp tận dụng tối đa Dell AI Factory với NVIDIA và Dell AI Data Platform mới. Kết quả là một hệ sinh thái thống nhất có thể mở rộng hiệu quả các ứng dụng RAG.

Nguyên tắc chỉ đạo cho các giải pháp này là: 

• • Các mô hình AI và cơ sở hạ tầng phần mềm chất lượng và hiệu suất cao của Mistral

Truy cập thống nhất vào dữ liệu có cấu trúc và không có cấu trúc đa phương thức cho khối lượng công việc GenAI, tích hợp với Mistral AI để lập luận dựa trên LLM

• • Chuyển đổi dữ liệu nhanh hơn cho RAG và truy xuất kiến ​​thức bằng cách sử dụng PowerScale RAG Connector và cơ sở dữ liệu vector
  • Đường ống từ tài liệu đến câu trả lời được tăng tốc bằng cách sử dụng vector, siêu dữ liệu và tìm kiếm từ khóa
  • Hiệu suất suy luận cực cao với Project Lightning ,  giải pháp của Dell cho bộ nhớ đệm khóa-giá trị
  • Kiểm soát truy cập cấp doanh nghiệp và tích hợp lưu trữ với ObjectScale và PowerScale

Thông qua sự tích hợp hiệp lực này, các nhà phát triển có thể rút ngắn thời gian đưa ra kết quả AI và kiểm soát hoạt động tốt hơn, mở đường cho những tiến bộ của AI đại lý. 

Mở khóa tiềm năng kinh doanh ở quy mô lớn

Dell AI Factory kết hợp với NVIDIA, các dịch vụ vi mô NVIDIA NIM và các giải pháp Mistral AI, mang lại những lợi ích kinh doanh hữu hình cho các tổ chức đang nỗ lực tích hợp AI một cách liền mạch:

1. Tối ưu hóa việc truy xuất dữ liệu: Bằng cách xử lý thông minh các tệp mới hoặc đã sửa đổi, các công ty có thể tối ưu hóa chu kỳ CPU/GPU cho các tác vụ quan trọng.
2. Tối ưu hóa cơ sở hạ tầng AI tổng thể: Quy trình làm việc hợp lý giúp giảm thiểu sự cố vận hành, mang đến cho các nhà phát triển khả năng mở rộng để đáp ứng nhu cầu thay đổi một cách tự tin.
3.  Hiệu suất: Đường ống dữ liệu hiệu quả cho phép doanh nghiệp trích xuất thông tin chi tiết có thể hành động nhanh hơn, hỗ trợ ra quyết định thông minh hơn và rút ngắn chu kỳ đổi mới.

Thúc đẩy sự đổi mới, cung cấp năng lượng cho các giải pháp AI

Sự kết hợp chuyên môn của Dell, NVIDIA và Mistral AI đại diện cho kỷ nguyên tiếp theo của quá trình chuyển đổi do AI thúc đẩy. Bằng cách giải quyết những thách thức cốt lõi của quản lý dữ liệu với Dell AI Data Platform, tình trạng kém hiệu quả về mặt tính toán và khả năng mở rộng, những đổi mới này trao quyền cho các doanh nghiệp hành động quyết đoán trong tương lai do AI thúc đẩy.