Cải thiện việc thu thập dữ liệu RAG với RAG Connector mới của PowerScale

Tại GTC 2025, Dell giới thiệu một trình kết nối nguồn mở dành riêng cho Dell PowerScale dành cho các ứng dụng RAG giúp khách hàng giải phóng tài nguyên CPU và GPU trên cụm máy tính AI, giảm tải I/O mạng và lưu trữ, đồng thời tăng tốc đáng kể thời gian xử lý dữ liệu.

Khách hàng của Dell có thể tích hợp đầu nối PowerScale RAG với RAG Frameworks như LangChain hoặc với phần mềm NVIDIA AI Enterprise để tối ưu hóa hơn nữa quá trình xử lý dữ liệu bằng cách sử dụng các dịch vụ vi mô NVIDIA NIM. Các khả năng này cho phép mở rộng triển khai AI agentic bằng Dell AI Data Platform với NVIDIA và tích hợp với các dịch vụ phần cứng và phần mềm trong thiết kế tham chiếu NVIDIA AI Data Platform.

Hãy cùng xem xét vấn đề mà trình kết nối này giải quyết, cách thức hoạt động của nó và cách các nhà phát triển có thể sử dụng nó trong các ứng dụng RAG của họ.

Tại sao điều này lại quan trọng?

Ngày nay, khi các nhà phát triển thu thập dữ liệu bằng khuôn khổ RAG yêu thích của họ và xây dựng các ứng dụng RAG, họ phải đối mặt với một thách thức – làm thế nào để ứng dụng RAG luôn cập nhật những thay đổi mới nhất trong tập dữ liệu?

Thông thường, các nhà phát triển thiết lập một đường ống xử lý dữ liệu, trong đó họ nhập dữ liệu nguồn theo các khoảng thời gian đã đặt từ một hệ thống lưu trữ như PowerScale, một tùy chọn cơ sở hạ tầng lưu trữ chính của Dell AI Factory với NVIDIA. Đường ống này tạo và cập nhật các khối và nhúng mà ứng dụng RAG sử dụng. Việc tạo các khối và nhúng tốn kém về mặt tính toán và yêu cầu tài nguyên CPU và GPU .

Khi ứng dụng RAG cần tiếp nhận hàng triệu tài liệu và terabyte dữ liệu, nó sẽ tạo ra gánh nặng cho hệ thống tính toán, mạng và lưu trữ, đặc biệt là khi cùng một tài liệu xuất hiện nhiều lần. PowerScale RAG Connector cải thiện đáng kể hiệu suất bằng cách giảm lượng dữ liệu cần xử lý. Connector xác định thông minh các tệp đã được xử lý và quan trọng hơn là các tệp nào cần được xử lý. Tuyệt vời hơn nữa, connector tích hợp với các khung RAG như LangChain, các lớp Python chung và NVIDIA NeMo Retriever và các dịch vụ vi mô NIM.

Nó hoạt động như thế nào? Với bản phát hành phần mềm mới nhất của PowerScale, quản trị viên có thể sử dụng tính năng MetadataIQ mới, trong đó siêu dữ liệu hệ thống tệp được lưu định kỳ vào cơ sở dữ liệu Elasticsearch bên ngoài. Trình kết nối PowerScale RAG sử dụng thông tin trong cơ sở dữ liệu để theo dõi các tệp đã được xử lý nhằm cải thiện việc thu thập và xử lý dữ liệu trong các ứng dụng RAG.

Trong cả hai sơ đồ:

• Các nhà phát triển sẽ thu thập dữ liệu từ PowerScale bằng RAG Connector mã nguồn mở dựa trên python của Dell.
• Bộ kết nối sẽ giao tiếp với Metadata Repo (cơ sở dữ liệu) để theo dõi các tệp mới, đã sửa đổi và cập nhật.
• Sau khi hoạt động cơ sở dữ liệu được thực hiện, RAG Connector sẽ chỉ trả về kết quả của các tệp mới và đã sửa đổi cho khung RAG, bỏ qua bất kỳ tệp nào chưa được sửa đổi.
• Các tệp mới và đã sửa đổi sẽ được xử lý bình thường thông qua ứng dụng RAG. Các tệp này có thể được phân đoạn và nhúng bằng các phương pháp tiêu chuẩn hoặc bằng cách tận dụng NVIDIA NeMo Retriever.
• Thông tin chi tiết có thể được trích xuất nhanh chóng và chính xác từ lượng dữ liệu lớn bằng cách sử dụng bộ sưu tập NeMo Retriever của các dịch vụ vi mô NIM để trích xuất, nhúng và xếp hạng lại.

Do đó, các ứng dụng RAG chỉ xử lý các tệp mới và đã sửa đổi, giúp giải phóng tài nguyên CPU, GPU và mạng cho các tác vụ tính toán khác.

Khi sử dụng đầu nối Dell RAG PowerScale với phần mềm NVIDIA AI Enterprise, như NeMo Retriever, khách hàng sẽ giữ lại được những lợi ích từ đầu nối của Dell và tận dụng được những khả năng RAG tốt nhất từ ​​NVIDIA.