Nâng cao khả năng trợ lý kỹ thuật số AI với Nền tảng đám mây Dell APEX cho Red Hat OpenShift

Thúc đẩy phát triển ứng dụng AI

Không có gì bí mật rằng các ứng dụng và mô hình AI có xu hướng khao khát dung lượng lưu trữ, cho dù đó là để lưu trữ dữ liệu cho việc đào tạo, lưu trữ các mô hình đã được đào tạo, cho các bộ dữ liệu bổ sung cho Thế hệ tăng cường truy xuất (RAG) hoặc cho dữ liệu đến được được hệ thống xử lý. Các mô hình lớn yêu cầu nhiều bộ nhớ GPU và thậm chí các bộ dữ liệu lớn hơn trên các hệ thống lưu trữ có thể truy cập mạng dùng chung để đào tạo.

Với sự hỗ trợ liên tục cho lưu trữ khối Dell PowerFlex và hiện có hỗ trợ lưu trữ đối tượng S3 bằng các giải pháp như Dell ObjectScale, bản phát hành mới nhất của Nền tảng đám mây Dell APEX cho OpenShift có thể mở khóa các khả năng lưu trữ linh hoạt hơn để giúp bạn làm được nhiều việc hơn với dữ liệu của mình .

Ngoài ra, với sự hỗ trợ mới được giới thiệu cho GPU NVIDIA L40s, chúng tôi đang làm cho việc theo kịp tốc độ tăng trưởng kích thước mô hình trở nên dễ dàng hơn một chút và cung cấp nhiều khả năng đồng thời cũng như khả năng mở rộng hơn cho các ứng dụng. Những cải tiến này làm cho Nền tảng đám mây Dell APEX cho OpenShift trở thành nền tảng lý tưởng để phát triển và triển khai các ứng dụng AI.

Ảnh chụp màn hình sơ đồ khối của Nền tảng đám mây Dell APEX với các thành phần Red Hat OpenShift AI và NVIDIA được xếp lớp trên đó.

Trợ lý kỹ thuật số thiết kế được Dell xác nhận có bộ não lớn hơn

Để giới thiệu hỗ trợ phần cứng và lưu trữ mới, Thiết kế được xác thực của Dell cho trợ lý kỹ thuật số đã được cập nhật để sử dụng mẫu Llama2-13b được lưu trữ trên bộ lưu trữ đối tượng của Dell.

Thiết kế được xác thực của Dell Technologies của chúng tôi là các cấu hình đã được thử nghiệm và chứng minh, được thiết kế ngay từ đầu để phù hợp linh hoạt với nhu cầu dựa trên các trường hợp sử dụng cụ thể. Các giải pháp tích hợp này đã được kiểm tra và ghi chép nghiêm ngặt để giúp tăng tốc và đơn giản hóa việc triển khai các giải pháp mới. Bằng cách cung cấp các giải pháp CNTT với các lựa chọn thiết kế linh hoạt và hướng dẫn chọn thành phần phù hợp, các Thiết kế đã được xác thực này có thể rút ngắn thời gian triển khai – giảm hoặc trong một số trường hợp là loại bỏ thời gian cần thiết để thiết kế, thử nghiệm và tích hợp các thành phần.

Thiết kế trợ lý kỹ thuật số cập nhật được xây dựng trên kiến ​​trúc vi dịch vụ có sẵn với OpenShift và tận dụng khả năng phục vụ và xây dựng ứng dụng AI của OpenShift AI, bao gồm cả việc sử dụng các quy trình khoa học dữ liệu.  

Sơ đồ quy trình hiển thị dữ liệu truyền qua các thành phần chức năng của trợ lý kỹ thuật số AI dựa trên web sử dụng RAG cập nhật tự động.

Các quy trình có thể được tạo trong sổ ghi chép Jupyter, xuất và sau đó được nhập vào OpenShift AI để cho phép các lần chạy thực thi tự động có thể lặp lại và có thể lập lịch. Trong trường hợp này, chúng tôi sử dụng nó để thăm dò ý kiến ​​chia sẻ tệp mạng, tìm tài liệu mới được thêm vào và cập nhật cơ sở dữ liệu vectơ nhúng với các kết quả mới. Điều này giúp kết quả của chúng tôi phù hợp hơn khi thông tin thay đổi, vì các mô hình cơ sở có xu hướng tụt hậu so với kiến ​​thức mới nhất và mới nhất.

Ảnh chụp màn hình quy trình khoa học dữ liệu trong Red Hat OpenShift AI với ba bước.

Để hiển thị tất cả các khả năng có sẵn để điều chỉnh trợ lý AI, giao diện người dùng đã được cập nhật với một số chuông và còi mới. Giờ đây, nó cho phép bạn chọn các kho tài liệu RAG khác nhau để tách biệt các danh mục tài liệu được nhập khác nhau. (Hãy nghĩ đến việc muốn đảm bảo rằng bộ phận kỹ thuật không có quyền truy cập vào tài liệu của bộ phận tài chính và ngược lại.) Bạn có thể tự thay đổi mô hình và điều chỉnh các tham số bổ sung để có tính sáng tạo hoặc độ chính xác.

Ảnh chụp màn hình giao diện trợ lý AI dựa trên web với các thông số nâng cao hiển thị để điều chỉnh cùng với câu hỏi và câu trả lời từ hệ thống được hiển thị.

Phiên âm âm thanh AI: Nói và đánh vần bằng dịch vụ giọng nói NVIDIA Riva

Phiên âm và dịch âm thanh AI là một giải pháp khác có tiềm năng giá trị kinh doanh trên nhiều ngành. Ở đây, thật dễ dàng để thấy cách nhận dạng giọng nói tự động và xử lý ngôn ngữ tự nhiên của NVIDIA Riva, chạy trên Nền tảng đám mây Dell APEX cho OpenShift với GPU L40S, có thể giúp mọi người thống nhất quan điểm và giải quyết các vấn đề vượt qua rào cản ngôn ngữ.

Sơ đồ của ứng dụng nhận dạng và phiên âm giọng nói cũng như luồng dữ liệu đi qua giải pháp.

Dell Reference Design cho dịch vụ giọng nói NVIDIA Riva trên OpenShift AI cho thấy không chỉ cách OpenShift AI có thể được sử dụng để kiểm tra và làm quen với công nghệ AI mà còn cho thấy sau khi quá trình phát triển ứng dụng hoàn tất, trình tạo OpenShift có thể lấy mã của bạn và nhanh chóng biến nó thành một ứng dụng được đóng gói.

Ảnh chụp màn hình ứng dụng web trò chuyện video hiển thị hai người đang nói về Dell Technologies và kết quả là văn bản được chép lại bên dưới.

Từ ươm tạo ứng dụng AI đến sản xuất, Nền tảng đám mây Dell APEX không chỉ là sân chơi dành cho trợ lý ảo: đó là môi trường nơi các nhà khoa học và nhà phát triển dữ liệu có thể cộng tác, tạo và giải quyết các vấn đề kinh doanh bằng AI. Dell và các đối tác của chúng tôi tiếp tục cung cấp các giải pháp phần cứng và phần mềm có thể là bệ phóng cho sự đổi mới và chúng tôi cam kết cung cấp các công cụ liền mạch, mạnh mẽ và trực quan giúp thay đổi cách chúng ta tương tác với công nghệ AI.