Tạo Chatbot bằng Precision và NVIDIA AI Workbench

Xây dựng Chatbot của riêng bạn: Truy xuất thông tin AI dễ dàng

Tất cả chúng ta đều từng trải qua cảm giác bực bội khi tìm kiếm thông tin quan trọng trên nhiều hệ thống công ty. Cho dù là trong bán hàng, nhân sự hay hỗ trợ, việc tìm đúng dữ liệu có thể tốn thời gian và khó khăn. Bây giờ, hãy tưởng tượng một thế giới mà bạn chỉ cần đặt một câu hỏi và nhận được câu trả lời trong vài giây. Đó chính là những gì mà chatbot Retrieval-Augmented Generation (RAG) có thể làm—ngay lập tức trích xuất thông tin có liên quan nhất từ ​​các tài liệu của công ty bạn.

Và phần tuyệt vời nhất là gì? Với các công cụ như NVIDIA AI Workbench , bạn có thể xây dựng một chatbot RAG trên PC cá nhân của mình—không cần cơ sở hạ tầng lớn. Trong bài viết này, chúng tôi sẽ hướng dẫn bạn cách thiết lập chatbot RAG của riêng bạn, sử dụng một dự án ví dụ về AI Workbench để chỉ ra cách AI có thể đơn giản hóa việc truy xuất thông tin và cách bạn có thể mở rộng quy mô cho mục đích sử dụng trong doanh nghiệp.

Tại sao nên xây dựng Chatbot RAG?

Chatbot RAG kết hợp khả năng tạo ngôn ngữ tự nhiên với khả năng tìm kiếm qua dữ liệu nội bộ của bạn. Không giống như các chatbot truyền thống chỉ dựa vào các mô hình được đào tạo trước, RAG truy xuất dữ liệu thực trước khi tạo phản hồi, nghĩa là các câu trả lời chính xác và phù hợp với ngữ cảnh.

Công nghệ này rất phù hợp với nhiều ứng dụng kinh doanh khác nhau, chẳng hạn như:

• Phòng nhân sự trả lời các câu hỏi về chính sách một cách nhanh chóng.
• Nhóm dịch vụ khách hàng ngay lập tức lấy thông tin chi tiết về sản phẩm hoặc câu hỏi thường gặp.
• Đội ngũ bán hàng truy cập dữ liệu thời gian thực để cải thiện thời gian phản hồi trong quá trình đàm phán.

Bằng cách tích hợp dữ liệu cụ thể của công ty với chatbot, doanh nghiệp của bạn có thể cung cấp các câu trả lời được cá nhân hóa, có nhận thức về ngữ cảnh, tiết kiệm thời gian, giảm tìm kiếm thủ công và cải thiện hiệu quả của truyền thông nội bộ. Tìm hiểu thêm về cách xây dựng chatbot RAG lai trong khi vẫn duy trì quyền riêng tư dữ liệu với NVIDIA AI Workbench .

Bắt đầu: Những gì bạn cần

1. NVIDIA AI Workbench : Nền tảng này giúp bạn chạy các mô hình AI trên bất kỳ GPU NVIDIA RTX nào , cục bộ hoặc từ xa. Tải xuống tại đây .
2. Dự án AI Workbench Hybrid RAG : Tùy chỉnh dự án ví dụ này và xây dựng chatbot của riêng bạn. Truy cập tại đây .
3. Dữ liệu công ty : Bạn sẽ cần tải lên các tài liệu nội bộ, cơ sở kiến ​​thức hoặc nguồn dữ liệu mà chatbot sẽ sử dụng để thu thập thông tin.
4. Máy trạm PC có khả năng xử lý mạnh mẽ với GPU NVIDIA RTX : Lý tưởng nhất là máy trạm Precision được trang bị GPU NVIDIA RTX Ada Generation để xử lý nhanh hơn .

Hướng dẫn từng bước để xây dựng Chatbot RAG của bạn

Để khởi động chatbot RAG cục bộ của riêng bạn, bạn có thể làm theo các bước sau :

1. 1. Thiết lập tài khoản NVIDIA NGC và nhận khóa API NVCF.
   2. Cài đặt NVIDIA AI Workbench và thêm Khóa bí mật API.
   3. Chạy RAG Client.
   4. Chọn một mô hình, chọn chế độ suy luận và thêm dữ liệu của bạn!

1. Thiết lập tài khoản NVIDIA NGC của bạn và lấy khóa API NVCF của bạn

• Điều hướng đến trang đăng nhập NVIDIA NGC và nhập email để tạo tài khoản của bạn:

• Sau khi thiết lập tài khoản với thông tin cá nhân của bạn, hãy tạo khóa chạy :

Lưu khóa đã tạo ở nơi an toàn để sử dụng sau.

2. Cài đặt NVIDIA AI Workbench và thêm API Key Secret

• Cài đặt NVIDIA AI Workbench:

• Sao chép dự án AI Workbench Hybrid RAG từ GitHub :

• Sau khi dự án hoàn tất việc xây dựng, hộp thoại này sẽ bật lên. Bạn có thể nhập khóa mà chúng tôi đã tạo trước đó tại đây:

• Nếu hộp thoại không bật lên, bạn có thể nhập khóa API bằng cách vào Environment→Secrets:

3. Chạy RAG Client

• Bây giờ, khi bạn nhấn “Mở trò chuyện”, cửa sổ giao diện trò chuyện này sẽ bật lên:

4. Chọn một mô hình, chọn chế độ suy luận và thêm dữ liệu của bạn

• Chọn “Hệ thống cục bộ” làm chế độ suy luận. Điều này giúp đảm bảo dữ liệu, truy vấn và tính toán của bạn vẫn hoàn toàn riêng tư và độc lập trên hệ thống cục bộ của bạn.
• Sau đó, chọn một gia đình mẫu.
• Trong trường hợp của chúng tôi, chúng tôi đã sử dụng Mô hình Ungated, Microsoft/Phi-3-mini-128-instruct với lượng tử hóa 4-Bit:

Bây giờ bạn đã thiết lập chatbot, bạn có thể thêm dữ liệu và bắt đầu thực hiện truy vấn. Hãy đảm bảo kiểm tra chatbot bằng cách đặt những câu hỏi thực tế dựa trên dữ liệu bạn cung cấp, mà bạn biết câu trả lời chính xác.

Bước này có thể được mở rộng khi nhu cầu dữ liệu của công ty bạn tăng lên. Việc thường xuyên cập nhật chatbot bằng thông tin mới đảm bảo thông tin đó vẫn phù hợp và hữu ích.

Làm thế nào chúng ta có thể mở rộng quy mô này? Các thiết kế đã được xác thực của Dell

Việc mở rộng quy mô giải pháp AI như chatbot RAG có thể khiến bạn cảm thấy nản lòng, đặc biệt là khi doanh nghiệp của bạn phát triển và chatbot của bạn cần xử lý nhiều truy vấn, dữ liệu và tác vụ phức tạp hơn. Dell DVD được thiết kế để đơn giản hóa quy trình này bằng cách cung cấp lộ trình cho khả năng mở rộng , tối ưu hóa hiệu suất và bảo mật . Dell đã phát triển hướng dẫn thiết kế miễn phí này để bạn có thể thành công trong việc tạo ra giải pháp AI an toàn, hiệu suất cao và có khả năng mở rộng.

Sau đây là một số nguyên tắc cơ bản bạn sẽ học được khi đọc hướng dẫn :

Kiến trúc mô-đun và có thể mở rộng

Khi bạn bắt đầu sử dụng chatbot RAG, nó có thể chỉ xử lý một vài truy vấn cùng một lúc. Nhưng khi mức sử dụng tăng lên, nhu cầu về cơ sở hạ tầng của bạn cũng tăng theo. Kiến trúc đã được xác thực của Dell đưa ra phương pháp tiếp cận theo mô-đun cho phép hệ thống của bạn phát triển mà không cần cấu hình lại lớn.

• • Bắt đầu nhỏ, mở rộng khi cần : Ban đầu, triển khai chatbot của bạn trên PC cá nhân hoặc máy chủ nhỏ. Khi số lượng người dùng và truy vấn tăng lên, bạn có thể mở rộng hệ thống theo từng bước bằng cách thêm tài nguyên.
  • Kubernetes để mở rộng quy mô động : Sử dụng Kubernetes để cơ sở hạ tầng chatbot của bạn có thể tự động mở rộng quy mô để đáp ứng nhu cầu tăng cao. Sau đó, tài nguyên được phân bổ hiệu quả khi hệ thống của bạn phát triển.

Bảo mật dữ liệu tại chỗ

Khi chatbot RAG của bạn phát triển, tầm quan trọng của việc bảo mật dữ liệu riêng tư của bạn cũng tăng theo. Kiến trúc của Dell nhấn mạnh vào việc triển khai tại chỗ cho các doanh nghiệp cần lưu trữ dữ liệu nhạy cảm trong nội bộ, tránh xa các hệ thống đám mây.

• • Chạy chatbot trên phần cứng cục bộ : Kiến trúc của Dell hỗ trợ triển khai tại chỗ, nghĩa là bạn có thể phát triển hệ thống của mình trên máy chủ Dell PowerEdge hoặc cơ sở hạ tầng cục bộ khác, đồng thời bảo vệ dữ liệu của bạn.
  • Thời gian phản hồi nhanh hơn : Bằng cách lưu trữ dữ liệu và xử lý cục bộ, bạn có thể mong đợi phản hồi nhanh hơn khi hệ thống phát triển.

Tối ưu hóa hiệu suất với GPU NVIDIA RTX Professional

Dell khuyên bạn nên sử dụng GPU NVIDIA RTX để chatbot của bạn có thể mở rộng quy mô hiệu quả trong khi vẫn duy trì hiệu suất cao.

• • Kết hợp GPU NVIDIA RTX : Việc mở rộng quy mô với GPU NVIDIA RTX đảm bảo chatbot của bạn có thể xử lý nhiều truy vấn dữ liệu chuyên sâu hơn mà không gặp phải tình trạng chậm hoặc độ trễ. Tùy thuộc vào các mô hình được chọn và bạn muốn chạy cục bộ, bạn sẽ muốn có GPU NVIDIA RTX 12GB trở lên. Mặc dù bạn không cần chạy cục bộ, bạn cũng có thể chạy Workbench với NIM hoặc NeMO.
  • Tối ưu hóa cho khối lượng công việc nặng hơn : Khi mở rộng khối lượng công việc của bạn, bạn cũng muốn xem xét phần cứng hỗ trợ nó. Dell có các tùy chọn có thể mở rộng theo khối lượng công việc của bạn:
    • Tower Server : Thích hợp cho các doanh nghiệp vừa và nhỏ cần giải pháp tiết kiệm chi phí, dễ quản lý. Hoàn hảo cho việc khởi nghiệp nhỏ mà không cần trung tâm dữ liệu đầy đủ.
    • Máy chủ dạng tủ : Phù hợp cho các hoạt động quy mô lớn với cơ sở hạ tầng CNTT hiện có (ví dụ: phòng máy chủ).
    • Máy chủ AI : Hoạt động mạnh mẽ hơn—được thiết kế cho khối lượng công việc AI chuyên sâu, như học sâu và xử lý dữ liệu quy mô lớn.
    • Máy chủ Edge : Tuyệt vời cho các môi trường cần xử lý dữ liệu theo thời gian thực tại các vị trí từ xa. Hữu ích cho các hệ thống phân tán có độ trễ thấp như IoT.

Tại sao RAG và Scaling lại quan trọng đối với doanh nghiệp của bạn

Chatbot RAG đơn giản hóa cách doanh nghiệp của bạn truy cập thông tin quan trọng. Cho dù trong HR, bán hàng hay dịch vụ khách hàng, chatbot RAG đảm bảo rằng dữ liệu phù hợp luôn trong tầm tay bạn, ngay lập tức lấy thông tin có liên quan từ hệ thống nội bộ của bạn. Điều này giúp giảm thời gian tìm kiếm câu trả lời, cải thiện quá trình ra quyết định và nâng cao năng suất chung.

Tuy nhiên, xây dựng chatbot chỉ là bước khởi đầu. Khi doanh nghiệp của bạn phát triển, chatbot của bạn cần phải mở rộng theo. Đó là lúc các nguyên tắc thiết kế AI đã được xác thực của Dell phát huy tác dụng. Dell cung cấp một khuôn khổ đã được chứng minh để mở rộng chatbot của bạn một cách hiệu quả và an toàn, với kiến ​​trúc mô-đun cho phép bạn phát triển liền mạch, triển khai tại chỗ để bảo vệ dữ liệu nhạy cảm và GPU NVIDIA RTX để duy trì hiệu suất cao ngay cả khi khối lượng công việc nặng hơn.

Bằng cách triển khai các chiến lược có khả năng mở rộng này, chatbot RAG của bạn sẽ phát triển từ một công cụ truy xuất thông tin đơn giản thành một hệ thống AI mạnh mẽ phát triển cùng công ty của bạn—cung cấp thông tin chi tiết nhanh chóng và chính xác trong mọi bước thực hiện.