NVIDIA NIM thúc đẩy chăm sóc sức khỏe và xe tự hành

Các Mô hình Ngôn ngữ Lớn (LLM), chẳng hạn như Llama, là các hệ thống AI được đào tạo trên các tập dữ liệu văn bản khổng lồ để hiểu và tạo ra văn bản giống con người. Các mô hình này hỗ trợ nhiều ứng dụng, từ chatbot dịch vụ khách hàng đến các công cụ tạo nội dung. Tuy nhiên, việc triển khai chúng trong môi trường sản xuất thường đòi hỏi chuyên môn và nguồn lực đáng kể về cơ sở hạ tầng, điều mà nhiều tổ chức còn thiếu.

Để giải quyết vấn đề này, NVIDIA đã phát triển NIM Microservices. NIM trừu tượng hóa độ phức tạp của phần backend bằng các microservice được container hóa, xử lý cơ sở hạ tầng cần thiết để chạy LLM hiệu quả. Thay vì xây dựng và duy trì các ngăn xếp máy chủ tùy chỉnh, các nhà phát triển có thể tập trung vào việc xây dựng các ứng dụng hỗ trợ AI hoạt động trên nhiều môi trường khác nhau.

NIM đảm bảo hiệu suất và khả năng mở rộng nhất quán bằng cách đóng gói các thành phần vào các thiết bị di động, dù được triển khai trên đám mây hay tại chỗ. Điều này giúp các nhóm không có kiến ​​thức chuyên sâu về cơ sở hạ tầng có thể tiếp cận AI tiên tiến.

Một ví dụ điển hình là tại Mayo Clinic , nơi NIM được triển khai tại chỗ để chạy các chương trình LLM mà không cần gửi dữ liệu nhạy cảm của bệnh nhân lên đám mây. Khi nói đến AI trong chăm sóc sức khỏe, bảo mật và tốc độ không loại trừ lẫn nhau. NIM giúp bảo vệ dữ liệu bệnh nhân đồng thời tăng tốc độ phân tích.

Triển khai AI tại chỗ: bảo mật và kiểm soát

Việc kết hợp NVIDIA NIM với triển khai AI tại chỗ cho phép các ngành được quản lý tận dụng LLM mà không cần gửi dữ liệu nhạy cảm đến các dịch vụ đám mây bên ngoài. Đối với các tổ chức chăm sóc sức khỏe như Mayo Clinic , điều này đồng nghĩa với việc chạy các khối lượng công việc AI như phân tích hình ảnh y tế, đồng thời đáp ứng các tiêu chuẩn bảo mật và tuân thủ nghiêm ngặt.

Máy chủ Dell PowerEdge cung cấp hiệu suất và độ tin cậy cấp doanh nghiệp cần thiết cho những môi trường khắc nghiệt này. Mayo Clinic được trang bị hệ thống NVIDIA DGX Blackwell 200 , cung cấp 1,4 terabyte bộ nhớ GPU, lý tưởng để xử lý hình ảnh toàn slide lớn. Hệ thống này tích hợp với nền tảng kỹ thuật số hiện có của Mayo và các phòng xét nghiệm robot tự động, cho phép chẩn đoán tiên tiến với quy mô và tốc độ chưa từng có.

Việc đầu tư vào GPU chuyên dụng và cơ sở hạ tầng tại chỗ cho phép thời gian phản hồi nhanh hơn và khả năng mở rộng lớn hơn, đồng thời giữ dữ liệu trong phạm vi an toàn của tổ chức. Điều này giúp giảm thời gian phân tích từ hàng giờ xuống còn vài phút, đồng thời vẫn duy trì các tiêu chuẩn bảo mật cao nhất.

Triển khai AI dựa trên đám mây: khả năng mở rộng và linh hoạt

Mayo Clinic chuyển sang triển khai tại chỗ để đáp ứng các tiêu chuẩn nghiêm ngặt về quyền riêng tư và tuân thủ. Ngược lại, các tổ chức như Waymo dựa vào đám mây để giải quyết các nhu cầu về quy mô, tốc độ và tính linh hoạt về mặt địa lý. Đội xe tự hành tạo ra khối lượng lớn dữ liệu thời gian thực cần được xử lý ngay lập tức trên các môi trường phân tán.

Waymo sử dụng NVIDIA NIM để triển khai AI trên nhiều trung tâm dữ liệu mà vẫn duy trì hiệu suất cao. Các phương tiện tự hành của họ liên tục tạo ra dữ liệu cảm biến, hỗ trợ việc ra quyết định trên đường và thúc đẩy những cải tiến liên tục trong các thuật toán an toàn. Việc xử lý dữ liệu cảm biến theo thời gian thực là rất quan trọng để duy trì các tiêu chuẩn an toàn, và việc triển khai NIM trên nền tảng đám mây cho phép các công ty mở rộng khả năng xử lý trên nhiều trung tâm dữ liệu.

Hệ thống NVIDIA DGX là nền tảng điện toán AI được cấu hình sẵn, kết hợp nhiều GPU với phần mềm được tối ưu hóa. Công nghệ NVIDIA NVLink và NVLink Switch kết nối các GPU này với tốc độ cao hơn so với các phương pháp kết nối truyền thống.

Hệ thống NVIDIA DGX với hệ thống NVLink cung cấp tốc độ băng thông lên đến 1,8 TB/giây, gấp đôi thế hệ trước. Cơ sở hạ tầng này cho phép phân tích nhanh chóng các mô hình lái xe trên toàn đội xe và đẩy nhanh quá trình xác thực các tình huống mới, giúp Waymo phát triển công nghệ nhanh hơn mà vẫn đảm bảo an toàn ở quy mô lớn.

Cơ sở hạ tầng hỗ trợ AI hiện đại

NVIDIA NIM đơn giản hóa việc triển khai AI bằng cách cung cấp các dịch vụ vi mô được đóng gói sẵn, xử lý các yêu cầu cơ sở hạ tầng phức tạp của hệ thống AI sản xuất. Cho dù các tổ chức lựa chọn triển khai tại chỗ vì yêu cầu bảo mật hay triển khai trên nền tảng đám mây vì khả năng mở rộng, NIM đều cung cấp nền tảng cho các ứng dụng AI đáng tin cậy.