LatentAI: Nâng cao trí thông minh biên với Dell và NVIDIA AI

Giàn khoan dầu và máy móc tự động có điểm gì chung? Nghe có vẻ như là một lời mở đầu tệ hại cho một trò đùa, nhưng chúng có một điểm chung: cả hai đều sử dụng các giải pháp AI tại chỗ trong điều kiện khả năng truy cập vào mạng lưới đám mây bị hạn chế hoặc không tồn tại.

Cho dù bạn đang giám sát cơ sở hạ tầng trên giàn khoan dầu ngoài khơi xa hay điều chỉnh các mô hình AI trong môi trường khắc nghiệt, việc chờ dữ liệu đến được tài nguyên đám mây cách xa hàng nghìn dặm là điều không thực tế. LatentAI , một công ty chuyên về AI biên, giúp giải quyết thách thức này bằng cách cho phép xử lý dữ liệu theo thời gian thực tại nguồn, cung cấp các hoạt động nhanh chóng và hiệu quả tại nơi cần nhất.

Jags Kandasamy, CEO kiêm Đồng sáng lập của LatentAI cho biết: “Chúng tôi đã sớm nhận ra rằng thách thức lớn nhất không chỉ là xây dựng các mô hình AI mà còn là đảm bảo các mô hình đó có thể hoạt động trong điều kiện khắc nghiệt” . “Điện toán đám mây có chỗ đứng của nó, nhưng trong những môi trường năng động này, bạn không có đủ thời gian để chờ đợi. Bạn cần AI hoạt động ở nơi có hành động”.

Thách thức của AI công nghiệp: Xử lý tại chỗ, thời gian thực

Hãy tưởng tượng một giàn khoan dầu, nơi các đồng hồ đo tương tự phải được giám sát liên tục để đảm bảo an toàn. Dữ liệu cần được thu thập và xử lý ngay lập tức để ngăn ngừa các sự cố thiết bị tốn kém hoặc các sự cố nguy hiểm. Vấn đề là gì? Các giàn khoan này đang di chuyển xa hơn ngoài khơi, hạn chế kết nối internet băng thông cao. Việc gửi dữ liệu đó lên đám mây để phân tích có thể gây ra sự chậm trễ dẫn đến hỏng hóc hoặc tăng thời gian chết.

Đây là loại môi trường mà AI công nghiệp phát triển mạnh mẽ – nơi mà khả năng thích ứng và ra quyết định theo thời gian thực có thể tạo nên hoặc phá vỡ một hoạt động.

“AI không hoạt động riêng lẻ. Các mô hình AI chỉ tốt bằng phần cứng mà chúng chạy trên đó.” 

“Jags Kandasamy, CEO và đồng sáng lập của LatentAI

Tại sao AI biên công nghiệp cần phần cứng được xây dựng có mục đích

AI biên công nghiệp đòi hỏi cơ sở hạ tầng phù hợp để hoạt động, đặc biệt là trong các môi trường có thách thức về mặt vật lý và tính toán. Như đã đề cập trước đó, các giải pháp đám mây thường không thực tế trong lĩnh vực này, đặc biệt là đối với các môi trường khắc nghiệt, hạn chế về tài nguyên. LatentAI giải quyết hạn chế đó bằng công nghệ của mình để thiết kế, tối ưu hóa và triển khai các mô hình AI hiệu quả nhất trên phần cứng được xây dựng có mục đích tại biên. Các giải pháp biên công nghiệp đòi hỏi phải xử lý tại dữ liệu, không chỉ gần dữ liệu.

Sử dụng công nghệ LatentAI Efficient Inference Platform (LEIP), nhu cầu lưu trữ và tính toán mô hình AI được giảm thông qua nén và biên dịch. Quá trình này làm cho các mô hình nhỏ hơn, nhanh hơn và tiết kiệm năng lượng hơn mà không làm giảm độ chính xác.

LEIP cũng tối ưu hóa mô hình để cải thiện tốc độ suy luận bằng cách sử dụng tất cả các khả năng tăng tốc phần cứng có sẵn. Điều này cho phép mô hình AI chạy trên phần cứng chỉ có CPU tiêu chuẩn hoặc nếu có GPU, LEIP sẽ xử lý quy trình biên dịch để tạo thời gian chạy AI cho suy luận tại chỗ. LEIP chạy trên các hệ thống máy trạm dựa trên x86 truyền thống với GPU NVIDIA RTX Ada Generation và nền tảng NVIDIA IGX Orin và NVIDIA Jetson cho các ứng dụng AI biên công nghiệp.

Nếu bạn muốn chạy cục bộ, LatentAI đã thử nghiệm công nghệ LEIP trên Precision 5690 với GPU máy tính xách tay NVIDIA RTX 5000 Ada Generation và phát hiện ra rằng nó thực hiện với công thức chính xác nhất (chậm nhất), Yolov8, nhanh hơn tới 300 lần so với đào tạo CPU.

“Mọi người thường bắt đầu với mô hình AI,” Kandasamy nói, “nhưng mô hình này không có nhiều tác dụng nếu bạn không thể triển khai nó. Chúng tôi đảm bảo các mô hình được tối ưu hóa cho các thiết bị mà chúng sẽ chạy trên đó.”

Bằng cách tập trung vào việc tối ưu hóa mô hình trên phần cứng, LatentAI cho phép triển khai AI hiệu quả trong điều kiện thực tế.

Đưa AI đến Edge

Về vấn đề này, Kandasamy chỉ ra, “chìa khóa để triển khai AI thành công là kết hợp mô hình tốt nhất với các thiết bị phù hợp”. Và trong các môi trường như mỏ dầu hoặc nhà máy, phần cứng cần phải có khả năng tương đương với phần mềm.

Đó là nơi các thiết bị bền chắc tìm thấy chỗ đứng của mình. Được phân loại thành bán bền chắc hoặc hoàn toàn bền chắc, các thiết bị này được thiết kế để có độ bền cao trong điều kiện khắc nghiệt. Đặc biệt, các thiết bị hoàn toàn bền chắc được chế tạo để đáp ứng các điều kiện khắc nghiệt mà không ảnh hưởng đến chức năng. Các thiết bị như Pro Rugged 13, Latitude 7230 Rugged Extreme Tablet và Latitude 7030 Rugged Extreme Tablet cung cấp các giải pháp máy tính xách tay và máy tính bảng với xếp hạng hoàn toàn bền chắc.

Điều này có nghĩa là các thiết bị này đã được thử nghiệm theo tiêu chuẩn MIL-STD 810G về khả năng rơi, va đập và rung cũng như xếp hạng IP65 về khả năng chống nước và bụi. Trong khi ở trên giàn khoan dầu hoặc các môi trường khắc nghiệt khác, việc có các tính năng khác như bàn di chuột tương thích với găng tay và màn hình có đèn nền lên đến 1400 nits để đảm bảo khả năng xem dưới ánh sáng mặt trời trực tiếp, pin kép có thể hoán đổi nóng và thiết lập CPU công suất cao giúp đảm bảo công nghệ của bạn đáp ứng được nhu cầu của tình huống.

Kết hợp với khả năng LEIP và xử lý biên của LatentAI, những chiếc máy tính xách tay và máy tính bảng chắc chắn này có thể rút ngắn thời gian đào tạo của bạn xuống còn vài phút thay vì vài tháng.

Sự hợp tác cho tương lai của AI công nghiệp

Làm việc với Dell và NVIDIA, LatentAI tối đa hóa khả năng tính toán của phần cứng, cần thiết cho môi trường tại chỗ nơi các giải pháp thông thường không đáp ứng được. Như Kandasamy nói, “Đây không chỉ là về các mô hình AI. Mà là về cách chúng tôi khiến chúng hoạt động trong thế giới thực, ngay tại nơi chúng cần. …Điều thú vị đối với tôi là chúng tôi đang đi đầu trong lĩnh vực AI. …Tôi rút ra sự tương đồng với những gì chúng tôi đã có trong những ngày đầu của Internet.”

Internet đã biến đổi các ngành công nghiệp. Hiện nay, AI biên đang định nghĩa lại cách đưa ra quyết định theo thời gian thực trên thực địa. LatentAI đang thúc đẩy các giải pháp vượt ra ngoài cơ sở hạ tầng đám mây để xử lý dữ liệu cục bộ, ngay cả trong điều kiện xa xôi hoặc nguy hiểm nhất.