Gần đây tôi có tham dự một cuộc họp với một số nhà chiến lược của công ty. Họ lưu ý rằng thị trường AI quá phân mảnh sau ChatGPT và họ cần trợ giúp để xác định AI. Các chiến lược gia nói rằng có quá nhiều sự nhầm lẫn trên thị trường và chúng tôi cần giúp khách hàng hiểu và đơn giản hóa lĩnh vực công nghệ mới này. Điều này dẫn đến một cuộc thảo luận tuyệt vời về AI tổng quát và AI tổng quát, các trường hợp sử dụng khác nhau và nhu cầu cơ sở hạ tầng cũng như lý do tại sao chúng cần được xem xét riêng biệt. Sau đó, để củng cố rằng đây là điều mà nhiều người quan tâm nhất, chưa đầy hai giờ sau, tôi đang nói chuyện với một đồng nghiệp và gần như cùng một câu hỏi đã xuất hiện: tại sao cần có những cách tiếp cận khác nhau đối với các loại khối lượng công việc AI khác nhau? Vì sao chưa có “viên đạn bạc” cho AI?

“Truyền thống” so với LLM AI

Có sự phân chia trong các mô hình AI. Thị trường đã quyết định các thuật ngữ ‘Chung’ và ‘Sáng tạo’ cho các mẫu xe này. Hai loại mô hình này có thể được xác định bằng kích thước của chúng được đo bằng các tham số. Các tham số có thể được định nghĩa là các trọng số cho các xác suất khác nhau của một đầu ra nhất định. Các mô hình chúng tôi sử dụng trong những năm qua có kích thước tham số dao động từ hàng chục triệu (ResNet) đến nhiều nhất là 100 triệu (BERT). Các mô hình này vẫn phát huy hiệu quả và chiếm đa số các mô hình được triển khai vào sản xuất.

Làn sóng mô hình mới, được GPT-3 và ChatGPT của OpenAI nhấn mạnh, cho thấy một sự thay đổi lớn. Đồng hồ ChatGPT có từ 5 tỷ đến 20 tỷ thông số; GPT-3 có 175 tỷ thông số. GPT-4 thậm chí còn khổng lồ hơn, nằm trong khoảng từ 1,5 đến 170 nghìn tỷ thông số, tùy thuộc vào phiên bản. Đây là cốt lõi lý do tại sao chúng ta phải xử lý các hệ thống AI khác nhau theo cách khác nhau về những gì chúng ta muốn làm với chúng, các yêu cầu về cơ sở hạ tầng cũng như cách chúng ta triển khai chúng. Để xác định các yêu cầu về hiệu suất và kích thước cuối cùng cho mô hình AI, bạn cũng nên tính đến số lượng mã thông báo. Mã thông báo trong ngữ cảnh LLM là đơn vị văn bản mà mô hình sử dụng cho đầu vào và đầu ra. Số lượng mã thông báo có thể thay đổi từ vài trăm cho công việc suy luận LLM đến hàng trăm tỷ cho đào tạo LLM.

Tại sao lại nhảy?

Vậy chuyện gì đã xảy ra? Tại sao chúng tôi đột nhiên tăng kích thước mô hình lên hơn 2 bậc độ lớn? Chủ nghĩa quyết định. Các nhà khoa học AI trước đây đang cố gắng giải quyết những câu hỏi rất cụ thể.

Hãy xem ví dụ về ADAS hoặc hệ thống xe tự lái. Có một mô hình nhận dạng hình ảnh được triển khai trên ô tô và nó đang tìm kiếm những thứ cụ thể, chẳng hạn như biển báo dừng. Mô hình được triển khai sẽ xác định thời điểm nó nhìn thấy biển báo dừng và tuân theo một bộ quy tắc được xác định và giới hạn về cách phản ứng. Mặc dù thông minh ở khả năng nhận biết các biển báo dừng trong nhiều điều kiện khác nhau (mờ nhạt, phủ tuyết, uốn cong, v.v.), nhưng nó có một kiểu hành vi cố định. Đầu vào và đầu ra của mô hình luôn khớp nhau (dấu dừng = dừng.)

Với LLM hoặc hệ thống sinh sản, họ phải giải quyết cả vấn đề hiểu câu hỏi (nhắc nhở) và sau đó tạo ra câu trả lời thích hợp nhất. Đây là lý do tại sao Chat GPT có thể cung cấp cho bạn các câu trả lời khác nhau cho cùng một thông tin đầu vào: nó chạy lại toàn bộ quá trình và ngay cả những thay đổi nhỏ nhất đối với chi tiết đầu vào hoặc bản thân mô hình cũng sẽ gây ra các kết quả khác nhau. Kết quả của ChatGPT không được xác định trước. Điều này đòi hỏi mức độ phức tạp cao hơn nhiều và điều đó đã dẫn đến sự tăng trưởng bùng nổ về kích thước mô hình. Sự bùng nổ kích thước này cũng dẫn đến một điều kỳ lạ khác: không có gì là kích thước cố định. Hầu hết các mô hình tổng quát đều có kích thước trong phạm vi dưới dạng các phiên bản khác nhau và sẽ được tối ưu hóa cho các khu vực trọng tâm cụ thể.

Vậy ta phải làm sao?

Là những người thực hành AI, chúng ta phải nhận ra khi nào nên sử dụng các dạng mô hình và hệ thống AI khác nhau. Chúng ta phải tiếp tục theo dõi những thay đổi bổ sung trong bối cảnh mô hình AI. Chúng ta phải nỗ lực tìm cách tối ưu hóa các mô hình và chỉ sử dụng những phần chúng ta cần vì điều này sẽ dẫn đến giảm đáng kể kích thước của mô hình cũng như sự dễ dàng, tốc độ và hiệu quả chi phí khi triển khai hệ thống AI. Nếu nhóm hoặc công ty dự án AI của bạn muốn thảo luận về vấn đề này, hãy liên hệ với người liên hệ Dell Technologies của bạn để bắt đầu cuộc trò chuyện về cách Dell Technologies có thể giúp phát triển AI của bạn ở mọi quy mô.