AI sáng tạo trong doanh nghiệp

Có một số loại khối lượng công việc AI tổng quát cụ thể; mỗi người có những yêu cầu khác nhau. Các cấu hình hệ thống được mô tả sau trong sách trắng này phản ánh các yêu cầu này.

Suy luận

Suy luận là quá trình sử dụng mô hình AI tổng quát để tạo nội dung dự đoán mới dựa trên đầu vào. Một mô hình được đào tạo trước được đào tạo trên một tập dữ liệu lớn và khi dữ liệu mới được đưa vào mô hình, nó sẽ đưa ra dự đoán dựa trên những gì đã học được trong quá trình đào tạo. Quá trình đào tạo này liên quan đến việc cung cấp chuỗi hoặc hình ảnh đầu vào vào mô hình và nhận kết quả là chuỗi hoặc hình ảnh đầu ra. Suy luận thường nhanh hơn và ít tính toán hơn so với đào tạo vì nó không liên quan đến việc cập nhật các tham số mô hình.

Tùy chỉnh mô hình

Tùy chỉnh mô hình được đào tạo trước là quá trình đào tạo lại mô hình AI tổng quát hiện có cho các trường hợp sử dụng dành riêng cho từng nhiệm vụ hoặc miền cụ thể. Đối với các mô hình lớn, việc tùy chỉnh sẽ hiệu quả hơn là huấn luyện mô hình trên tập dữ liệu mới. Các kỹ thuật tùy chỉnh được sử dụng ngày nay bao gồm tinh chỉnh, điều chỉnh hướng dẫn, học nhanh (bao gồm điều chỉnh nhanh và điều chỉnh P), học tăng cường với phản hồi của con người, học chuyển giao và sử dụng bộ điều hợp (hoặc máy biến áp có thể điều chỉnh).

Các loại tùy chỉnh hữu ích nhất là tinh chỉnh, học nhanh và học chuyển.

tinh chỉnh

Tinh chỉnh đào tạo lại một mô hình đã được đào tạo trước trên một tác vụ hoặc tập dữ liệu cụ thể, điều chỉnh các tham số của nó để cải thiện hiệu suất và làm cho nó trở nên chuyên biệt hơn. Phương pháp tùy chỉnh truyền thống này hoặc đóng băng tất cả trừ một lớp và điều chỉnh trọng số và độ lệch trên tập dữ liệu mới hoặc thêm một lớp khác vào mạng thần kinh và tính toán lại trọng số và độ lệch trên tập dữ liệu mới.

học hỏi nhanh

Học nhanh là một chiến lược cho phép sử dụng lại các mô hình ngôn ngữ đã được đào tạo trước cho các tác vụ khác nhau mà không cần thêm tham số mới hoặc tinh chỉnh với dữ liệu được gắn nhãn. Những kỹ thuật này cũng có thể được sử dụng trên các mô hình hình ảnh AI tổng quát lớn.

Dựa nhanh có thể được phân loại thành hai kỹ thuật rộng hơn: điều chỉnh nhanh và điều chỉnh P.

• Điều chỉnh kịp thời là quá trình đào tạo lại một mô hình AI tổng quát được đào tạo trước cho các trường hợp sử dụng cụ thể theo nhiệm vụ hoặc theo miền cụ thể. Nó sử dụng các bộ dữ liệu phù hợp để cải thiện hiệu suất của nó trên một miền, trường hợp sử dụng hoặc tác vụ cụ thể hoặc để kết hợp kiến ​​thức bổ sung vào mô hình. Quá trình này cho phép mô hình thích ứng với các đặc điểm cụ thể của tập dữ liệu mới và có thể cải thiện độ chính xác cũng như hiệu suất của mô hình đối với tác vụ.
• Điều chỉnh P hoặc điều chỉnh tham số, tập trung vào việc điều chỉnh lời nhắc hoặc hướng dẫn trong quá trình suy luận để định hình đầu ra của mô hình mà không sửa đổi các trọng số cơ bản của nó. Cả hai kỹ thuật đều đóng vai trò tùy chỉnh và tối ưu hóa các mô hình ngôn ngữ lớn cho các trường hợp sử dụng cụ thể.

học chuyển tiếp

Học chuyển đổi là một kỹ thuật truyền thống để sử dụng các mô hình AI tổng quát được đào tạo trước nhằm tăng tốc quá trình đào tạo trên các bộ dữ liệu mới. Kỹ thuật này bắt đầu với một mô hình được đào tạo trước đã học các tính năng hữu ích từ một tập dữ liệu lớn, sau đó điều chỉnh nó thành một tập dữ liệu mới với lượng dữ liệu đào tạo nhỏ hơn. Nó có thể nhanh hơn và hiệu quả hơn nhiều so với việc đào tạo một mô hình ban đầu trên tập dữ liệu mới vì mô hình được đào tạo trước đã hiểu các tính năng cơ bản của dữ liệu. Học chuyển rất hữu ích khi dữ liệu đào tạo hạn chế có sẵn cho một nhiệm vụ hoặc miền mới. Học chuyển giao thường không được sử dụng cho các LLM AI tổng quát nhưng hiệu quả với các mô hình AI chung.

Trong thiết kế giải pháp này, các cấu hình liên quan đến tùy chỉnh được tối ưu hóa để tinh chỉnh và P-tuning. Tuy nhiên, các cân nhắc về khả năng mở rộng và thiết kế kiến ​​trúc tổng thể vẫn áp dụng cho các kỹ thuật tùy chỉnh khác và cho các bộ dữ liệu không phải văn bản.

Đào tạo

Đào tạo là quá trình sử dụng tập dữ liệu để đào tạo mô hình AI tổng quát ban đầu. Đào tạo cung cấp các ví dụ mô hình từ tập dữ liệu và điều chỉnh các tham số mô hình để cải thiện hiệu suất của mô hình đối với nhiệm vụ. Đào tạo có thể là một quá trình tính toán chuyên sâu, đặc biệt đối với các mô hình quy mô lớn như GPT-3.

Trong quy trình làm việc từ đầu đến cuối dành cho AI tổng quát, trình tự chính xác của các bước này phụ thuộc vào ứng dụng và yêu cầu cụ thể. Ví dụ: quy trình làm việc chung cho LLM có thể bao gồm:

• Tiền xử lý và làm sạch dữ liệu huấn luyện
• Đào tạo một mô hình AI tổng quát trên dữ liệu
• Đánh giá hiệu suất của mô hình được đào tạo
• Tinh chỉnh mô hình trên một tác vụ hoặc tập dữ liệu cụ thể
• Đánh giá hiệu suất của mô hình tinh chỉnh
• Triển khai mô hình để suy luận trong môi trường sản xuất

Học chuyển giao cũng có thể được sử dụng tại các điểm khác nhau trong quy trình làm việc này để đẩy nhanh quá trình đào tạo hoặc cải thiện hiệu suất của mô hình. Nhìn chung, điều quan trọng là chọn các kỹ thuật và công cụ phù hợp cho từng bước của quy trình làm việc và để tối ưu hóa quy trình cho các yêu cầu và ràng buộc cụ thể của ứng dụng.