Granite 4 Hybrid Models: Định nghĩa lại AI với Dell AI Factory

Tại Dell Technologies, chúng tôi tin rằng công nghệ nên trao quyền cho mọi tổ chức và thúc đẩy sự tiến bộ của con người. Đó là lý do tại sao chúng tôi công bố sự hợp tác mới nhất với IBM, mang dòng sản phẩm Granite 4.0 đến Dell Enterprise Hub trên Hugging Face.

Điều này quan trọng vì các doanh nghiệp ngày càng muốn chạy các mô hình “nguồn mở” tại chỗ và Dell Enterprise Hub kết hợp với Dell AI Factory cung cấp cho người dùng một lộ trình hoàn chỉnh, đã được xác thực để triển khai AI an toàn ở cấp độ doanh nghiệp.

Có gì mới? Tương lai là sự kết hợp: Mamba2 gặp Transformer

Granite 4.0 của IBM tận dụng kiến ​​trúc mô hình độc đáo kết hợp các thành phần Mamba và transformer để mang lại hiệu quả tối ưu. Hiệu quả của Mamba xử lý khối lượng công việc nặng nề trong việc hiểu bối cảnh toàn cầu trên các tài liệu dài, trong khi các khối transformer cung cấp bước hoàn thiện, tinh chỉnh các chi tiết cục bộ với độ chính xác cao.

Sự kết hợp mạnh mẽ này mang lại khả năng xử lý ngữ cảnh dài, tốc độ và hiệu quả bộ nhớ của Mamba với độ chính xác đã được chứng minh của bộ biến đổi trong một thiết kế tiết kiệm tài nguyên. Điều này, cùng với chiến lược Hỗn hợp Chuyên gia (MoE) cho một số mô hình Granite 4.0, giúp giảm thiểu hơn nữa dung lượng bộ nhớ và tính toán, lý tưởng cho doanh nghiệp.

Granite 4.0 tại Nhà máy AI của Dell: Đổi mới được đơn giản hóa

Các mô hình tiên tiến chỉ tốt khi chúng dễ tiếp cận. Bằng cách cung cấp Granite 4.0 thông qua Dell Enterprise Hub trên cơ sở hạ tầng Dell đầy đủ, đã được xác thực, thông qua Dell AI Factory, chúng tôi đang tạo ra những giải pháp AI tiên tiến, sẵn sàng cho doanh nghiệp.

Sự hợp tác này mang lại những lợi ích hữu hình:

• • Hiệu quả vượt trội: Dựa trên tiêu chuẩn này từ IBM , so sánh Granite 4.0 H Tiny 7B và Granite 3.3 8B – hiệu quả bộ nhớ vượt trội ở độ dài ngữ cảnh cao hơn và mức độ đồng thời cao hơn.
  • Giải phóng sức mạnh ngữ cảnh dài: Có một hiện tượng gọi là Context Rot , trong đó các mô hình dựa trên bộ biến đổi mất đi độ chính xác đáng kể ở ngữ cảnh dài hơn. Do các mô hình Mamba-2 hoạt động tốt hơn ở ngữ cảnh cao về độ chính xác, kiến ​​trúc mô hình lai này loại bỏ các hạn chế của ngữ cảnh dựa trên mô hình.
    • Các mô hình IBM Granite 4.0 cũng triển khai NoPE (Không Mã hóa Vị trí), một khái niệm trong các mô hình biến áp, trong đó các mã hóa vị trí rõ ràng bị loại bỏ. Mặc dù không có mã hóa vị trí, các mô hình này vẫn có thể học và suy ra thông tin vị trí thông qua các cơ chế khác trong mạng, cho phép nó hoạt động tốt hơn trong bối cảnh dài.
  • Thúc đẩy đổi mới mở: Giấy phép Apache 2.0 mở cho phép các nhà phát triển tùy chỉnh, tinh chỉnh và điều chỉnh các mô hình một cách tự do để đáp ứng các nhu cầu kinh doanh cụ thể, thúc đẩy văn hóa AI doanh nghiệp cởi mở và hợp tác.

Gặp gỡ gia đình Granite 4.0

Dell Enterprise Hub cung cấp quyền truy cập vào danh mục các mẫu Granite 4.0, mỗi mẫu được thiết kế riêng để hỗ trợ các ứng dụng doanh nghiệp khác nhau:

• • Granite 4.0 H Nhỏ: Với tổng cộng 32 tỷ tham số (9 tỷ tham số đang hoạt động), mô hình MoE lai này là công cụ mạnh mẽ cho khối lượng công việc của doanh nghiệp đòi hỏi hiểu biết sâu sắc về ngữ cảnh của các tài liệu dài và phức tạp.

• • Granite 4.0 H Tiny: Mô hình MoE lai hiệu quả với tổng cộng 7 tỷ tham số (1 tỷ tham số hoạt động), được tối ưu hóa cho việc triển khai biên và thử nghiệm cục bộ. Nó mang AI mạnh mẽ đến nơi dữ liệu của bạn lưu trữ.

• • Granite 4.0 H Micro: Mô hình dày đặc truyền thống với 3 tỷ tham số nhỏ gọn như một giải pháp thay thế khi hỗ trợ Mamba-2 chưa được tối ưu hóa.

Tác động thực tế, được hỗ trợ bởi Dell và IBM

Kiến trúc độc đáo của Granite 4.0 mở ra một thế giới khả năng mới cho doanh nghiệp của bạn.

• • Hiểu sâu hơn về tài liệu: Nhờ duy trì độ chính xác ở ngữ cảnh cao hơn, các mô hình vượt xa những bản tóm tắt đơn giản. Phân tích các hợp đồng pháp lý dài dòng, báo cáo tài chính phức tạp hoặc hướng dẫn kỹ thuật dày đặc để khám phá những hiểu biết quan trọng với tốc độ chưa từng có.

• • Hệ thống RAG thông minh hơn: Việc duy trì độ chính xác ở ngữ cảnh dài hơn là rất quan trọng đối với các hệ thống dựa trên Retrieval-Augmented Generation (RAG). Bằng cách kết hợp với Granite Docling , người dùng có thể xây dựng các hệ thống vững chắc, hiệu quả và phản hồi nhanh hơn.
• • Trí tuệ nhân tạo tại Edge: Với các mô hình như Granite 4.0 Micro, người dùng có thể triển khai AI thời gian thực trực tiếp trên thiết bị, độc lập với đám mây. Đây là một bước đột phá cho các ngành công nghiệp như sản xuất, bán lẻ và hậu cần, nơi mà trí tuệ nhân tạo tức thời, tại chỗ là vô cùng quan trọng.

Dell và Hugging Face: Đơn giản hóa AI doanh nghiệp

Thông qua Dell Enterprise Hub trên Hugging Face, chúng tôi cùng nhau giúp việc triển khai, quản lý và mở rộng AI trở nên dễ dàng hơn bao giờ hết một cách tự tin.

Dell Enterprise Hub cung cấp cho doanh nghiệp quyền truy cập vào các mô hình đã được xác thực trước, được tối ưu hóa cho cơ sở hạ tầng AI của Dell, được hỗ trợ bởi GPU NVIDIA mới nhất. Doanh nghiệp thậm chí có thể sử dụng Dell Pro AI Studio để quản lý, triển khai và sử dụng Granite 4.0 H Small and Tiny trên máy tính Dell Pro Max thông qua Hub, giúp dễ dàng sử dụng Granite trong toàn bộ các giải pháp AI của bạn.

Bộ công cụ toàn diện của chúng tôi, bao gồm Dell AI CLI/Python SDK , Application Catalog và Model Catalog , giúp loại bỏ những trở ngại trong quá trình phát triển. Giải pháp toàn diện, từ phần cứng đến phần mềm và hỗ trợ này giúp bạn đẩy nhanh hành trình từ ý tưởng đến sản xuất.

Bằng cách chào đón các mô hình tiên tiến như IBM Granite 4.0 vào hệ sinh thái đáng tin cậy này, chúng tôi trao quyền cho các tổ chức như bạn xây dựng tương lai AI theo cách riêng của mình. Cùng nhau, chúng ta có thể biến tiềm năng công nghệ thành sự tiến bộ của nhân loại.