Xây dựng tương lai của AI với Meta Llama 3

Các dự án AI nguồn mở đã dân chủ hóa khả năng tiếp cận các công nghệ AI tiên tiến, thúc đẩy sự hợp tác và thúc đẩy tiến bộ nhanh chóng trong lĩnh vực này. Thông báo của Meta về việc phát hành các mô hình Meta Llama 3 đánh dấu một bước tiến đáng kể trong không gian mô hình nền tảng AI nguồn mở. Llama 3 là một mô hình ngôn ngữ lớn (LLM) mở, dễ tiếp cận, được thiết kế dành cho các nhà phát triển, nhà nghiên cứu và doanh nghiệp để xây dựng, thử nghiệm và mở rộng quy mô các ý tưởng AI tổng quát của họ một cách có trách nhiệm. Các LLM thế hệ mới nhất này được xây dựng dựa trên sự thành công của các mẫu Meta Llama 2 , mang đến những cải tiến về hiệu suất, độ chính xác và khả năng.

Những tiến bộ chính trong Llama 3 bao gồm các cải tiến trong quy trình sau đào tạo, nhằm cải thiện các khả năng như lý luận, tạo mã và làm theo hướng dẫn. Ngoài ra, những cải tiến trong kiến ​​trúc mô hình, chẳng hạn như kích thước từ vựng tăng lên và bộ mã thông báo được cải thiện đáng kể, cho phép mã hóa ngôn ngữ hiệu quả hơn. Kích thước ngữ cảnh của mã thông báo đầu vào cũng đã được tăng từ 4K lên 8K, mang lại lợi ích cho các trường hợp sử dụng có mã thông báo đầu vào lớn, chẳng hạn như RAG (thế hệ tăng cường truy xuất).

Trường hợp sử dụng

Hiện tại, có bốn biến thể của mô hình Llama 3, bao gồm các mô hình kích thước tham số 8B và 70B ở các phiên bản được huấn luyện trước và điều chỉnh theo hướng dẫn. Các doanh nghiệp có thể tận dụng giấy phép phân phối mở và cho phép thương mại của các mô hình Llama để triển khai các mô hình này tại chỗ cho nhiều trường hợp sử dụng, bao gồm chatbot, hỗ trợ khách hàng, tạo mã và tạo tài liệu.

Các mẫu Dell PowerEdge và Meta Llama: Giải pháp mạnh mẽ cho AI sáng tạo

Tại Dell Technologies, chúng tôi rất vui mừng về sự hợp tác liên tục của chúng tôi với Meta và những tiến bộ trong hệ sinh thái mô hình nguồn mở. Bằng cách cung cấp cơ sở hạ tầng mạnh mẽ cần thiết để hỗ trợ việc triển khai và sử dụng các mô hình ngôn ngữ lớn này, Dell cam kết giúp khách hàng triển khai LLM tại chỗ dễ dàng hơn thông qua Thiết kế được xác thực của Dell cho AI . Chúng tôi cung cấp các giải pháp cơ sở hạ tầng tích hợp từ đầu đến cuối tối ưu để tinh chỉnh và triển khai các mô hình này trong môi trường CNTT của chính khách hàng mà không phải gửi dữ liệu nhạy cảm lên đám mây hoặc phải sử dụng các mô hình độc quyền tốn kém và hệ sinh thái khép kín.

Các kỹ sư của Dell đã tích cực làm việc với Meta để triển khai các mẫu Llama 3 trên nền tảng điện toán của Dell, bao gồm PowerEdge XE9680 , XE8640 và R760XA, tận dụng sự kết hợp của các mẫu GPU. Do các mô hình Llama 3 dựa trên kiến ​​trúc máy biến áp chỉ dành cho bộ giải mã tiêu chuẩn nên chúng có thể được tích hợp liền mạch vào cơ sở hạ tầng phần mềm hiện có của khách hàng, bao gồm các khung suy luận như TGI, vLLM hoặc TensorRT-LLM.

Trong những tuần tới, Dell sẽ cung cấp kết quả thử nghiệm, dữ liệu hiệu suất và công thức triển khai cho thấy việc triển khai các mô hình Llama 3 trên cơ sở hạ tầng của Dell dễ dàng như thế nào và hiệu suất so với các mô hình Llama 2 như thế nào. Sự hợp tác liên tục này giữa Dell và Meta nhấn mạnh cam kết thúc đẩy hệ sinh thái AI nguồn mở thông qua đổi mới dựa vào cộng đồng và trao quyền cho các doanh nghiệp khai thác sức mạnh của AI trong môi trường CNTT của riêng họ.

Bắt đầu với Hội thảo về Máy gia tốc Dell dành cho AI sáng tạo

Dell Technologies cung cấp hướng dẫn về các trường hợp sử dụng mục tiêu AI, yêu cầu quản lý dữ liệu, kỹ năng và quy trình vận hành. Các chuyên gia dịch vụ của chúng tôi làm việc với nhóm của bạn để chia sẻ quan điểm của chúng tôi về AI và giúp nhóm của bạn xác định các cơ hội, thách thức và ưu tiên chính.