Cân nhắc thành phần cơ sở hạ tầng cho AI
Giới thiệu
Có nhiều cân nhắc quan trọng liên quan đến các thành phần cơ sở hạ tầng phần cứng khác nhau cho một hệ thống AI tổng quát, bao gồm điện toán hiệu năng cao, kết nối mạng tốc độ cao và bộ lưu trữ có thể mở rộng, dung lượng cao và độ trễ thấp.
Tính toán
Các mô hình AI sáng tạo yêu cầu lượng điện toán đáng kể, đặc biệt là trong giai đoạn đào tạo vì chúng thường liên quan đến phép nhân ma trận quy mô lớn và các hoạt động tính toán chuyên sâu khác. Để đào tạo, người ta thường sử dụng nhiều GPU mạnh để tăng tốc quá trình. Để suy luận, có thể sử dụng phần cứng kém mạnh mẽ hơn nhưng cần có một lượng điện toán đáng kể để cung cấp phản hồi nhanh.
Máy gia tốc
Như đã đề cập trước đó, các máy gia tốc như GPU thường được sử dụng để đẩy nhanh quá trình đào tạo. Các máy gia tốc này được thiết kế đặc biệt để xử lý song song một lượng lớn dữ liệu, khiến chúng rất phù hợp với phép nhân ma trận và các hoạt động khác mà các mô hình AI tổng quát yêu cầu. Ngoài phần cứng chuyên dụng, còn có các kỹ thuật tăng tốc dựa trên phần mềm như đào tạo độ chính xác hỗn hợp, có thể đẩy nhanh quá trình đào tạo bằng cách giảm độ chính xác của một số phép tính.
Kho
Các mô hình AI sáng tạo có thể khá lớn, với nhiều tham số và đầu ra trung gian. Dung lượng này có nghĩa là các mô hình yêu cầu dung lượng lưu trữ đáng kể để chứa tất cả dữ liệu. Người ta thường sử dụng các hệ thống lưu trữ phân tán như Hadoop hoặc Spark để lưu trữ dữ liệu đào tạo và đầu ra trung gian trong quá trình đào tạo. Để suy luận, có thể lưu trữ mô hình trên đĩa cục bộ, nhưng đối với các mô hình lớn hơn, có thể cần sử dụng giải pháp lưu trữ gắn mạng hoặc lưu trữ dựa trên đám mây. Các thành phần lưu trữ có thể mở rộng, dung lượng cao và độ trễ thấp cho cả đối tượng tệp và kho lưu trữ tệp là rất cần thiết trong các hệ thống AI.
Mạng
Kết nối mạng là một yếu tố quan trọng cần cân nhắc đối với AI tổng quát, đặc biệt là trong các tình huống đào tạo phân tán. Trong quá trình đào tạo, dữ liệu thường được phân phối trên nhiều nút, mỗi nút có bộ tăng tốc và lưu trữ riêng. Các nút này phải liên lạc với nhau thường xuyên để trao đổi dữ liệu và cập nhật mô hình. Các giải pháp mạng tốc độ cao như InfiniBand hoặc RDMA thường được sử dụng để giảm thiểu độ trễ của các giao tiếp này và cải thiện đáng kể hiệu suất của quá trình đào tạo.
Bản tóm tắt
Trí tuệ nhân tạo sáng tạo yêu cầu lượng điện toán và lưu trữ đáng kể, đồng thời thường liên quan đến việc sử dụng các bộ tăng tốc chuyên dụng như GPU. Ngoài ra, các giải pháp mạng tốc độ cao rất quan trọng để giảm thiểu độ trễ trong quá trình đào tạo phân tán. Bằng cách xem xét cẩn thận các yêu cầu này, các doanh nghiệp có thể xây dựng và triển khai các mô hình AI tổng quát nhanh, hiệu quả và chính xác.
Cấu hình phần mềm và cơ sở hạ tầng của DELL
Giới thiệu
Phần này mô tả các thành phần phần cứng và phần mềm chính của Dell được sử dụng trong kiến trúc giải pháp AI tổng quát.
Máy chủ Dell PowerEdge
Dell Technologies cung cấp một loạt các máy chủ được tối ưu hóa về khả năng tăng tốc và danh mục tăng tốc mở rộng với GPU NVIDIA. Hai máy chủ Dell được giới thiệu trong giải pháp cho AI tổng quát.
Phương pháp điện toán thích ứng PowerEdge cho phép các máy chủ được thiết kế để tối ưu hóa những tiến bộ công nghệ mới nhất nhằm mang lại kết quả có lợi có thể dự đoán được. Những cải tiến trong danh mục PowerEdge bao gồm:
- Tập trung vào khả năng tăng tốc —Hỗ trợ cho danh mục GPU đầy đủ nhất, mang lại hiệu suất tối đa cho AI, học máy cũng như đào tạo và suy luận học sâu, mô phỏng và mô hình hóa điện toán hiệu năng cao (HPC), phân tích nâng cao cũng như khối lượng công việc và bộ ứng dụng cộng tác phong phú
- Thiết kế tản nhiệt chu đáo —Các giải pháp và thiết kế tản nhiệt mới để giải quyết các thành phần tỏa nhiệt dày đặc, và trong một số trường hợp, thiết kế từ trước ra sau, làm mát bằng không khí
- Làm mát đa vector của Dell —Thiết kế tản nhiệt tiên tiến, hợp lý hóa cho các đường dẫn khí trong máy chủ
Máy chủ PowerEdge XE9680
Máy chủ PowerEdge XE9680 là một máy chủ ứng dụng hiệu năng cao được tạo ra để đáp ứng các khối lượng công việc AI, machine learning và deep learning đòi hỏi khắt khe, cho phép bạn nhanh chóng phát triển, đào tạo và triển khai các mô hình machine learning lớn.
Máy chủ PowerEdge XE9680 là máy chủ đầu tiên trong ngành được xuất xưởng với tám GPU NVIDIA H100 và phần mềm NVIDIA AI. Nó được thiết kế để tối đa hóa thông lượng AI, cung cấp cho các doanh nghiệp một nền tảng tinh vi, được hệ thống hóa và có thể mở rộng để giúp họ đạt được những bước đột phá trong NLP, hệ thống đề xuất, phân tích dữ liệu, v.v.
Khung gầm thiết kế làm mát bằng không khí 6U của nó hỗ trợ các công nghệ thế hệ tiếp theo có công suất cao nhất lên đến 35C. Nó có hiệu năng gấp chín lần và kết nối mạng nhanh hơn hai lần với card giao diện mạng thông minh NVIDIA ConnectX-7 (SmartNIC) và khả năng mở rộng tốc độ cao cho NVIDIA SuperPOD.
Máy chủ PowerEdge XE8640
Máy chủ PowerEdge XE8640 là máy chủ được tối ưu hóa hiệu suất 4U làm mát bằng không khí có bốn GPU NVIDIA H100 Tensor Core và công nghệ NVIDIA NVLink, cùng với hai bộ xử lý Intel Xeon Scalable thế hệ thứ 4 sắp ra mắt. Nó được thiết kế để giúp các doanh nghiệp phát triển, đào tạo và triển khai các mô hình máy học để tăng tốc và tự động hóa quá trình phân tích.
Máy chủ PowerEdge R760xa
Được tối ưu hóa cho GPU PCIe, máy chủ 2U PowerEdge R760xa ổ cắm kép cho phép các doanh nghiệp tăng tốc nhiều loại ứng dụng bao gồm các ứng dụng đào tạo và suy luận AI, phân tích, ảo hóa và kết xuất hiệu suất, tất cả đều nằm trong một thiết kế làm mát bằng không khí. Máy chủ PowerEdge R760xa mang lại hiệu suất vượt trội khi sử dụng CPU Intel và hỗ trợ bộ tăng tốc GPU đa dạng từ AMD, Intel và NVIDIA để đáp ứng nhu cầu xử lý đòi hỏi khắt khe và rộng lớn. Triển khai và kích hoạt các ứng dụng đồ họa đòi hỏi khắt khe cũng như các ứng dụng suy luận AI dày đặc trong toàn doanh nghiệp với các tính năng và khả năng mạnh mẽ, sử dụng công nghệ mới nhất.
Lưu trữ tệp Dell
Dell PowerScale hỗ trợ các khối lượng công việc AI đòi hỏi khắt khe nhất với các giải pháp lưu trữ tệp NVMe hoàn toàn bằng flash mang lại hiệu suất và hiệu quả cao trong một hệ số dạng nhỏ gọn.
Có một số mô hình được sử dụng trong kiến trúc giải pháp AI tổng quát, tất cả đều được cung cấp bởi hệ điều hành PowerScale OneFS và hỗ trợ nén và chống trùng lặp dữ liệu nội tuyến. Số nút PowerScale tối thiểu trên mỗi cụm là ba nút và kích thước cụm tối đa là 252 nút.
PowerScale F900
PowerScale F900 cung cấp hiệu suất tối đa của các ổ đĩa toàn bộ NVMe trong một cấu hình tiết kiệm chi phí để giải quyết nhu cầu lưu trữ của các khối lượng công việc AI đòi hỏi khắt khe. Mỗi nút có chiều cao 2U và lưu trữ 24 ổ SSD NVMe. PowerScale F900 hỗ trợ ổ đĩa TLC hoặc QLC để có hiệu suất tối đa. Nó cho phép bạn mở rộng dung lượng lưu trữ thô từ 46 TB lên 736 TB trên mỗi nút và tối đa 186 PB dung lượng thô trên mỗi cụm.
PowerScale F600
PowerScale F600 bao gồm các ổ NVMe để cung cấp dung lượng lớn hơn với hiệu suất lớn trong hệ số dạng 1U nhỏ gọn tiết kiệm chi phí để cung cấp năng lượng cho khối lượng công việc đòi hỏi khắt khe. PowerScale F600 hỗ trợ các ổ đĩa TLC hoặc QLC để có hiệu suất tối đa. Mỗi nút cho phép bạn mở rộng dung lượng lưu trữ thô từ 15,36 TB lên 245 TB và tối đa 60 PB dung lượng thô cho mỗi cụm.
Bài viết mới cập nhật
Thuần hóa sự hỗn loạn của công nghệ: Giải pháp phục hồi sáng tạo của Dell
Sự cố CNTT nghiêm trọng ảnh hưởng đến 8,5 triệu hệ ...
Dell PowerScale và Marvel hợp tác để tạo ra quy trình làm việc truyền thông tối ưu
Hiện đang ở thế hệ thứ 9, giải pháp lưu trữ Dell ...
Bảo mật PowerScale OneFS SyncIQ
Trong thế giới sao chép dữ liệu, việc đảm bảo tính ...
Danh sách kiểm tra cơ sở bảo mật PowerScale
Là một biện pháp bảo mật tốt nhất, chúng tôi khuyến ...