Đưa các thùng chứa vào thử nghiệm trong một giải pháp học tập sâu
Container hóa đơn giản hóa nhiệm vụ quản lý và phân phối phần mềm. Nó kết hợp các ứng dụng và tất cả các phụ thuộc phần mềm của chúng trong các gói di động có thể di chuyển dễ dàng từ hệ thống này sang hệ thống khác.
Cách tiếp cận phân phối phần mềm này đơn giản hóa các hoạt động CNTT. Các nhóm phát triển phần mềm có thể đặt tất cả các phần và bộ phận lại với nhau thành một gói sẵn sàng chạy trên phần cứng tương thích. Quản trị viên CNTT có thể tập trung vào cơ sở hạ tầng sẽ chạy ứng dụng trong vùng chứa mà không cần xem xét các vấn đề về phần mềm.
Đó là những mặt tích cực của quá trình container hóa. Nhưng sau đó, có một câu hỏi về khả năng bị phạt hiệu suất đi kèm với các ứng dụng được đóng gói. Trong thế giới CNTT, có một nhận thức rằng tính trừu tượng có thể dẫn đến suy giảm hiệu suất.
Chúng tôi đưa nhận thức này vào thử nghiệm trong Dell EMC HPC và Phòng thí nghiệm đổi mới trí tuệ nhân tạo . Và, để bắt đầu cuộc rượt đuổi, các thử nghiệm của chúng tôi cho thấy rằng phần mềm có thể được đóng gói mà không bị phạt đáng kể về hiệu suất.
Các bài kiểm tra
Đối với các thử nghiệm của mình, chúng tôi đã sử dụng Giải pháp Dell EMC Ready cho AI – Deep Learning với Intel . Giải pháp mở rộng quy mô dựa trên CPU này cung cấp một nền tảng linh hoạt để huấn luyện nhiều mô hình mạng thần kinh khác nhau với các khả năng và đặc điểm hiệu suất khác nhau. Nền tảng này sử dụng Nauta , một nền tảng đào tạo deep learning mã nguồn mở được xây dựng trên các công nghệ gốc trên nền tảng đám mây, chẳng hạn như Docker và Kubernetes. Nauta cung cấp một môi trường phần mềm đơn giản hóa có thể dễ dàng tùy chỉnh để phù hợp với bất kỳ yêu cầu nào của nhà khoa học dữ liệu.
Chúng tôi đã đo lường và phân tích hiệu suất của giải pháp này bằng ba trường hợp sử dụng đào tạo deep learning khác nhau:
- Phân loại hình ảnh bằng cách sử dụng mạng thần kinh tích chập
- Dịch ngôn ngữ bằng mạng chú ý nhiều đầu
- Đề xuất sản phẩm sử dụng máy Boltzmann bị hạn chế
Chúng tôi đã chọn tính đa dạng về khối lượng công việc và tính toán của các trường hợp sử dụng này để làm nổi bật tính linh hoạt của giải pháp cho các ứng dụng trên các phân khúc khách hàng và loại vấn đề khác nhau. Trong cả ba trường hợp sử dụng, các thử nghiệm của chúng tôi đã chứng minh quy mô hiệu suất gần như tuyến tính cho đến kích thước đầy đủ của giải pháp. Chúng tôi không gặp phải hình phạt nào về hiệu suất.
Các thử nghiệm bổ sung mà chúng tôi đã thực hiện trên phần cứng tương tự trong cụm Dell EMC Zenith trong phòng thí nghiệm của chúng tôi cho thấy rằng giải pháp có thể mở rộng tất cả các trường hợp sử dụng đã thử nghiệm ngoài 16 nút điện toán. Các thử nghiệm này đã xác nhận rằng các tổ chức CNTT có thể mở rộng giải pháp khi yêu cầu điện toán của họ tăng lên mà không ảnh hưởng đến hiệu suất.
điểm chính
Trong các thử nghiệm trong phòng thí nghiệm của mình, chúng tôi đã chứng minh rằng — ngoài tính linh hoạt cao hơn cho nhà khoa học dữ liệu đang đào tạo mô hình — việc sử dụng vùng chứa không ảnh hưởng bất lợi đến hiệu suất của các giải pháp mà chúng tôi đã kiểm tra. Trên thực tế, chúng tôi thậm chí còn nhận thấy rằng, trong một số trường hợp, các tổ chức có thể mong đợi hiệu suất tốt hơn từ khối lượng công việc được đóng gói trên giải pháp so với những gì họ có thể mong đợi từ cùng một phần cứng được triển khai trong cấu hình kim loại trần.
Vì vậy, nơi nào chúng ta đi từ đây? Các thử nghiệm thành công của chúng tôi cho thấy rằng chúng tôi có thể khám phá việc sử dụng vùng chứa cho các trường hợp sử dụng quan trọng về hiệu suất khác, chẳng hạn như điện toán hiệu năng cao và giao dịch tài chính. Và chúng ta có thể nghĩ rộng hơn về các thùng chứa để trả lời các câu hỏi như
- Chúng tôi có thể chạy các ứng dụng song song bên trong các thùng chứa không? và
- Chúng ta có thể sử dụng các bộ chứa để đạt được việc sử dụng và quản lý đơn giản trên toàn bộ phổ điện toán không?
Những câu hỏi này rất đáng để theo đuổi khi chúng ta tiến tới một thế giới nơi các thùng chứa chắc chắn sẽ được sử dụng rộng rãi hơn.
Để tìm hiểu thêm
- Để có cái nhìn đầy đủ hơn về câu chuyện này, hãy xem sách trắng “ Dell EMC Ready Solutions for AI – Deep Learning with Intel: Đo lường hiệu suất và khả năng của các trường hợp sử dụng deep learning .”
- Để xem các phát hiện độc lập của bên thứ ba, hãy đọc xác thực kỹ thuật ESG của Dell EMC Ready Solutions for AI – Deep Learning với Intel.
- Để có cái nhìn tổng thể về phần mềm Nauta, hãy xem blog của tôi “ Học sâu đơn giản, có thể mở rộng, được chứa trong vùng chứa bằng Nauta ”.
Lucas Wilson, Ph.D., là nhà nghiên cứu trí tuệ nhân tạo và nhà khoa học dữ liệu hàng đầu tại Phòng thí nghiệm đổi mới AI và HPC tại Dell EMC.
Bài viết mới cập nhật
Tăng tốc đổi mới và tính bền vững của AI: Dell PowerScale F910 mật độ cao, hiệu suất cao
Tăng tốc đổi mới và tính bền vững của AI: Dell ...
Khả năng hiển thị là điều bắt buộc tuyệt đối đối với an ninh
Tìm hiểu cách Dell và Absolute sử dụng dữ liệu từ ...
Dell Reconnect kỷ niệm 20 năm tái chế
Hãy kỷ niệm 20 năm Dell Reconnect và tái chế các ...
Nhật ký của một Kỹ sư Hệ thống VFX—Phần 1: Thống kê isi
Chào mừng bạn đến với bài đăng đầu tiên trong loạt ...