Thiết kế được Dell xác thực cho Bộ lưu trữ HPC pixstor ( 1 )

Tổng quan

Trong điện toán hiệu năng cao (HPC), tất cả các thành phần khác nhau của nó phải được cân bằng để có hiệu suất tối ưu và tránh tắc nghẽn. Sự phát triển công nghệ của các nút điện toán đã khiến cho việc lưu trữ trở thành một nút thắt cổ chai thường tránh được khi sử dụng Hệ thống tệp song song (PFS) có thể mở rộng quy mô để đáp ứng các nhu cầu mới lớn hơn. Những tiến bộ nhanh chóng gần đây trong công nghệ lưu trữ như SSD Non-Volatile Memory Express (NVMe), cung cấp các tùy chọn tốt hơn và nhanh hơn cho các hệ thống lưu trữ PFS.

Một hệ thống lưu trữ cân bằng tốt là cần thiết để đạt được hiệu suất tối ưu. Các thành phần của nó như mảng back-end, bộ điều khiển lưu trữ, ổ đĩa, thẻ IO, bộ điều hợp mạng và bộ chuyển mạch phải có khả năng cung cấp băng thông tương tự và phân phối tải giữa các bộ xử lý và bộ nhớ của máy chủ mà chúng sử dụng. PFS và phần mềm hỗ trợ phải có khả năng cân bằng tải trên các thành phần hệ thống lưu trữ khác nhau phân phối dữ liệu giữa chúng, giám sát hiệu suất cùng với tình trạng của các thành phần và cung cấp các công cụ quản trị để quản lý giải pháp một cách hiệu quả.

Dell Validated Design cho HPC pixstor Storage là một giải pháp có tính khả dụng cao (HA) dựa trên các máy chủ Dell PowerEdge 15G và mảng lưu trữ Dell PowerVault ME4084 được sắp xếp trong các mô-đun lưu trữ. Mỗi mô-đun lưu trữ có thể mở rộng dung lượng của nó lên 10,74 PiB của dung lượng lưu trữ có sẵn và được định dạng (dung lượng thô 12.096 TB). Giải pháp có thể mở rộng quy mô theo yêu cầu của khách hàng bằng cách bổ sung thêm các mô-đun đó theo công suất và hiệu suất cần thiết. Đối với các tình huống yêu cầu thông lượng cao hoặc yêu cầu siêu dữ liệu, tầng NVMe có thể mở rộng hiệu suất bằng cách thêm các cặp nút HA với thiết bị NVMe bằng cách sao chép giữa các cặp máy chủ.

Bộ lưu trữ pixstor sử dụng Hệ thống tệp song song chung (GPFS) đã được thiết lập tốt, hiện được gọi là Quy mô phổ, với đầy đủ các tính năng dành cho doanh nghiệp có thể được phân phối theo địa lý, các thành phần giúp đơn giản hóa việc quản trị, khả năng tìm kiếm nâng cao bổ sung, khả năng kết nối rộng rãi bằng các giao thức doanh nghiệp và truy cập vào các thiết bị lưu trữ khác cả trong và ngoài cơ sở bằng giao thức đám mây và các giao thức doanh nghiệp khác. Giải pháp lưu trữ này được hỗ trợ đầy đủ (phần cứng và phần mềm) với các dịch vụ triển khai có sẵn và cung cấp không gian tên duy nhất, nhiều tầng, dễ sử dụng, thông lượng cao, trong số các tính năng khác.

Mục đích tài liệu

Tài liệu này mô tả kiến ​​trúc, nguyên tắc thiết kế chung và hiệu suất của giải pháp lưu trữ HPC pixstor cho các khối lượng công việc vận hành siêu dữ liệu tuần tự, truyền nhỏ và IO ngẫu nhiên và truyền dữ liệu lớn.

Lưu ý : Nội dung của tài liệu này hợp lệ đối với các phiên bản phần mềm và phần cứng được mô tả. Để biết thông tin về các cấu hình cập nhật cho các phiên bản phần cứng và phần mềm mới hơn, hãy liên hệ với đại diện bán hàng Dell Technologies của bạn.

Khán giả

Tài liệu này chủ yếu dành cho các kiến ​​trúc sư và quản trị viên giải pháp dự định sử dụng hoặc đang sử dụng các cụm HPC và yêu cầu lưu trữ hiệu suất cao để theo kịp sức mạnh xử lý hiện đại. Tài liệu này không phải là hướng dẫn cấu hình chi tiết nhưng cung cấp các phương pháp hay nhất về cấu hình. Nó giả định rằng người đọc hiểu các khái niệm cơ bản về đo điểm chuẩn hiệu suất lưu trữ.

Lịch sử sửa đổi

Ngày

Tóm tắt thay đổi

tháng 11 năm 2021

phát hành lần đầu

tháng 8 năm 2022

Cập nhật thông tin cấp NVMe mới (bao gồm thay thế HDMD dựa trên ME4 bằng HDMD dựa trên NVMe)

Thách thức thị trường

Điều kiện thị trường

Trong những năm gần đây, yêu cầu về hiệu suất I/O đã tăng lên đáng kể cùng với nhu cầu về băng thông HPC I/O truyền thống, IOP ngẫu nhiên và hiệu suất siêu dữ liệu ngày càng tăng. pixstor sử dụng PFS được thiết lập tốt trong môi trường HPC. Doanh nghiệp có hệ thống tệp Spectrum Scale/GPFS phong phú, với phần mềm bổ sung từ công ty đối tác của chúng tôi arcastream để quản trị đơn giản hóa, kết nối nhiều tầng mở rộng trong một không gian tên duy nhất, giám sát thành phần và khả năng tìm kiếm nâng cao. Tài liệu này giới thiệu thế hệ mới nhất của máy chủ PowerEdge và mảng lưu trữ PowerVault hiện có với phần mềm pixstor 6.0 mới cung cấp dung lượng cao, tính sẵn sàng cao và hiệu suất cao có thể được điều chỉnh để đáp ứng nhu cầu của khách hàng.

Cách tiếp cận khối xây dựng

Thiết kế sử dụng cách tiếp cận khối xây dựng, tạo thành một giải pháp rất linh hoạt để cung cấp hiệu suất vượt trội và khả năng mở rộng đáng tin cậy để chạy các ứng dụng HPC đòi hỏi khắt khe nhất hiện nay và ngày mai.

Dễ sử dụng

Giải pháp đã sẵn sàng để sử dụng trong các hệ thống xử lý dữ liệu quy mô lớn ngày nay có thể bao gồm hàng nghìn nút tính toán (máy khách) chạy hàng chục nghìn quy trình đồng thời.

Tính khả dụng cao

Giải pháp này được thiết kế để nâng cao tính khả dụng của các dịch vụ lưu trữ cho cụm HPC bằng máy chủ PowerEdge trong các cặp HA với mảng lưu trữ PowerVault. Ngoài việc cải thiện tính khả dụng của dịch vụ lưu trữ, nó còn duy trì tính toàn vẹn của dữ liệu nếu xảy ra lỗi hoặc lỗi, đồng thời duy trì hiệu suất được tối ưu hóa trong trường hợp không có lỗi.