Lưu trữ do HPC xác định bằng phần mềm với PixStor

Tóm tắt điều hành

Trong Điện toán hiệu năng cao (HPC), các thành phần cần được cân bằng để duy trì hiệu suất tối ưu và tránh tắc nghẽn hiệu suất. Hệ thống tệp song song cao (PFS) có thể mở rộng quy mô để đáp ứng nhu cầu lưu trữ dữ liệu quy mô lớn mới trong khi những tiến bộ gần đây trong công nghệ lưu trữ như SSD bộ nhớ nhanh (NVMe) không biến đổi cung cấp các tùy chọn nhanh hơn.

Một hệ thống lưu trữ cân bằng tốt là cần thiết để đạt được hiệu suất tối ưu, do đó, các thành phần của nó bao gồm mảng back-end, bộ điều khiển lưu trữ, ổ đĩa, thẻ I/O, bộ điều hợp mạng và bộ chuyển mạch phải có khả năng cung cấp băng thông tương tự và phân phối tải giữa các thiết bị. bộ xử lý và bộ nhớ của các máy chủ mà chúng sử dụng. PFS và phần mềm hỗ trợ phải có khả năng cân bằng tải trên các thành phần hệ thống lưu trữ khác nhau phân phối dữ liệu giữa chúng, giám sát hiệu suất và tình trạng trong khi cung cấp các công cụ quản trị để quản lý giải pháp một cách hiệu quả.

Thiết kế đã được xác thực của Dell Technologies dành cho Bộ lưu trữ HPC PixStor là một giải pháp có tính khả dụng cao (HA), dựa trên các máy chủ Dell EMC PowerEdge và mảng lưu trữ PowerVault ME4 được sắp xếp trong các mô-đun lưu trữ có thể mở rộng dung lượng của nó lên 8 PiB của bộ nhớ có sẵn được định dạng (dung lượng thô 12.096 TB hoặc 10,74 PiB). Họ có thể mở rộng quy mô theo yêu cầu của khách hàng bằng cách bổ sung thêm các mô-đun đó theo công suất và hiệu suất cần thiết. Đối với các tình huống yêu cầu thông lượng rất cao, tầng NVMe có thể mở rộng hiệu suất bằng cách thêm các cặp nút HA với thiết bị NVMe bằng cách sử dụng NVMeoF để phản chiếu dữ liệu giữa các máy chủ.

Hệ thống tệp song song PixStor bổ sung đầy đủ các tính năng dành cho doanh nghiệp có thể được phân phối theo địa lý, các thành phần giúp đơn giản hóa việc quản trị, khả năng tìm kiếm nâng cao bổ sung, khả năng kết nối rộng rãi bằng các giao thức doanh nghiệp và quyền truy cập vào các thiết bị lưu trữ khác cả trong và ngoài cơ sở tận dụng đám mây và các dịch vụ khác giao thức doanh nghiệp. Giải pháp lưu trữ này cung cấp một không gian tên duy nhất, dễ sử dụng, thông lượng cao, nhiều tầng và có sẵn các dịch vụ triển khai .

 

Mục đích tài liệu

Mục đích của tài liệu này là mô tả thiết kế hệ thống và hiệu suất của giải pháp Lưu trữ HPC PixStor cho các hoạt động I/O ngẫu nhiên và truyền dữ liệu lớn tuần tự, truyền dữ liệu nhỏ ngẫu nhiên và hoạt động siêu dữ liệu.

 

Khán giả

Công việc này chủ yếu dành cho các kiến ​​trúc sư và quản trị viên giải pháp dự định hoặc đang sử dụng các cụm điện toán hiệu năng cao và yêu cầu lưu trữ hiệu suất cao để theo kịp sức mạnh xử lý hiện đại. Bài báo này đề xuất các phương pháp hay nhất về cấu hình dựa trên thử nghiệm kỹ thuật. Bài báo này giả định rằng người đọc hiểu các khái niệm cơ bản về đo điểm chuẩn hiệu suất lưu trữ.

 

Điều kiện thị trường

Trong những năm gần đây, yêu cầu về hiệu suất I/O đã tăng lên đáng kể cùng với nhu cầu ngày càng tăng đối với băng thông HPC I/O truyền thống, IOP ngẫu nhiên và hiệu suất siêu dữ liệu. PixStor tận dụng hệ thống tệp Spectrum Scale/GPFS, với phần mềm bổ sung từ ArcaStream để quản lý đơn giản hóa, kết nối nhiều tầng mở rộng trong một không gian tên duy nhất, khả năng giám sát thành phần và tìm kiếm nâng cao. Tài liệu này trình bày thế hệ mới nhất của máy chủ PowerEdge và mảng lưu trữ PowerVault với phần mềm PixStor 6.0 để cung cấp dung lượng cao, tính sẵn sàng cao và hiệu suất cao có thể được điều chỉnh để đáp ứng nhu cầu lưu trữ của HPC.

 

Phương pháp tiếp cận khối xây dựng

Thiết kế đã được xác thực của Dell Technologies cho Bộ lưu trữ PixStor thúc đẩy cách tiếp cận khối xây dựng với giải pháp lưu trữ linh hoạt này để cung cấp hiệu suất cao và khả năng mở rộng đáng tin cậy cho các ứng dụng HPC. Giải pháp này đã sẵn sàng để sử dụng với các hệ thống xử lý dữ liệu quy mô lớn ngày nay có thể bao gồm hàng nghìn nút tính toán (máy khách) chạy hàng chục nghìn quy trình đồng thời.

 

Tính khả dụng cao

Giải pháp này được thiết kế để nâng cao tính khả dụng của các dịch vụ lưu trữ cho cụm HPC bằng các máy chủ Dell EMC PowerEdge trong các cặp HA với mảng lưu trữ PowerVault. Ngoài việc cải thiện tính khả dụng của dịch vụ lưu trữ, nó có thể duy trì tính toàn vẹn của dữ liệu trong trường hợp xảy ra lỗi hoặc lỗi, đồng thời duy trì hiệu suất được tối ưu hóa trong trường hợp không có lỗi.

cấu hình

    • Thiết kế được Dell Technologies xác thực cho Bộ lưu trữ HPC PixStor sử dụng phương pháp mô-đun để đáp ứng các yêu cầu của khách hàng. Khối dựng cơ bản được gọi là mô-đun lưu trữ (SM) có sẵn trong ba cấu hình cơ bản: Nhỏ (S), Trung bình (M) và Lớn (L), với khả năng mở rộng dung lượng tùy chọn cho cấu hình L. Ngoài ra, mô-đun siêu dữ liệu nhu cầu cao (HDMD) tùy chọn có sẵn cho hiệu suất siêu dữ liệu cao hoặc số lượng tệp rất lớn được yêu cầu. Các cấu hình này có thể được sử dụng làm khối xây dựng mở rộng quy mô để đáp ứng các mục tiêu hiệu suất và năng lực khác nhau như được minh họa trong hình 1.

      Hình 1. Cấu hình mô-đun lưu trữ – lưu trữ HPC PixStor