Dell Validated Design cho HPC pixstor Storage—Giải pháp chung với Kalray ( 3 )

Tổng quan về giải pháp

Thiết kế được Dell xác thực cho Bộ lưu trữ HPC pixstor sử dụng phương pháp mô-đun để đáp ứng các yêu cầu của khách hàng. Khối xây dựng cơ bản là một mô-đun lưu trữ, có sẵn trong ba cấu hình cơ bản: Nhỏ, Trung bình và Lớn, với khả năng mở rộng dung lượng tùy chọn cho cấu hình Lớn. Ngoài ra, một mô-đun NVMe siêu dữ liệu nhu cầu cao (HDMD) tùy chọn có sẵn cho hiệu suất siêu dữ liệu cao hoặc nếu cần một số lượng lớn tệp. Các cấu hình này có thể được sử dụng làm khối xây dựng mở rộng quy mô để đáp ứng các mục tiêu hiệu suất và năng lực khác nhau như minh họa trong hình sau:

Hình 1.    Bộ lưu trữ HPC pixstor – Cấu hình mô-đun lưu trữ

Giới thiệu

Môi trường HPC ngày nay có nhu cầu lưu trữ tốc độ cao ngày càng tăng. Lưu trữ đang trở thành nút cổ chai trong nhiều khối lượng công việc do CPU có số lượng lõi cao hơn, bộ nhớ lớn hơn và nhanh hơn, bus PCIe nhanh hơn và mạng ngày càng nhanh hơn. Hệ thống tệp song song (PFS) thường giải quyết các yêu cầu HPC có nhu cầu cao này. Chúng cung cấp quyền truy cập đồng thời vào một tệp hoặc một tập hợp tệp từ nhiều nút, phân phối dữ liệu hiệu quả và an toàn cho nhiều LUN trên một số máy chủ lưu trữ.

PFS thường dựa trên phương tiện kéo sợi để cung cấp công suất cao nhất với chi phí thấp nhất. Thông thường, tốc độ và độ trễ của vật liệu quay không thể theo kịp yêu cầu của nhiều khối lượng công việc HPC hiện đại. Việc sử dụng công nghệ flash ở dạng bộ đệm liên tục, các tầng nhanh hơn hoặc thậm chí là cào nhanh (cục bộ hoặc phân tán) có thể giảm thiểu vấn đề này. Giải pháp cho  Bộ lưu trữ HPC PixStor  cung cấp cả hai nút lưu trữ dựa trên mảng PowerVault ME5084 cho tầng dung lượng cao hiệu quả về chi phí và  các nút NVMe  để đáp ứng nhu cầu băng thông cao, độ trễ thấp và mô-đun HDMD tùy chọn, ngoài tính linh hoạt, có thể mở rộng , hiệu quả và đáng tin cậy.

Thông thường, không thể truy cập dữ liệu bằng phần mềm máy khách PFS gốc thường được sử dụng để truy cập dữ liệu đó. Thay vào đó, các giao thức khác như NFS hoặc SMB phải được sử dụng. Một ví dụ là khi khách hàng yêu cầu quyền truy cập dữ liệu từ máy trạm hoặc máy tính xách tay chạy MS-Windows hoặc Apple macOS và bị hạn chế cài đặt phần mềm máy khách PFS hoặc hệ thống nghiên cứu/sản xuất chỉ cung cấp kết nối bằng các giao thức tiêu chuẩn. Giải pháp Sẵn sàng của Dell cho Bộ lưu trữ HPC pixstor sử dụng các nút cổng  làm thành phần để cho phép kết nối như vậy với hiệu suất có thể mở rộng theo cách hiệu quả và đáng tin cậy. 

Các giải pháp lưu trữ thường yêu cầu quyền truy cập vào các thiết bị lưu trữ khác (cục bộ hoặc từ xa) để di chuyển dữ liệu đến và từ các thiết bị đó, chẳng hạn như khi cổng pixstor không phải là lựa chọn phù hợp nhất hoặc khi rất mong muốn tích hợp các thiết bị đó như một tầng khác vào hệ thống pixstor (ví dụ: thêm bộ nhớ đối tượng, bộ nhớ đám mây, thư viện băng, v.v.). Trong những trường hợp đó, giải pháp pixstor có thể cung cấp quyền truy cập theo tầng vào các thiết bị lưu trữ khác bằng cách sử dụng các giao thức doanh nghiệp khác, bao gồm giao thức đám mây và sử dụng các nút ngenea bằng phần mềm độc quyền của Kalray cho phép mức độ tích hợp đó trong khi vẫn tiết kiệm chi phí.

Lưu ý : Vì Kalray đã thay đổi nhãn hiệu của mình thành tất cả các ký tự viết thường, nên chúng tôi đã sửa đổi các phiên bản “pixstor” và “ngenea” cho phù hợp.

Ngành kiến ​​​​trúc

Hình dưới đây thể hiện kiến ​​trúc cho thế hệ mới của Thiết kế được Dell xác thực cho Bộ lưu trữ HPC pixstor, sử dụng các máy chủ PowerEdge R650, R750 và R7525 cũng như mảng lưu trữ PowerVault ME5084, với phần mềm pixstor 6.0 mới từ công ty đối tác Kalray của chúng tôi.

Hình 2.    Kiến trúc giải pháp

Các mảng PowerVault ME484 EBOD tùy chọn có thể tăng dung lượng của giải pháp. Hình này cho thấy  việc mở rộng dung lượng như vậy  khi SAS bổ sung cho các mảng lưu trữ PowerVault ME5084 hiện có.

Phần mềm pixstor bao gồm GPFS phổ biến, còn được gọi là Thang đo quang phổ, là thành phần PFS được coi là bộ lưu trữ do phần mềm xác định do tính linh hoạt và khả năng mở rộng của nó. Ngoài ra, phần mềm pixstor bao gồm nhiều thành phần phần mềm Kalray khác như phân tích nâng cao, quản trị và giám sát đơn giản hóa, tìm kiếm tệp hiệu quả, khả năng cổng nâng cao, v.v.

Các thành phần chính của giải pháp pixstor bao gồm:

• Máy chủ quản lý —Máy chủ PowerEdge R650 cung cấp quyền truy cập UI và CLI để quản lý và giám sát giải pháp pixstor, cũng như thực hiện các khả năng tìm kiếm nâng cao, biên soạn một số thông tin siêu dữ liệu trong cơ sở dữ liệu, để tăng tốc độ tìm kiếm và ngăn quá trình tìm kiếm tải siêu dữ liệu Đĩa Chia sẻ Mạng (NSDs).
• Mô-đun lưu trữ —Mô-đun lưu trữ là khối xây dựng chính cho giải pháp lưu trữ pixstor. Mỗi mô-đun bao gồm:

• Một cặp máy chủ lưu trữ
• Một, hai hoặc bốn mảng lưu trữ phụ trợ (ME5084) với khả năng mở rộng dung lượng tùy chọn (ME484)
• NSD chứa trong mảng lưu trữ phụ trợ

• Máy chủ lưu trữ (SS) —Máy chủ lưu trữ là một thành phần mô-đun lưu trữ thiết yếu. Các cặp HA của máy chủ PowerEdge R750 (miền chuyển đổi dự phòng) được kết nối với mảng ME5084 bằng cáp SAS 12 Gbps để quản lý NSD dữ liệu và cung cấp quyền truy cập vào NSD bằng giao diện mạng tốc độ cao dự phòng. Đối với cấu hình pixstor tiêu chuẩn, các máy chủ này có vai trò kép là máy chủ siêu dữ liệu, quản lý NSD siêu dữ liệu (sử dụng ổ SSD thay thế tất cả ổ cứng dự phòng trong mảng ME5).
• Lưu trữ phụ trợ —Lưu trữ phụ trợ là một thành phần mô-đun lưu trữ lưu trữ dữ liệu hệ thống tệp (ME5084) được hiển thị trong  Hình 2 . Giải pháp sử dụng mảng đĩa 5U PowerVault ME5084 mật độ cao. Mỗi mảng ME5084 có hai bộ điều khiển SAS. Trên ME5, hai cổng SAS từ mỗi bộ điều khiển được kết nối với các HBA khác nhau trên mỗi nút lưu trữ (bốn cáp SAS trên mỗi máy chủ với mỗi mảng ME5084). Mảng ME5084 yêu cầu gấp đôi số lượng cáp SAS từ mỗi máy chủ so với mảng ME4 được sử dụng trước đây để phù hợp với hiệu suất ME5 mới. Cần có ba cáp thay vì hai, tuy nhiên, bốn cáp được sử dụng để có cấu hình cân bằng hơn nếu có lỗi).
• Lưu trữ mở rộng dung lượng —Mở rộng dung lượng PowerVault ME484 tùy chọn (ở ô vuông màu cam chấm phía dưới trong  Hình 2 ) được kết nối phía sau mảng ME5084 bằng cáp SAS 12 Gbps để mở rộng dung lượng của mô-đun lưu trữ. Đối với các giải pháp pixstor, mỗi mảng ME5084 bị hạn chế chỉ sử dụng một bản mở rộng ME484 để đảm bảo hiệu suất và độ tin cậy (mặc dù mảng ME5084 chính thức hỗ trợ tối đa ba bản mở rộng ME484).
• Ổ đĩa dùng chung mạng (NSD) — NSD là thiết bị khối phụ trợ (nghĩa là RAID 6 LUN từ mảng ME5 sao chép thiết bị NVMe) lưu trữ dữ liệu, siêu dữ liệu hoặc cả hai. Trong giải pháp pixstor, dữ liệu hệ thống tệp và siêu dữ liệu được lưu trữ trong các NSD khác nhau. NSD dữ liệu sử dụng phương tiện quay (ổ cứng NLS SAS3) hoặc NVMe. NSD siêu dữ liệu sử dụng SSD trong cấu hình tiêu chuẩn hoặc thiết bị NVMe được sao chép cho nhu cầu siêu dữ liệu cao. (Siêu dữ liệu bao gồm các thư mục, tên tệp, quyền, dấu thời gian và vị trí của dữ liệu trong các NSD khác.)
• Máy chủ siêu dữ liệu nhu cầu cao (HDMD) —Máy chủ HDMD là một thành phần của HDMD tùy chọn (trong hình vuông chấm màu vàng trong  Hình 2 ). Các cặp máy chủ PowerEdge R650 NVMe có tối đa 10 thiết bị NVMe, mỗi thiết bị trong HA (miền chuyển đổi dự phòng) cung cấp các NSD siêu dữ liệu theo cặp được sao chép và cung cấp quyền truy cập cho các máy khách sử dụng giao diện mạng tốc độ cao dự phòng. Các máy chủ được hỗ trợ khác (máy chủ PowerEdge R750 và PowerEdge R7525) có thể được sử dụng làm nút NVMe thay vì máy chủ PowerEdge R650.
• Nút NVMe —Nút NVMe là thành phần chính của Mô-đun Bậc NVMe tùy chọn (trong các ô vuông chấm màu đỏ trong  Hình 2 ). Các cặp máy chủ PowerEdge mới nhất trong HA (miền chuyển đổi dự phòng) cung cấp tầng dựa trên flash hiệu suất cao cho giải pháp pixstor. Bậc NVMe bao gồm ba lựa chọn thay thế cho máy chủ PowerEdge: máy chủ PowerEdge R650 với 10 ổ đĩa được gắn trực tiếp NVMe, máy chủ PowerEdge R750 có 16 thiết bị được gắn trực tiếp NVMe hoặc máy chủ PowerEdge R7525 có 24 ổ đĩa được gắn trực tiếp.
• Phần mềm máy khách gốc —Phần mềm máy khách gốc được cài đặt trên máy khách để cho phép truy cập vào hệ thống tệp. Hệ thống tệp phải được gắn kết để truy cập và xuất hiện dưới dạng một không gian tên duy nhất.
• Các nút cổng —Các nút cổng tùy chọn (trong hình vuông chấm màu xanh lá cây trong  Hình 2 ) là các máy chủ PowerEdge R750 (cùng phần cứng với các nút ngenea nhưng sử dụng phần mềm khác) trong  cụm Cơ sở dữ liệu tầm thường theo cụm Samba (CTDB)  cung cấp quyền truy cập NFS hoặc SMB vào máy khách không có hoặc không thể cài đặt phần mềm máy khách gốc.
• Các nút ngenea —Các nút ngenea tùy chọn (trong hình vuông chấm màu xanh lá cây trong  Hình 2 ) là các máy chủ PowerEdge R750 (cùng phần cứng với các nút cổng nhưng sử dụng phần mềm khác) cung cấp quyền truy cập vào các hệ thống lưu trữ bên ngoài (ví dụ: bộ lưu trữ dựa trên OneFS, đối tượng lưu trữ, lưu trữ đám mây, thư viện băng từ, v.v.) cho phép chúng được sử dụng như một tầng khác trong cùng một không gian tên duy nhất bằng cách sử dụng các giao thức doanh nghiệp, bao gồm các giao thức đám mây.
• Bộ chuyển mạch quản lý —Bộ chuyển mạch Gigabit Ethernet PowerConnect N2248X-ON kết nối các máy chủ và mảng lưu trữ khác nhau. Nó được sử dụng để quản lý giải pháp kết nối tất cả các thành phần.
• Bộ chuyển mạng tốc độ cao —Bộ chuyển mạch Mellanox QM8700 cung cấp khả năng truy cập tốc độ cao bằng cách sử dụng InfiniBand (IB) HDR và ​​HDR100. Đối với các giải pháp Ethernet, bộ chuyển mạch Mellanox SN3700 được sử dụng (SN4700 cho 200 GbE).