Tin tức
Giải pháp lưu trữ hiệu suất cao HPC cho BeeGFS
Tóm tắt điều hành
Trong điện toán hiệu năng cao (HPC), việc thiết kế một hệ thống lưu trữ cân bằng tốt để đạt được hiệu suất tối ưu là những thách thức đáng kể. Một hệ thống lưu trữ điển hình bao gồm nhiều yếu tố cần cân nhắc, bao gồm lựa chọn hệ thống tệp, điều chỉnh hệ thống tệp, ổ đĩa, bộ điều khiển lưu trữ, thẻ IO, thẻ mạng và chiến lược chuyển đổi. Việc định cấu hình các thành phần này để có hiệu suất, khả năng quản lý và khả năng mở rộng trong tương lai tốt nhất đòi hỏi rất nhiều kế hoạch và tổ chức.
Thiết kế đã được xác thực của Dell Technologies dành cho Bộ lưu trữ dung lượng cao HPC BeeGFS là một giải pháp lưu trữ hệ thống tệp song song, dễ sử dụng, có thông lượng cao, mở rộng quy mô được hỗ trợ đầy đủ với các đặc tính hiệu suất được mô tả rõ ràng. Giải pháp này được cung cấp với các dịch vụ triển khai và hỗ trợ phần cứng và phần mềm đầy đủ từ Dell Technologies.
Giải pháp có cấu hình lớn với bốn mảng ME5084 có tỷ lệ tới 6,72 PB dung lượng lưu trữ thô (5,069 PB khả dụng) và sử dụng máy chủ Dell PowerEdge cũng như mảng lưu trữ Dell PowerVault.
Mục đích tài liệu
Mục đích của tài liệu này là mô tả kiến trúc, điều chỉnh các phương pháp hay nhất và hiệu suất của Thiết kế đã được Xác thực của Dell Technologies cho Bộ lưu trữ Dung lượng Cao với BeeGFS cho khối lượng công việc tuần tự và ngẫu nhiên.
Điều kiện thị trường
Trong những năm gần đây, yêu cầu đối với hiệu suất I/O đã tăng lên đáng kể với nhu cầu ngày càng tăng đối với cả băng thông HPC I/O truyền thống cũng như tăng hiệu suất siêu dữ liệu và IOPS. Hệ thống tệp BeeGFS ngày càng trở nên phổ biến và ngày càng được sử dụng làm hệ thống tệp được lựa chọn ở nhiều trung tâm HPC hàng đầu hiện nay. Sách trắng này trình bày cách hệ thống tệp BeeGFS được triển khai trên thế hệ mới nhất của máy chủ PowerEdge và mảng lưu trữ PowerVault cung cấp dung lượng cao, tính sẵn sàng cao và hiệu suất cao có thể được điều chỉnh để đáp ứng nhu cầu của khách hàng.
Cách tiếp cận khối xây dựng
Một giải pháp rất linh hoạt cung cấp hiệu suất vượt trội và khả năng mở rộng đáng tin cậy để chạy các ứng dụng HPC đòi hỏi khắt khe nhất của ngày hôm nay và ngày mai.
Dễ sử dụng
Giải pháp này được tối ưu hóa để sử dụng trong các hệ thống xử lý dữ liệu quy mô lớn ngày nay bao gồm hàng nghìn nút tính toán (máy khách BeeGFS) chạy hàng chục nghìn quy trình đồng thời.
Tính khả dụng cao
Giải pháp này được thiết kế để nâng cao tính khả dụng của các dịch vụ lưu trữ cho cụm HPC bằng cách sử dụng một cặp máy chủ Dell PowerEdge và mảng lưu trữ PowerVault cùng với phần mềm Pacemaker và Corosync. Mục tiêu của giải pháp là cải thiện tính khả dụng của dịch vụ lưu trữ và duy trì tính toàn vẹn của dữ liệu trong trường hợp có thể xảy ra lỗi hoặc lỗi, đồng thời tối ưu hóa hiệu suất trong trường hợp không có lỗi.
Cấu hình
Thiết kế được Dell Technologies xác thực cho Bộ lưu trữ HPC BeeGFS có sẵn ở ba cấu hình cơ bản: Nhỏ, Trung bình và Lớn. Các cấu hình cơ sở này có thể được sử dụng làm các khối xây dựng để tạo các cấu hình linh hoạt bổ sung nhằm đáp ứng các mục tiêu về năng lực và hiệu suất khác nhau như được minh họa trong Hình 1:
Hình 1. Giải pháp lưu trữ dung lượng cao BeeGFS—cấu hình cơ bản và có thể mở rộng
Thành phần siêu dữ liệu của giải pháp bao gồm một cặp máy chủ siêu dữ liệu (MDS) và mảng lưu trữ đích siêu dữ liệu vẫn giữ nguyên trên tất cả các cấu hình như trong Hình 1. Thành phần lưu trữ của giải pháp bao gồm một cặp máy chủ lưu trữ (SS) và một mảng lưu trữ duy nhất cho cấu hình nhỏ, trong khi cấu hình trung bình sử dụng hai mảng lưu trữ và cấu hình lớn sử dụng bốn mảng lưu trữ. Mảng lưu trữ PowerVault ME5024 được sử dụng làm kho lưu trữ siêu dữ liệu và mảng PowerVault ME5084 được sử dụng làm kho lưu trữ dữ liệu.
Để mở rộng quy mô ngoài cấu hình lớn, cần có thêm một cặp máy chủ lưu trữ. Cặp máy chủ lưu trữ bổ sung có thể có một, hai hoặc bốn mảng lưu trữ như được chỉ ra trong cấu hình có thể mở rộng.
Bài viết mới cập nhật
Thuần hóa sự hỗn loạn của công nghệ: Giải pháp phục hồi sáng tạo của Dell
Sự cố CNTT nghiêm trọng ảnh hưởng đến 8,5 triệu hệ ...
Dell PowerScale và Marvel hợp tác để tạo ra quy trình làm việc truyền thông tối ưu
Hiện đang ở thế hệ thứ 9, giải pháp lưu trữ Dell ...
Bảo mật PowerScale OneFS SyncIQ
Trong thế giới sao chép dữ liệu, việc đảm bảo tính ...
Danh sách kiểm tra cơ sở bảo mật PowerScale
Là một biện pháp bảo mật tốt nhất, chúng tôi khuyến ...