Cấu hình cơ sở hạ tầng
Giới thiệu
Dell Technologies khuyến nghị các cấu hình máy chủ và lưu trữ sau để sử dụng với Cloudera CDP Private Cloud Base . Chương này bao gồm các cấu hình thay thế cho một số nút và hoạt động triển khai không sử dụng tất cả các cấu hình này. Các đề xuất bao gồm hướng dẫn chung về cách tùy chỉnh cấu hình.
Nút cơ sở hạ tầng
- Quy trình NameNode
- Quản lý Ozone
- Quản lý container lưu trữ Ozone
- Trình quản lý tài nguyên YARN
- Người giữ vườn thú
- Bậc thầy HBase
- Quản lý Cloudera
- Cơ sở dữ liệu hỗ trợ
Dell Technologies khuyến nghị cấu hình được liệt kê trong Cấu hình nút Cơ sở hạ tầng làm điểm bắt đầu. Cấu hình này được tối ưu hóa về độ tin cậy, mang lại hiệu suất cao và phù hợp với khuyến nghị từ Cloudera .
| Chức năng máy | Thành phần |
| Nền tảng | Máy chủ PowerEdge R660 |
| khung gầm | Khung máy 1U 2,5 inch có tối đa 10 ổ cứng (SAS hoặc SATA), bao gồm tối đa bốn ổ đĩa phổ thông, hai CPU và PERC 11 |
| Cấu hình khung gầm | Cấu hình Riser 3, chiều cao đầy đủ, hai khe 16 kênh (Gen5) |
| Nguồn cấp | Bộ nguồn kép cắm nóng, dự phòng hoàn toàn (1+1), 1100 W MM Titanium |
| Bộ xử lý | Intel Xeon Gold kép 6444Y 3,6 G, 16 C/32 T, 16 GT/s, bộ đệm 45 M, turbo, HT (270 W) DDR5-4800 |
| Ký ức | 256 GB – tám RDIMM 32 GB, 4800MT/s, xếp hạng kép |
| Bộ nhớ liên tục | Không có |
| Card mạng OCP | Cổng kép Intel E810-XXV 10/25 GbE SFP28 OCP NIC 3.0 |
| Card mạng bổ sung | Bộ chuyển đổi cấu hình thấp NVIDIA ConnectX-6 Lx cổng kép 10/25 GbE SFP28 PCIe |
| Bộ điều khiển lưu trữ | Bộ điều khiển RAID SAS phía sau Dell PERC H755 |
| Đĩa – HDD | Không có |
| Đĩa – SSD | Ổ SSD kép 480 GB SATA đọc chuyên sâu, ổ đĩa S4610 cắm nóng 6 Gbps 512e 2,5 inch, 1 lần ghi vào ổ đĩa mỗi ngày (DWPD) |
| Sáu ổ SSD SAS 1,6 TB cho mục đích sử dụng hỗn hợp, ổ đĩa AG cắm nóng lên đến 24 Gbps 512e 2,5 inch, 3 DWPD | |
| Đĩa – NVMe | Hai doanh nghiệp 1,6 TB NVMe sử dụng hỗn hợp U.2, Gen4, P5620 với nhà mạng |
| Cấu hình khởi động | Từ bộ điều khiển PERC |
Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho bộ máy này, được liệt kê trong:
- Khối lượng nút cơ sở hạ tầng
- Phân vùng nút cơ sở hạ tầng
| Cách sử dụng | Loại âm lượng | Đĩa vật lý | Id tập |
| Hệ điều hành | đột kích 1 | Hai ổ SSD SATA 480 GB | 0 |
| Siêu dữ liệu HDFS và cơ sở dữ liệu vận hành | đột kích 6 | Sáu ổ SSD SAS 1,6 TB | 1 |
| Tạp chí ZooKeeper và NameNode | Không có cuộc đột kích | Một NVMe 1,6 TB | 2 |
| Điểm gắn kết | Kích cỡ | Loại hệ thống tập tin | Id tập | Loại phân vùng | Sự miêu tả |
| /khởi động | 1024MB | ext4 | 0 | Sơ đẳng | Phân vùng này chứa các tệp khởi động BIOS phải nằm trong phạm vi 2 GB đầu tiên của đĩa. |
| / | 100GB | ext4 | 0 | LVM | Phân vùng này chứa hệ thống tập tin gốc. |
| tráo đổi | 4GB | tráo đổi | 0 | tráo đổi | Phân vùng này chứa phân vùng không gian trao đổi hệ điều hành. |
| /trang chủ | 1GB | ext4 | 0 | LVM | Phân vùng này chứa các thư mục chính của người dùng. |
| /var | ~350GB | ext4 | 0 | LVM | Phân vùng này chứa dữ liệu có thể thay đổi như tệp nhật ký hệ thống, cơ sở dữ liệu, thư mục bộ đệm thư và máy in, tệp tạm thời và tệp tạm thời. |
| /tạp chí/người quản lý vườn thú | 800 MB | ext4 | 2 | LVM | Phân vùng này được sử dụng cho nhật ký dữ liệu ZooKeeper . Thuộc tính cấu hình ZooKeeper dataLogDir phải được thay đổi để khớp với đường dẫn này tại thời điểm cài đặt. |
| /tạp chí/dfs | 800 MB | ext4 | 2 | LVM | Phân vùng này được sử dụng để lưu trữ các tệp giao dịch (chỉnh sửa) NameNode. Thuộc tính cấu hình dfs.namenode.edits.dir phải được thay đổi để khớp với đường dẫn này khi cài đặt. |
| /var/lib/dfs | 2 TB | ext4 | 1 | LVM | Phân vùng này được sử dụng cho bảng NameNode ( fsimage ). Thuộc tính cấu hình dfs.namenode.name.dir phải được thay đổi để khớp với đường dẫn này khi cài đặt. |
| /var/lib/người quản lý vườn thú | 500 MB | ext4 | 1 | LVM | Phân vùng này được sử dụng cho cơ sở dữ liệu ZooKeeper . Thuộc tính cấu hình ZooKeeper dataDir phải được thay đổi để khớp với đường dẫn này tại thời điểm cài đặt. |
| /var/lib/pssql | ~4 TB | ext4 | 1 | LVM | Phân vùng này chứa thư mục dữ liệu hoạt động cho cơ sở dữ liệu. Thư mục này chủ yếu chứa cơ sở dữ liệu Cloudera Manager , vì thư mục dữ liệu PostgreSQL (PGDATA) thường là /var/lib/pgsql . Các lựa chọn thay thế cho PostgreSQL nên được cấu hình để lưu trữ các tệp dữ liệu của chúng tại đây. |
Dell Technologies khuyến nghị cấu hình nút Cơ sở hạ tầng này cho các nút Chính trong cụm. Cấu hình có kích thước để hỗ trợ các nút Master trong quá trình triển khai sản xuất.
Các nút cổng và nút Tiện ích nên sử dụng cấu hình này làm điểm bắt đầu. Bạn có thể thay đổi đề xuất về bộ xử lý, bộ nhớ và lưu trữ để chuyên biệt hóa các nút đó.
Cấu hình bao gồm bốn cổng mạng để cung cấp hai cổng cho mạng Dữ liệu cụm và hai cổng cho mạng Edge hoặc các kết nối bên ngoài khác.
Hai ổ SSD trong cấu hình RAID 1 được sử dụng cho ổ đĩa hệ điều hành. Phân vùng trao đổi nhỏ vì việc hoán đổi gây ra độ trễ quá mức cho cơ sở hạ tầng cụm quan trọng. Các thư mục chính được phân bổ trong một phân vùng nhỏ riêng biệt vì các tệp người dùng không được lưu trữ trên các nút cơ sở hạ tầng. Hầu hết dung lượng lưu trữ được phân bổ cho phân vùng /var cho các tệp thời gian chạy. Bạn có thể sử dụng LVM để điều chỉnh việc phân bổ bộ nhớ giữa / , /home và /var cho các nhu cầu cụ thể.
Ổ đĩa sáu SSD RAID 6 được sử dụng cho hầu hết bộ lưu trữ nút Cơ sở hạ tầng . Cấu hình này mang lại sự cân bằng tốt giữa hiệu suất, độ bền của dữ liệu, hiệu quả lưu trữ và chi phí quản trị. Khối lượng này được chia thành các phân vùng cho:
- Dữ liệu hệ thống tệp NameNode
- Dữ liệu ZooKeeper
- Lưu trữ cơ sở dữ liệu Cloudera Manager
- di căn tổ ong
- Cơ sở dữ liệu kiểm lâm
- Bất kỳ cơ sở dữ liệu hoạt động cần thiết nào khác
Bạn có thể sử dụng LVM để điều chỉnh việc phân bổ dung lượng lưu trữ cho các nhu cầu cụ thể.
Một cấu hình thay thế là thiết lập bốn ổ SSD RAID 10 để lưu trữ cơ sở dữ liệu và hai ổ SSD RAID 1 cho dữ liệu NameNode và ZooKeeper . Tùy chọn cấu hình này cung cấp hiệu suất tốt hơn một chút cho việc ghi cơ sở dữ liệu, nhưng lại tăng thêm chi phí quản trị và tăng thời gian khôi phục nếu ổ đĩa bị lỗi.
Một ổ NVMe duy nhất được sử dụng để lưu trữ các tạp chí ZooKeeper và đại biểu.
Đối với các cụm sử dụng cả bộ lưu trữ Ozone và HDFS, nên thay thế ổ NVMe 1,6 TB bằng hai ổ NVMe 3,2 TB ở cấu hình RAID 1. Đối với các cụm chỉ sử dụng Ozone , nên sử dụng hai ổ NVMe 6,4 TB.
Nút công nhân
CDP Private Cloud Base hỗ trợ nhiều giải pháp kết hợp khác nhau, trong đó các tác vụ điện toán được tách biệt khỏi việc lưu trữ dữ liệu và có thể truy cập dữ liệu từ các cụm từ xa. Kiến trúc này cung cấp các cấu hình nút Worker thay thế sau :
- Nút công nhân mục đích chung
- Các nút Worker được tăng tốc GPU
- Các nút PowerScale Worker
Nút công nhân mục đích chung
Dell Technologies khuyến nghị cấu hình nút Công nhân mục đích chung làm điểm bắt đầu cho hầu hết các cụm. Cấu hình này được tối ưu hóa về độ tin cậy, mang lại hiệu suất cao và phù hợp với khuyến nghị từ Cloudera .
| Chức năng máy | Thành phần |
| Nền tảng | Máy chủ PowerEdge R760 |
| khung gầm | Khung máy 3,5 inch với tối đa 12 ổ SAS hoặc SATA, hai ổ NVMeDirect 2,5 inch phía sau , bộ chuyển đổi chiều cao đầy đủ, hai CPU và PERC 11 |
| Cấu hình khung gầm | Cấu hình Riser 7, bốn khe 8 chiều cao đầy đủ, hai khe cấu hình thấp 16 kênh (Gen4) |
| Nguồn cấp | Ổ cắm nóng kép, dự phòng hoàn toàn (1+1), 1400 W, nguồn điện chế độ hỗn hợp |
| Bộ xử lý | Intel Xeon Gold 6426Y 2,5 GHz, 16 C/32 T, 16 GT/s, bộ đệm 38M, turbo, HT (185 W) DDR5-4800 |
| Ký ức | 512 GB – Mười sáu RDIMM 32 GB, 4800 MT/s, xếp hạng kép |
| Card mạng OCP | Cổng kép Intel E810-XXV 10/25 GbE SFP28, OCP NIC 3.0 |
| Card mạng bổ sung | Không có |
| Bộ điều khiển lưu trữ | Bộ chuyển đổi chiều cao đầy đủ Dell HBA355 |
| Đĩa – HDD | Mười hai ổ cứng cắm nóng 8 TB 7,2 K RPM SATA 6 Gbps 512e 3,5 inch |
| Đĩa – SSD | Không có |
| Đĩa – NVMe | Hai ổ đĩa NVMe doanh nghiệp 3,2 TB, ổ U.2, Gen4, FlexBay AG |
| Cấu hình khởi động | Card điều khiển BOSS-N1 + kèm hai ổ SSD M.2 960 GB (RAID 1) |
Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho bộ máy này, được liệt kê trong:
- Khối lượng nút Worker mục đích chung
- Phân vùng nút Worker mục đích chung
| Cách sử dụng | Loại âm lượng | Đĩa vật lý | Id tập |
| Hệ điều hành | đột kích 1 | Hai ổ SSD 960 GB M.2 | 0 |
| Dữ liệu HDFS hoặc Ozone | Không có cuộc đột kích | 12 ổ cứng SATA 8 TB | 1-12 |
| Dữ liệu tạm thời | Không có cuộc đột kích | Hai NVMe 3,2 TB | 13-14 |
| Điểm gắn kết | Kích cỡ | Loại hệ thống tập tin | Id tập | Loại phân vùng | Sự miêu tả |
| khởi động | 1024MB | ext4 | 0 | Sơ đẳng | Phân vùng này chứa các tệp khởi động BIOS phải nằm trong phạm vi 2 GB đầu tiên của đĩa. |
| / | 100GB | ext4 | 0 | LVM | Phân vùng này chứa hệ thống tập tin gốc. |
| tráo đổi | 4GB | tráo đổi | 0 | tráo đổi | Phân vùng này chứa phân vùng không gian trao đổi hệ điều hành. |
| /trang chủ | 1GB | ext4 | 0 | LVM | Phân vùng này chứa các thư mục chính của người dùng. |
| /var | ~350GB | ext4 | 0 | LVM | Phân vùng này chứa dữ liệu có thể thay đổi như tệp nhật ký hệ thống, cơ sở dữ liệu, thư mục bộ đệm thư và máy in, tệp tạm thời và tệp tạm thời. |
| /dữ liệu/<n> | 4 TB | ext4 | 1-12 | Sơ đẳng | Các phân vùng này được sử dụng cho dữ liệu HDFS dưới dạng 12 hệ thống tệp riêng lẻ. |
| /dữ liệu/ssd<n> | 3,2 TB | ext4 | 13-14 | Sơ đẳng | Những phân vùng này được sử dụng cho các tập tin tạm thời. |
Cấu hình nút Công nhân mục đích chung có kích thước phù hợp cho sự kết hợp lưu trữ và tính toán thông thường trong cụm Cloudera CDP Private Cloud Base .
Hai cổng mạng được bao gồm để kết nối với mạng Dữ liệu cụm.
Hai ổ SSD trong cấu hình RAID 1 sử dụng thẻ Hệ thống lưu trữ tối ưu hóa khởi động (BOSS) được sử dụng cho ổ đĩa hệ điều hành. Phân vùng trao đổi nhỏ vì việc hoán đổi gây ra độ trễ quá lớn cho các công việc đang chạy. Các thư mục chính được phân bổ trong một phân vùng nhỏ, riêng biệt vì các tệp người dùng không được lưu trữ trên các nút Công nhân . Hầu hết dung lượng lưu trữ được phân bổ cho phân vùng /var cho các tệp thời gian chạy. Bạn có thể sử dụng LVM để điều chỉnh việc phân bổ bộ nhớ giữa / , /home và /var cho các nhu cầu cụ thể.
Mười hai ổ cứng 3,5 inch được sử dụng để lưu trữ dữ liệu chính. Các ổ đĩa này được gắn dưới dạng phân vùng riêng lẻ và cung cấp khoảng 96 TB dung lượng lưu trữ thô. Cloudera hỗ trợ tối đa 100 TB mỗi nút để lưu trữ HDFS. Dung lượng lưu trữ HDFS lớn hơn sẽ tăng thời gian cần thiết để quét nền và chặn báo cáo. Nó cũng làm tăng thời gian phục hồi nếu một nút bị lỗi.
Đối với các nút dành riêng cho lưu trữ Ozone , bạn có thể tăng kích thước ổ đĩa lên 16 TB.
Đối với các nút hỗ trợ cả lưu trữ HDFS và Ozone , các ổ đĩa riêng lẻ có thể được phân bổ cho Ozone hoặc HDFS. Hoặc, chúng có thể được phân vùng để phân bổ dung lượng lưu trữ giữa Ozone và HDFS.
Hai ổ NVMe được sử dụng để lưu trữ các tệp tạm thời như tệp tạm thời và tệp tràn MapReduce, bộ đệm Spark hoặc bộ đệm Hive Live Long và Process (LLAP). Bạn cũng có thể sử dụng bộ lưu trữ này cho bộ nhớ đệm theo cấp HBase hoặc bộ lưu trữ HDFS theo cấp. Đối với các nút chạy Ozone , một phần dung lượng lưu trữ này có thể được phân bổ cho bộ đệm Ozone . Bạn có thể thay đổi kích thước của các ổ đĩa này hoặc loại bỏ một ổ đĩa tùy theo yêu cầu triển khai.
Kích thước bộ nhớ được đề xuất là 512 GB dành cho các nút Worker chạy các công việc có thể hưởng lợi từ bộ nhớ bổ sung như máy chủ vùng Spark , Impala và HBase. Bạn có thể giảm mức phân bổ bộ nhớ cho các nút chủ yếu cung cấp dịch vụ lưu trữ với khả năng tính toán tối thiểu.
Các nút Worker được tăng tốc GPU
Dell Technologies khuyến nghị cấu hình tăng tốc GPU cho các nút Worker yêu cầu bộ tăng tốc GPU. Cấu hình này được tối ưu hóa về độ tin cậy, mang lại hiệu suất cao và phù hợp với khuyến nghị từ Cloudera .
| Chức năng máy | Thành phần |
| Nền tảng | Máy chủ PowerEdge R760 |
| khung gầm | Khung máy 2,5 inch với tối đa 24 ổ đĩa (16 SAS hoặc SATA và 8 NVMeDirect ), hai CPU và PERC 12 phía trước |
| Cấu hình khung gầm | Cấu hình Riser 3, chiều dài đầy đủ, hai khe cấu hình thấp 16 kênh, hai khe 8 chiều cao đầy đủ (Gen4), có khả năng GPU DW |
| Nguồn cấp | Chế độ hỗn hợp kép, cắm nóng, 2400 W, D, nguồn điện dự phòng hoàn toàn (1+1) |
| Bộ xử lý | Intel Xeon Gold 6426Y 2,5 GHz, 16 C/32 T, 16 GT/s, bộ đệm 38 M, turbo, HT (185 W) DDR5-4800 |
| Ký ức | 512 GB – Mười sáu RDIMM 32 GB, 4800 MT/s, xếp hạng kép |
| Card mạng OCP | Cổng kép Intel E810-XXV 10/25 GbE SFP28 OCP NIC 3.0 |
| Card mạng bổ sung | Bộ chuyển đổi NVIDIA ConnectX-6 Lx cổng kép 10/25GbE SFP28, PCIe cấu hình thấp |
| Bộ điều khiển lưu trữ | Dell PERC H965i có khung tải phía sau |
| Đĩa – HDD | Không có |
| Đĩa – SSD | Mười sáu ổ SSD 3,84 TB vSAS sử dụng hỗn hợp, ổ AG cắm nóng 12 Gbps 512e 2,5 inch, SED, 3 DWPD |
| Đĩa – NVMe | Hai ổ NVMe doanh nghiệp 3,2 TB sử dụng hỗn hợp, ổ AG, U.2 (Gen4) với nhà cung cấp dịch vụ |
| Cấu hình khởi động | Card điều khiển BOSS-N1 + với hai ổ SSD M.2 960 GB (RAID 1) |
| GPU | NVIDIA Ampere A40 , PCIe, 300 W, 48 GB thụ động, GPU rộng gấp đôi, chiều cao đầy đủ |
Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho bộ máy này, được liệt kê trong:
- Khối lượng nút Worker được tăng tốc GPU
- Phân vùng nút Worker được tăng tốc GPU
| Cách sử dụng | Loại tập | Đĩa vật lý | Id tập |
| Hệ điều hành | đột kích 1 | Hai ổ SSD M.2 480 GB | 0 |
| Dữ liệu HDFS | Không có cuộc đột kích | Mười sáu ổ cứng SAS 3,84 TB | 1-16 |
| Dữ liệu tạm thời | Không có cuộc đột kích | Hai NVMe 3,2 TB | 17 -18 |
| Điểm gắn kết | Kích cỡ | Loại hệ thống tập tin | Id tập | Loại phân vùng | Sự miêu tả |
| khởi động | 1024MB | ext4 | 0 | Sơ đẳng | Phân vùng này chứa các tệp khởi động BIOS phải nằm trong phạm vi 2 GB đầu tiên của đĩa. |
| / | 100GB | ext4 | 0 | LVM | Phân vùng này chứa hệ thống tập tin gốc. |
| tráo đổi | 4GB | tráo đổi | 0 | tráo đổi | Phân vùng này chứa phân vùng không gian trao đổi hệ điều hành. |
| /trang chủ | 1GB | ext4 | 0 | LVM | Phân vùng này chứa các thư mục chính của người dùng. |
| /var | ~350GB | ext4 | 0 | LVM | Phân vùng này chứa dữ liệu có thể thay đổi như tệp nhật ký hệ thống, cơ sở dữ liệu, thư mục bộ đệm thư và máy in, tệp tạm thời và tệp tạm thời. |
| /dữ liệu/<n> | 3,84 TB | ext4 | 1-16 | Sơ đẳng | Các phân vùng này được sử dụng cho dữ liệu HDFS dưới dạng 16 hệ thống tệp riêng lẻ. |
| /dữ liệu/ssd<n> | 3,2 TB | ext4 | 17-18 | Sơ đẳng | Những phân vùng này được sử dụng cho các tập tin tạm thời. |
Cấu hình nút Worker được tăng tốc GPU có kích thước phù hợp cho sự kết hợp lưu trữ và điện toán thông thường trong cụm Cloudera CDP Private Cloud Base . Nó dựa trên cấu hình nút Công nhân mục đích chung và bổ sung khả năng tăng tốc GPU. Các nút công nhân chạy các công việc Spark sử dụng Bộ tăng tốc NVIDIA RAPIDS cho Apache Spark có thể được hưởng lợi từ các bộ tăng tốc.
Mười sáu ổ đĩa 2,5” được sử dụng để lưu trữ dữ liệu chính. Các ổ đĩa này được gắn dưới dạng phân vùng riêng lẻ và cung cấp khoảng 61 TB dung lượng lưu trữ thô. Dung lượng lưu trữ này có thể được phân bổ giữa Ozone và HDFS.
Hai ổ NVMe được cung cấp để lưu trữ các tệp tạm thời như tệp tạm thời và tệp tràn MapReduce, bộ đệm Spark hoặc bộ đệm Hive Live Long và Process (LLAP). Bạn cũng có thể sử dụng bộ lưu trữ này cho bộ nhớ đệm theo cấp HBase hoặc bộ lưu trữ HDFS theo cấp. Đối với các nút chạy Ozone , một phần dung lượng lưu trữ này có thể được phân bổ cho bộ đệm Ozone . Bạn có thể thay đổi kích thước của các ổ đĩa này hoặc xóa một ổ đĩa tùy theo yêu cầu triển khai. Các nút GPU có thể được hưởng lợi từ việc tăng kích thước ổ đĩa và phân bổ không gian bổ sung cho các chính sách lưu trữ thư mục hoặc tệp HDFS để phân bổ dữ liệu vào bộ lưu trữ NVMe. Chiến lược này có thể hữu ích cho việc xử lý GPU vì I/O đĩa có thể hạn chế hiệu suất GPU.
Đề xuất cơ bản sử dụng GPU NVIDIA Ampere A40 vì mục đích sử dụng dự kiến trong nút Worker là tăng tốc xử lý kiểu Spark ETL. Các mẫu GPU khác có thể được sử dụng làm lựa chọn thay thế cho các công việc đòi hỏi nhiều tính toán như đào tạo về máy học. Bạn có thể định cấu hình các nút này bằng một hoặc hai GPU, tùy thuộc vào yêu cầu khối lượng công việc.
Các nút PowerScale Worker
Dell Technologies khuyến nghị cấu hình nút PowerScale Worker cho các nút Worker trong các cấu hình trong đó PowerScale được sử dụng làm bộ lưu trữ HDFS chính. Cấu hình này được tối ưu hóa về độ tin cậy, mang lại hiệu suất cao và phù hợp với khuyến nghị từ Cloudera .
| Chức năng máy | Thành phần |
| Nền tảng | Máy chủ PowerEdge R660 |
| khung gầm | Khung máy 2,5 inch với tối đa tám ổ NVMe, Smart Flow, hai CPU, không có bộ điều khiển PERC |
| Cấu hình khung gầm | Cấu hình Riser 6, low profile, 2 khe low profile 16 kênh (Gen5), làm mát Low-Z |
| Nguồn cấp | Ổ cắm nóng kép, 1100 W, chế độ hỗn hợp, bộ nguồn Titanium dự phòng hoàn toàn (1+1) |
| Bộ xử lý | Intel Xeon Gold 6426Y 2,5 G, 16 C/32 T, 16 GT/s, bộ đệm 38 M, turbo, HT (185 W) DDR5-4800 |
| Ký ức | 512 GB – Mười sáu RDIMM 32 GB, 4800 MT/s, xếp hạng kép |
| Card mạng OCP | Broadcom 57414 cổng kép 10/25 GbE SFP28 OCP NIC 3.0 |
| Card mạng bổ sung | Bộ chuyển đổi NVIDIA ConnectX-6 Lx cổng kép 10/25GbE SFP28, PCIe cấu hình thấp |
| Bộ điều khiển lưu trữ | Không có |
| Đĩa – HDD | Không có |
| Đĩa – SSD | Không có |
| Đĩa – NVMe | NVMe kép 3,2 TB dành cho doanh nghiệp sử dụng hỗn hợp, ổ AG, U.2 (Gen4) với nhà cung cấp dịch vụ |
| Cấu hình khởi động | Card điều khiển BOSS-N1 với hai ổ SSD M.2 960 GB (RAID 1) |
Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho bộ máy này, được liệt kê trong:
- Khối lượng nút PowerScale Worker
- Phân vùng nút PowerScale Worker
| Cách sử dụng | Loại âm lượng | Đĩa vật lý | Id tập |
| Hệ điều hành | đột kích 1 | Hai ổ SSD 960 GB M.2 | 0 |
| Dữ liệu tạm thời | Không có cuộc đột kích | Hai NVMe 3,2 TB | 1-2 |
| Điểm gắn kết | Kích cỡ | Loại hệ thống tập tin | Id tập | Loại phân vùng | Sự miêu tả |
| khởi động | 1024MB | ext4 | 0 | Sơ đẳng | Phân vùng này chứa các tệp khởi động BIOS phải nằm trong phạm vi 2 GB đầu tiên của đĩa. |
| / | 100GB | ext4 | 0 | LVM | Phân vùng này chứa hệ thống tập tin gốc. |
| tráo đổi | 4GB | tráo đổi | 0 | tráo đổi | Phân vùng này chứa phân vùng không gian trao đổi hệ điều hành. |
| /trang chủ | 1GB | ext4 | 0 | LVM | Phân vùng này chứa các thư mục chính của người dùng. |
| /var | ~1,35 TB | ext4 | 0 | LVM | Phân vùng này chứa dữ liệu có thể thay đổi như tệp nhật ký hệ thống, cơ sở dữ liệu, thư mục bộ đệm thư và máy in, tệp tạm thời và tệp tạm thời. |
| /dữ liệu/ssd<n> | 3,2 TB | ext4 | 1-2 | Sơ đẳng | Những phân vùng này được sử dụng cho các tập tin tạm thời. |
Nút PowerScale Worker được thiết kế để sử dụng trong các cấu hình trong đó PowerScale cung cấp bộ lưu trữ HDFS chính. Cấu hình này không bao gồm bất kỳ ổ đĩa nào để lưu trữ HDFS.
Hai cổng mạng được bao gồm để kết nối với mạng Dữ liệu cụm.
Hai ổ NVMe được sử dụng để lưu trữ các tệp tạm thời như tệp tạm thời và tệp tràn MapReduce cũng như bộ đệm Spark . Dung lượng bộ nhớ cục bộ cần thiết dựa trên khối lượng công việc đang chạy và dung lượng bộ nhớ cục bộ mà chúng cần. Theo hướng dẫn chung, dung lượng lưu trữ tạm thời được yêu cầu phải nằm trong khoảng từ 10% đến 20% tổng dung lượng lưu trữ HDFS của cụm. Nó sẽ được phân phối trên tất cả các nút Worker . Từ 5 TB đến 10 TB cho mỗi nút Worker là phù hợp với hầu hết các cụm sử dụng nút lưu trữ PowerScale H7000 . Bạn có thể thay đổi cả kích thước và số lượng ổ NVMe để đáp ứng các yêu cầu này.
Nút PowerScale
Dell Technologies khuyến nghị cấu hình nút PowerScale để lưu trữ theo cụm sử dụng PowerScale cho bộ lưu trữ HDFS chính của họ. Các nút PowerScale không hỗ trợ giao thức lưu trữ Ozone .
| Chức năng máy | Thành phần |
| Người mẫu | PowerScale H7000 (hỗn hợp) |
| khung gầm | 4U |
| Các nút trên mỗi khung | bốn |
| Lưu trữ nút | Hai mươi ổ cứng SATA 12 TB 3,5 inch 4 kn |
| Bộ đệm nút | Hai ổ SSD 3,2 TB |
| Công suất sử dụng trên mỗi khung | 600 TB |
| Mạng mặt trước | Hai 25 GbE (SFP28) |
| Mạng cơ sở hạ tầng (back-end) | Hai InfiniBand QDR hoặc hai 40 GbE (QSFP+) |
| Hệ điều hành | OneFS 9.4.0.12 |
Cấu hình nút PowerScale có kích thước phù hợp cho mục đích sử dụng thông thường làm bộ lưu trữ HDFS chính với các cụm Cloudera CDP Private Cloud Base và cấu hình nút PowerScale Worker .
Hai cổng mạng Ethernet trên mỗi nút được bao gồm để kết nối với mạng Dữ liệu cụm hoặc mạng lưu trữ PowerScale . Hai cổng mạng bổ sung được bao gồm để kết nối với mạng phụ trợ PowerScale . Các cổng bổ sung này có thể là InfiniBand QDR hoặc 40 GbE, tùy thuộc vào tùy chọn tại chỗ.
Một khung PowerScale H7000 hỗ trợ bốn nút PowerScale H7000 . Cấu hình này cung cấp khoảng 720 TB dung lượng lưu trữ có thể sử dụng. Với mức sử dụng 85%, dung lượng lưu trữ HDFS 600 TB là tiêu chuẩn phù hợp cho dung lượng lưu trữ sẵn có trên mỗi khung máy.
Cấu hình này giả định rằng các nút PowerScale chủ yếu được sử dụng để lưu trữ HDFS. Nếu các nút PowerScale được sử dụng cho các ứng dụng hoặc cụm lưu trữ khác, bạn phải tính đến nó trong kích thước cụm tổng thể. Bạn cũng có thể sử dụng các cấu hình ổ PowerScale H7000 khác
Bài viết mới cập nhật
Thuần hóa sự hỗn loạn của công nghệ: Giải pháp phục hồi sáng tạo của Dell
Sự cố CNTT nghiêm trọng ảnh hưởng đến 8,5 triệu hệ ...
Dell PowerScale và Marvel hợp tác để tạo ra quy trình làm việc truyền thông tối ưu
Hiện đang ở thế hệ thứ 9, giải pháp lưu trữ Dell ...
Bảo mật PowerScale OneFS SyncIQ
Trong thế giới sao chép dữ liệu, việc đảm bảo tính ...
Danh sách kiểm tra cơ sở bảo mật PowerScale
Là một biện pháp bảo mật tốt nhất, chúng tôi khuyến ...