Tin tức
Quản lý dữ liệu với Nền tảng dữ liệu Cloudera trên Cơ sở hạ tầng Dell EMC do Intel cung cấp (3)
Kiến trúc Mạng
Giới thiệu
Các sản phẩm PowerSwitch cung cấp kiến trúc mạng nhanh, mạnh mẽ và đã được chứng minh, rất phù hợp với các cụm Cloudera CDP Private Cloud Base .
Mạng được thiết kế để đáp ứng nhu cầu về một cụm có hiệu suất cao và có thể mở rộng, đồng thời cung cấp khả năng dự phòng và quyền truy cập vào các khả năng quản lý. Kiến trúc là mô hình lá và cột sống dựa trên công nghệ mạng 25 GbE. Nó sử dụng công tắc PowerSwitch S5248F-ON cho các lá và công tắc PowerSwitch Z9432F-ON cho cột sống.
IPv4 được sử dụng cho lớp mạng. Thiết kế không hỗ trợ việc sử dụng IPv6 để kết nối mạng.
Mạng cụm
Ba mạng được sử dụng trong cụm:
- Mạng dữ liệu cụm
- Mạng iDRAC của Bộ điều khiển quản lý ván chân tường (BMC)
- Mạng biên
Bảng bên dưới mô tả các mạng, mục đích và kết nối chuyển mạch của chúng.
| Mạng | Sự miêu tả | Dịch vụ có sẵn | Sự liên quan | Công tắc |
| Mạng dữ liệu cụm | Mạng này mang phần lớn lưu lượng trong cụm. Mạng này được tổng hợp trong mỗi nhóm và các nhóm được tổng hợp vào bộ chuyển đổi cụm. | Các dịch vụ Cloudera có sẵn trên mạng này. | 25 GbE | Công tắc trên cùng của giá (pod) và công tắc tổng hợp |
| Mạng BMC hoặc iDRAC | Mạng này kết nối các cổng BMC hoặc iDRAC và các cổng quản lý ngoài băng tần của các thiết bị chuyển mạch. Nó được sử dụng để cung cấp và quản lý phần cứng. Mạng này được tổng hợp thành một switch quản lý ở mỗi rack. | Mạng này cung cấp quyền truy cập vào chức năng BMC và iDRAC trên máy chủ. Nó cũng cung cấp quyền truy cập vào các cổng quản lý của các thiết bị chuyển mạch cụm. | 1 GbE | Công tắc chuyên dụng trên mỗi giá đỡ |
| Mạng biên | Mạng này cung cấp khả năng kết nối từ các nút Cổng đến mạng hiện có, trực tiếp hoặc bằng các bộ chuyển mạch tổng hợp nhóm hoặc cụm. | Quyền truy cập SSH vào các nút Cổng có sẵn trên mạng này. Các dịch vụ ứng dụng khác có thể được cấu hình và sẵn sàng. | 25 GbE | Trực tiếp tới mạng Edge hoặc bằng nhóm hoặc công tắc tổng hợp |
Khả năng kết nối giữa cụm và cơ sở hạ tầng mạng hiện có có thể được điều chỉnh cho phù hợp với các cài đặt cụ thể. Các tình huống phổ biến bao gồm:
- Mạng Dữ liệu cụm được tách biệt khỏi mọi mạng hiện có và chỉ có mạng Edge mới có quyền truy cập vào cụm.
- Mạng dữ liệu cụm được hiển thị với mạng hiện có. Trong trường hợp này, mạng Edge không được sử dụng hoặc được sử dụng để truy cập hoặc xử lý ứng dụng.
Mỗi mạng sử dụng một VLAN riêng và các thành phần chuyên dụng khi có thể.
Kết nối nút máy chủ
Đối với Mạng dữ liệu, các kết nối máy chủ với bộ chuyển mạch mạng sử dụng công nghệ Ethernet.
Dell Technologies khuyến nghị 25 GbE cho các triển khai mới trên máy chủ PowerEdge R660 và PowerEdge R760 .
Nút cổng và nút Tiện ích có hai kết nối mạng bổ sung. Các kết nối này tạo điều kiện truy cập cụm hiệu suất cao giữa các ứng dụng chạy trên các nút đó và mạng Edge tùy chọn. Liên kết thường được cấu hình trên hai card mạng để đảm bảo khả năng phục hồi của mạng trước lỗi NIC hoặc cổng.
Các kết nối máy chủ với mạng Bộ điều khiển quản lý bảng cơ sở (BMC) sử dụng một kết nối duy nhất từ cổng iDRAC đến bộ chuyển mạch quản lý dòng S3100-ON trong mỗi giá.
Mạng có tính sẵn sàng cao
Mạng sản xuất nên sử dụng các kết nối ngoại quan từ máy chủ đến các cặp công tắc trong mỗi nhóm. Bộ chuyển mạch cấp nhóm nên sử dụng các kết nối dự phòng để chuyển đổi các cặp ở cấp độ tổng hợp. Cấu hình này giúp tăng dung lượng băng thông và cho phép hoạt động ở công suất giảm nếu cổng mạng, cáp mạng hoặc bộ chuyển mạch bị lỗi.
Dell Technologies khuyến nghị mạng pod nên sử dụng hai bộ chuyển mạch S5248F-ON được cấu hình bằng VLT và LAG. Cấu hình đó cung cấp khả năng phục hồi tối đa của lớp mạng. Các cổng NIC máy chủ được cấu hình ở chế độ hoạt động/hoạt động để đảm bảo LACP chạy trên bất kỳ liên kết nào được cấu hình ở trạng thái này. Một cổng ở trạng thái Hoạt động sẽ tự động bắt đầu đàm phán với các cổng khác bằng cách khởi tạo các gói LACP.
Vải mạng
Cấu trúc mạng lõi dựa trên công nghệ Ethernet. Dell Technologies khuyến nghị 25 GbE để triển khai máy chủ PowerEdge mới . Cần có một lớp tổng hợp cho các cụm lớn hơn một nhóm duy nhất. Lớp tổng hợp có thể được triển khai ở Lớp 2 (L2) hoặc Lớp 3 (L3). Sự lựa chọn phụ thuộc vào kích thước ban đầu và quy mô dự kiến. Lớp 2 được ưu tiên vì chi phí thấp hơn và khả năng mở rộng trung bình và có thể hỗ trợ khoảng 250 nút.
Tập hợp lớp 3 được khuyến nghị cho:
- Triển khai ban đầu lớn hơn trên 250 nút
- Các trường hợp cụm phải được đặt cùng vị trí với các ứng dụng khác trong các giá đỡ khác nhau
Khả năng mở rộng tùy thuộc vào thiết bị chuyển mạch được sử dụng và tỷ lệ đăng ký vượt mức và được tóm tắt trong số lượng nút Cụm.
Công tắc nhóm
Mỗi nhóm sử dụng PowerSwitch S5248F-ON làm công tắc lớp đầu tiên.
S5248F-ON 48 cổng cung cấp khả năng tổng hợp máy chủ ToR 10/25 GbE mật độ cao với khả năng chuyển mạch Ethernet L2 và L3 có thể mở rộng cũng như các tính năng IPv4 và IPv6 dựa trên tiêu chuẩn. Nó có hiệu suất tốc độ đường truyền bằng cách sử dụng kết cấu chuyển mạch không chặn 2,0 Tbps (song công hoàn toàn 4,0 Tbps). Nó được cấu hình với:
- 48 cổng 25 GbE (SFP28)
- Hai cổng 200 GbE (QSFP28-DD)
- Bốn cổng 100 GbE (QSFP28)
Thiết bị mạng nhóm đơn 25 GbE hiển thị cấu hình mạng nhóm đơn, với các bộ chuyển mạch PowerSwitch S5248F-ON tổng hợp lưu lượng nhóm.
Đối với một nhóm duy nhất, các công tắc ToR có thể hoạt động như lớp tổng hợp cho toàn bộ cụm. Đối với các cụm nhiều nhóm, cần có một lớp tổng hợp cụm. Trong kiến trúc này, mỗi nhóm được quản lý như một thực thể riêng biệt từ góc độ chuyển đổi. Các công tắc ToR của nhóm riêng lẻ chỉ kết nối với công tắc cột sống.
Trong thiết kế này, mỗi nhóm được quản lý như một thực thể riêng biệt từ góc độ chuyển đổi và các công tắc nhóm riêng lẻ chỉ kết nối với công tắc tổng hợp.
Công tắc tổng hợp
Để triển khai tổng hợp Lớp 2, hai bộ chuyển mạch PowerSwitch Z9432F-ON được sử dụng trong cấu hình có tính sẵn sàng cao. Để triển khai tổng hợp Lớp 3, Z9432F-ON được sử dụng làm công tắc cột sống.
Z9432F -ON là bộ chuyển mạch trục 400 GbE, 1U tốc độ đa tốc độ được tối ưu hóa cho các yêu cầu về trung tâm dữ liệu có độ trễ cực thấp, hiệu suất cao. Z9432F -ON có thể cung cấp băng thông tích lũy không chặn 25,6 Tbps (song công hoàn toàn). Cấu trúc chuyển mạch của nó có thể mang lại hiệu suất tốc độ đường truyền ở mức đầy tải. Nó có thể được cấu hình với tối đa:
- 32 cổng 400 GbE (QSFP56-DD)
- 128 cổng 100 GbE (sử dụng cáp đột phá)
- 144 cổng 10/25/50 GbE (sử dụng cáp đột phá)
Hình bên dưới hiển thị cấu hình mạng nhiều nhóm với mạng Lớp 2.
Đường lên từ mỗi bộ chuyển đổi nhóm S5248F-ON đến lớp tổng hợp sử dụng bốn giao diện 100 GbE trong cấu hình ngoại quan. Cấu hình này cung cấp băng thông chung 400 Gb từ mỗi nhóm.
Tập hợp cụm lớp 3
Tập hợp lớp 3 được sử dụng cho các cụm lớn và hỗ trợ khả năng mở rộng ngoài một bộ chuyển mạch tổng hợp.
Chế độ xem nhiều nhóm với ECMP lớp 3 minh họa việc tổng hợp cụm bằng cách sử dụng PowerSwitch Z9432F-ON và PowerSwitch S5248F-ON bằng mô hình leaf-spine dựa trên định tuyến ECMP và Lớp 3.
Bạn có thể tìm thêm thông tin chi tiết về việc triển khai cột sống lá Lớp 3 trong tài liệu Trung tâm thông tin Dell Technologies , Triển khai cột sống lá lớp 3 của Mạng Dell và các phương pháp thực hành tốt nhất với OS10 .
Mạng quản lý iDRAC
Ngoài mạng Dữ liệu cụm, một mạng riêng được cung cấp để quản lý cụm – mạng iDRAC hoặc Bộ điều khiển quản lý bảng cơ sở (BMC).
Tất cả các cổng quản lý iDRAC đều được tổng hợp thành bộ chuyển mạch dòng PowerSwitch S3100-ON trên mỗi giá đỡ . Tập hợp này cung cấp mạng iDRAC hoặc BMC chuyên dụng để cung cấp và quản lý phần cứng. Các cổng quản lý switch cũng được kết nối với mạng này.
Nếu cần quản lý ngoài băng tần, các thiết bị chuyển mạch quản lý có thể được kết nối với lõi hoặc được kết nối với mạng Quản lý chuyên dụng.
Tích hợp mạng lõi
Lớp tổng hợp có chức năng như lõi mạng cho cụm. Trong hầu hết các trường hợp, cụm kết nối với lõi lớn hơn trong doanh nghiệp, như được hiển thị trong Thiết bị mạng nhiều nhóm .
Với PowerSwitch Z9432F-ON , hai cổng 100 GbE được dành riêng để kết nối với lõi. Thông tin chi tiết về kết nối tùy thuộc vào từng địa điểm cụ thể và phải được xác định như một phần của kế hoạch triển khai.
Tích hợp mạng PowerScale
Khi PowerScale được sử dụng để lưu trữ HDFS chính, các nút cụm Cloudera được kết nối bằng cùng một kiến trúc chuyển mạch được mô tả ở trên. Các nút PowerScale được kết nối với lớp chuyển mạch của riêng chúng và sau đó được liên kết với lớp tổng hợp.
Các nút PowerScale sử dụng mạng phụ trợ chuyên dụng ngoài mạng Dữ liệu cụm. Mạng phụ trợ được sử dụng để liên lạc nội bộ giữa các nút PowerScale . Mạng này có thể sử dụng công nghệ Ethernet hoặc InfiniBand.
Mỗi nút PowerScale có hai kết nối 25 GbE với mạng Dữ liệu cụm và hai kết nối với mạng phụ trợ.
Tùy thuộc vào yêu cầu của khách hàng, PowerScale có thể được nối mạng trực tiếp với cấu trúc liên kết lá của Cloudera CDP Private Cloud Base hoặc được kết nối với lớp tổng hợp ở cột sống. Xem Định cỡ và chia tỷ lệ cụm để biết thông tin về kích thước và chia tỷ lệ.
Bài viết mới cập nhật
Thuần hóa sự hỗn loạn của công nghệ: Giải pháp phục hồi sáng tạo của Dell
Sự cố CNTT nghiêm trọng ảnh hưởng đến 8,5 triệu hệ ...
Dell PowerScale và Marvel hợp tác để tạo ra quy trình làm việc truyền thông tối ưu
Hiện đang ở thế hệ thứ 9, giải pháp lưu trữ Dell ...
Bảo mật PowerScale OneFS SyncIQ
Trong thế giới sao chép dữ liệu, việc đảm bảo tính ...
Danh sách kiểm tra cơ sở bảo mật PowerScale
Là một biện pháp bảo mật tốt nhất, chúng tôi khuyến ...