Cơ sở hạ tầng của Dell cung cấp tài nguyên điện toán, bộ nhớ, lưu trữ và mạng cho nền tảng. Nền tảng Lakehouse trên cơ sở hạ tầng của Dell minh họa các thành phần cơ sở hạ tầng cần thiết và vai trò của chúng trong cụm.

Nút điều khiển

Các nút điều khiển hỗ trợ các dịch vụ nền tảng cốt lõi được xác định trong vai trò Trình quản lý nền tảng Symcloud .

Nút công nhân

Các nút công nhân hỗ trợ các dịch vụ thời gian chạy nền tảng và khối lượng công việc của khách hàng. Các dịch vụ thời gian chạy được xác định trong vai trò Lưu trữ và Điện toán của Nền tảng Symcloud , trong khi việc triển khai của người dùng xác định khối lượng công việc. Các nút được hỗ trợ bao gồm các nút tăng tốc tiêu chuẩn và điện toán.

Cơ sở hạ tầng lưu trữ

Cơ sở hạ tầng lưu trữ cung cấp lớp lưu trữ Lakehouse. Cấu hình PowerScale và ECS được cung cấp. Bạn có thể sử dụng một hoặc cả hai.

Cơ sở hạ tầng mạng

Cơ sở hạ tầng mạng cung cấp kết nối cần thiết giữa máy chủ, cơ sở hạ tầng lưu trữ và mạng tại chỗ.

Kiến trúc linh hoạt và hỗ trợ nhiều cấu hình cơ sở hạ tầng. Dell Technologies khuyến nghị các cấu hình sau cho môi trường Lakehouse đa năng chạy khối lượng công việc phân tích. Cấu hình nút riêng lẻ bao gồm hướng dẫn dành riêng cho nút. Hướng dẫn thêm về định cỡ và chia tỷ lệ ở cấp độ cụm được cung cấp trong Giải pháp định cỡ. Hướng dẫn thiết kế cho các giải pháp riêng lẻ trên nền tảng có thể bao gồm các đề xuất cụ thể hơn cho các giải pháp đó.

Cơ sở hạ tầng máy chủ cung cấp khả năng tính toán, bộ nhớ và một số tài nguyên lưu trữ cần thiết để chạy khối lượng công việc của khách hàng. Có thể có nhiều cấu hình máy chủ PowerEdge . Các đề xuất ở đây hỗ trợ nhiều loại khối lượng công việc điển hình khi triển khai kiến ​​trúc nhà hồ.

Các nút mặt phẳng điều khiển Lakehouse hỗ trợ các dịch vụ nền tảng cốt lõi được xác định trong vai trò Trình quản lý nền tảng Symcloud . Dell khuyến nghị cấu hình trong cấu hình nút mặt phẳng điều khiển Lakehouse làm điểm khởi đầu cho các nút này.

Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho bộ máy này được liệt kê trong các khối nút mặt phẳng điều khiển Lakehouse và các phân vùng nút mặt phẳng điều khiển Lakehouse .

Cần có ba nút mặt phẳng điều khiển cho các cụm sản xuất để cung cấp tính sẵn sàng cao cho mặt phẳng điều khiển. Để thử nghiệm thí điểm, các dịch vụ mặt phẳng điều khiển được xác định trong vai trò Trình quản lý nền tảng Symcloud có thể được chỉ định cho các nút công nhân thay vì sử dụng các nút mặt phẳng điều khiển chuyên dụng .

Bộ nhớ, bộ lưu trữ và bộ xử lý đã được điều chỉnh kích thước để hỗ trợ tất cả các dịch vụ cần thiết trong quá trình triển khai sản xuất.

Cấu hình bao gồm hai cổng mạng để hỗ trợ kết nối mạng có tính sẵn sàng cao (HA). Các cổng này có thể từ một card mạng đơn, hoặc một cặp card mạng dành cho adapter cấp HA bổ sung.

Hai SDD trong cấu hình RAID 1 được sử dụng cho ổ đĩa hệ điều hành. Các thư mục chính được phân bổ trong một phân vùng nhỏ riêng biệt vì các tệp người dùng không được lưu trữ trên các nút cơ sở hạ tầng. Hầu hết dung lượng lưu trữ được phân bổ cho phân vùng /var cho các tệp thời gian chạy.

Bạn có thể sử dụng LVM để điều chỉnh việc phân bổ bộ nhớ giữa /, /homevà /varcho các nhu cầu cụ thể.

Các nút công nhân Lakehouse hỗ trợ các dịch vụ thời gian chạy nền tảng và khối lượng công việc của khách hàng. Các dịch vụ thời gian chạy được xác định trong vai trò Lưu trữ và Điện toán của Nền tảng Symcloud . Việc triển khai của người dùng xác định khối lượng công việc. Dell Technologies khuyến nghị cấu hình trong cấu hình nút công nhân Lakehouse đa năng làm điểm khởi đầu cho khối lượng công việc đa năng.

Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho bộ máy này được liệt kê trong các khối lượng nút công nhân hồ đa năng và phân vùng nút công nhân hồ đa năng .

Dell Technologies đề xuất bốn nút công nhân để triển khai ở mức tối thiểu.

Cấu hình bao gồm hai cổng mạng để hỗ trợ kết nối mạng có tính sẵn sàng cao (HA). Các cổng này có thể từ một card mạng đơn, hoặc một cặp card mạng dành cho adapter cấp HA bổ sung.

Hai ổ SSD M.2 960 GB ở cấu hình RAID 1 được sử dụng cho ổ đĩa hệ điều hành. Các thư mục chính được phân bổ trong một phân vùng nhỏ riêng biệt do các tệp người dùng không được lưu trữ ở cấp hệ điều hành trên các nút sản xuất. Hầu hết dung lượng lưu trữ được phân bổ cho phân vùng /var cho các tệp thời gian chạy. Bạn có thể sử dụng LVM để điều chỉnh việc phân bổ bộ nhớ giữa /, /homevà /varcho các nhu cầu cụ thể.

Sáu ổ SSD được Symcloud Storage phân bổ để sử dụng . Các dịch vụ hỗ trợ lưu trữ này được triển khai với vai trò Lưu trữ Symcloud . Bộ lưu trữ này tiếp xúc với khối lượng công việc chạy trên cụm thông qua giao diện Kubernetes CSI. Cấu hình được đề xuất cung cấp khoảng 23 TB dung lượng lưu trữ cho mỗi nút. Dung lượng này đủ để lưu trữ thời gian chạy thông thường trong môi trường Lakehouse, nơi phần lớn dữ liệu được lưu trữ trên bộ nhớ ngoài. Bộ lưu trữ bên ngoài có thể là HDFS do PowerScale cung cấp hoặc bộ lưu trữ đối tượng do ECS cung cấp . Nếu cần thêm bộ nhớ cục bộ, có thể thêm tối đa hai ổ SSD nữa và có thể tăng kích thước ổ đĩa.

Bộ nhớ đã được điều chỉnh kích thước để hỗ trợ tất cả các dịch vụ cần thiết khi triển khai sản xuất với đủ khoảng trống cho khối lượng công việc của người dùng. Thay đổi phổ biến nhất là tăng kích thước bộ nhớ để hỗ trợ nhiều bộ chứa hơn hoặc khối lượng công việc cần nhiều bộ nhớ hơn.

Các bộ xử lý đã được chọn để hỗ trợ tính toán khối lượng công việc AI và ML chuyên sâu, đồng thời bao gồm các đơn vị Phần mở rộng Vector nâng cao (AVX) kép của Intel để có tốc độ tính toán tối đa. Có thể lựa chọn bộ xử lý khác nhưng phải lưu ý đến yêu cầu về bộ nhớ và mức tiêu thụ điện năng tổng thể.

Các nút công nhân Lakehouse được tăng tốc GPU hỗ trợ các dịch vụ thời gian chạy nền tảng và khối lượng công việc của khách hàng được hưởng lợi từ khả năng tăng tốc GPU. Vai trò Điện toán và Lưu trữ của Nền tảng Symcloud xác định các dịch vụ thời gian chạy, trong khi việc triển khai của người dùng xác định khối lượng công việc. Dell Technologies khuyến nghị cấu hình trong cấu hình nút nhân viên Lakehouse được tăng tốc GPU làm điểm khởi đầu cho khối lượng công việc được GPU tăng tốc.

Dell Technologies đề xuất bố cục ổ đĩa và phân vùng cho nhóm máy này được liệt kê trong các khối nút công nhân Lakehouse được tăng tốc GPU và các phân vùng nút Lakehouse Worker được tăng tốc GPU .

Các nút công việc được tăng tốc GPU có các khả năng tương tự như các nút công việc có mục đích chung , đồng thời bổ sung khả năng tăng tốc GPU. Dell Technologies đề xuất bốn nút công nhân để triển khai ở mức tối thiểu. Bạn có thể sử dụng bất kỳ sự kết hợp nào giữa các nút mục đích chung và các nút được tăng tốc GPU.

Cấu hình bao gồm hai cổng mạng để hỗ trợ kết nối mạng có tính sẵn sàng cao (HA). Các cổng này có thể từ một card mạng đơn, hoặc một cặp card mạng dành cho adapter cấp HA bổ sung.

Hai ổ SSD M.2 960 GB ở cấu hình RAID 1 được sử dụng cho ổ đĩa hệ điều hành. Các thư mục chính được phân bổ trong một phân vùng nhỏ riêng biệt do các tệp người dùng không được lưu trữ ở cấp hệ điều hành trên các nút sản xuất. Hầu hết dung lượng lưu trữ được phân bổ vào /varphân vùng dành cho các tệp thời gian chạy. Bạn có thể sử dụng LVM để điều chỉnh việc phân bổ bộ nhớ giữa /, /homevà /varcho các nhu cầu cụ thể.

Sáu ổ SSD được Symcloud Storage phân bổ để sử dụng . Các dịch vụ hỗ trợ lưu trữ này được triển khai với vai trò Lưu trữ Symcloud . Bộ lưu trữ này tiếp xúc với khối lượng công việc chạy trên cụm thông qua giao diện Kubernetes CSI. Cấu hình được đề xuất cung cấp khoảng 23 TB dung lượng lưu trữ cho mỗi nút. Dung lượng này đủ để lưu trữ thời gian chạy thông thường trong môi trường Lakehouse, nơi phần lớn dữ liệu được lưu trữ trên bộ nhớ ngoài. Bộ lưu trữ bên ngoài có thể là HDFS do PowerScale cung cấp hoặc bộ lưu trữ đối tượng do ECS cung cấp . Nếu cần thêm bộ nhớ cục bộ, có thể thêm tối đa 10 ổ SSD nữa và có thể tăng kích thước ổ đĩa.

Bộ nhớ đã được điều chỉnh kích thước để hỗ trợ tất cả các dịch vụ cần thiết khi triển khai sản xuất với đủ khoảng trống cho khối lượng công việc của người dùng. Thay đổi phổ biến nhất là tăng kích thước bộ nhớ để hỗ trợ nhiều bộ chứa hơn hoặc khối lượng công việc cần nhiều bộ nhớ hơn.

Các bộ xử lý đã được chọn để hỗ trợ tính toán khối lượng công việc AI và ML chuyên sâu, đồng thời bao gồm các đơn vị Phần mở rộng Vector nâng cao (AVX) kép của Intel để có tốc độ tính toán tối đa. Có thể lựa chọn bộ xử lý khác nhưng phải lưu ý đến yêu cầu về bộ nhớ và mức tiêu thụ điện năng tổng thể.

GPU đã được chọn để hỗ trợ tăng tốc Spark cho các hoạt động SQL và khung dữ liệu bằng cách sử dụng Bộ tăng tốc NVIDIA RAPIDS cho Apache Spark . Những hoạt động khối lượng công việc này là điển hình trong môi trường nhà hồ. Một hoặc hai GPU có thể được sử dụng trong cấu hình này. Khối lượng công việc AI và ML có thể được hưởng lợi từ các mô hình GPU thay thế.

Bộ lưu trữ Lakehouse có thể sử dụng PowerScale với giao thức HDFS hoặc ECS để lưu trữ đối tượng. Bạn có thể sử dụng một hoặc cả hai hệ thống tùy thuộc vào yêu cầu khối lượng công việc. Bộ nhớ trong của máy chủ cung cấp bộ nhớ trong thời gian chạy mà các ứng dụng yêu cầu. Phần mềm Symcloud Storage quản lý bộ nhớ thời gian chạy.

ECS và PowerScale được triển khai dưới dạng hệ thống cấp cụm. Các đề xuất về nút ở đây có thể được sử dụng làm hướng dẫn cho các cụm mới, xác minh tính tương thích với các cụm hiện có hoặc mở rộng các cụm hiện có.

Dell Technologies khuyến nghị cấu hình trong cấu hình PowerScale để lưu trữ theo cụm sử dụng PowerScale cho bộ lưu trữ hồ chính của họ bằng HDFS.

Cấu hình được đề xuất có kích thước phù hợp cho mục đích sử dụng thông thường làm bộ lưu trữ HDFS ở hồ.

Hai cổng mạng Ethernet trên mỗi nút được bao gồm để kết nối với mạng dữ liệu Cụm hoặc mạng lưu trữ PowerScale . Hai cổng mạng bổ sung được bao gồm để kết nối với mạng phụ trợ PowerScale . Các cổng bổ sung này có thể là InfiniBand QDR hoặc 40 GbE, tùy thuộc vào tùy chọn tại chỗ.

Một khung PowerScale H7000 hỗ trợ bốn nút PowerScale H7000 . Cấu hình này cung cấp khoảng 720 TB dung lượng lưu trữ có thể sử dụng. Với mức sử dụng 85%, dung lượng lưu trữ HDFS 600 TB là tiêu chuẩn phù hợp cho dung lượng lưu trữ sẵn có trên mỗi khung máy.

Cấu hình này giả định rằng các nút PowerScale chủ yếu được sử dụng để lưu trữ HDFS. Nếu các nút PowerScale được sử dụng cho các ứng dụng hoặc cụm lưu trữ khác, bạn phải tính đến nó trong kích thước cụm tổng thể. Bạn cũng có thể sử dụng các cấu hình ổ PowerScale H7000 khác .

Dell Technologies khuyến nghị các cấu hình trong cấu hình nút ECS EX500 hoặc cấu hình nút ECS EXF900 để lưu trữ trong các cụm sử dụng ECS ​​cho bộ lưu trữ hồ chính của họ bằng s3a://giao thức.

Cấu hình ECS EX500 mang lại sự cân bằng tốt về mật độ lưu trữ và hiệu suất cho việc sử dụng nhà hồ.

Hai cổng mạng Ethernet trên mỗi nút được bao gồm để kết nối với mạng dữ liệu Cụm hoặc mạng lưu trữ ECS . Hai cổng mạng bổ sung được bao gồm để kết nối với mạng phụ trợ ECS .

Cấu hình ECS EXF900 là cấu hình hoàn toàn flash và mang lại hiệu suất cao nhất cho việc sử dụng nhà hồ.

Hai cổng mạng Ethernet trên mỗi nút được bao gồm để kết nối với mạng dữ liệu Cụm hoặc mạng lưu trữ ECS . Hai cổng mạng bổ sung được bao gồm để kết nối với mạng phụ trợ ECS .

Các nút công nhân bao gồm bộ lưu trữ SSD cục bộ để sử dụng làm bộ lưu trữ thời gian chạy cho khối lượng công việc. Bộ lưu trữ này được hiển thị cho các nhóm chạy trên cụm thông qua giao diện Kubernetes CSI. Khối lượng liên tục và phù du được hỗ trợ. Symcloud Storage quản lý các thiết bị lưu trữ này thông qua vai trò Symcloud Storage .

Bộ lưu trữ Symcloud và trình điều khiển CSI liên quan hỗ trợ các tính năng nâng cao bao gồm:

• Sao chép để đảm bảo tính sẵn có của dữ liệu
• Mã hóa để bảo mật dữ liệu
• Nén và cung cấp mỏng để lưu trữ hiệu quả
• Ảnh chụp nhanh
• Sao lưu và phục hồi

Lớp lưu trữ Kubernetes xác định một số tính năng này, trong khi những tính năng khác có thể truy cập được thông qua giao diện quản lý Symcloud . Bạn có thể tìm thêm thông tin chi tiết về các khả năng của Bộ lưu trữ Symcloud trong tài liệu Symcloud , Tổng quan về bộ nhớ gốc của Robin Cloud .

Cấu hình được đề xuất cung cấp khoảng 23 TB dung lượng lưu trữ cho mỗi nút. Dung lượng này đủ để lưu trữ thời gian chạy thông thường trong môi trường Lakehouse, nơi phần lớn dữ liệu nằm trên bộ nhớ ngoài. Có thể có các cấu hình thay thế, bao gồm các nút lưu trữ chuyên dụng. Một số khối lượng công việc phân tích, như cơ sở dữ liệu, có thể yêu cầu bộ nhớ bổ sung cho dữ liệu liên tục bên ngoài bộ lưu trữ hồ.

Mạng được thiết kế để đáp ứng nhu cầu về một cụm có hiệu suất cao và có thể mở rộng, đồng thời cung cấp khả năng dự phòng và quyền truy cập vào các khả năng quản lý. Kiến trúc là mô hình lá và cột sống dựa trên công nghệ mạng Ethernet. Nó sử dụng công tắc PowerSwitch S5248F-ON cho các lá và công tắc PowerSwitch Z9432F-ON cho cột sống.

Mạng vật lý trong kiến ​​trúc này rất đơn giản vì hầu hết các khả năng nâng cao của hệ thống đều được triển khai bằng cách sử dụng mạng được xác định bằng phần mềm. Mạng logic được mô tả trong phần triển khai nền tảng Container. Kiến trúc này có ba mạng vật lý, như được hiển thị trong Cơ sở hạ tầng mạng vật lý .

Mạng iDRAC (hoặc BMC)

Mạng iDRAC (hoặc BMC) là mạng được bảo mật và cách ly để quản lý phần cứng máy chủ và chuyển mạch, bao gồm quyền truy cập vào mô- đun iDRAC9 và Serial-over-LAN. Mạng này tùy chọn kết nối với quản lý mạng công ty cho phép truy cập trực tiếp hơn vào cơ sở hạ tầng phần cứng. Mỗi nút trên mạng này được gán một địa chỉ IP riêng từ không gian địa chỉ quản lý.

Mạng dữ liệu cụm

Mạng dữ liệu Cụm là mạng chính để liên lạc nội bộ giữa tất cả các nút máy chủ và lưu trữ. Mỗi nút máy chủ trên mạng này được gán một địa chỉ IP duy nhất trên mạng này.

Mạng trung tâm dữ liệu lõi

Mạng trung tâm dữ liệu lõi là mạng doanh nghiệp hiện có. Mạng dữ liệu Cụm được giao tiếp với mạng này thông qua chuyển mạch và định tuyến cho phép các dịch vụ cụm được hiển thị cho người dùng hệ thống.

Mạng quản lý sử dụng bộ chuyển đổi PowerSwitch S3148 1 GbE để kết nối iDRAC và quản lý khung gầm.

Mạng dữ liệu Cụm sử dụng kết cấu không chặn, đàn hồi, có thể mở rộng với thiết kế hình lá như được minh họa trong Kết nối mạng dữ liệu Cụm . Mỗi nút trên mạng này được kết nối với hai thiết bị chuyển mạch lá S5248F-ON với giao diện mạng 25 GbE. Các switch chạy Dell SmartFabric OS10 . SmartFabric OS10 cho phép phân chia nhiều lớp các chức năng mạng được phân lớp trên hệ điều hành dựa trên Linux nguồn mở.

Về phía máy chủ, hai kết nối mạng được liên kết và được gán một địa chỉ IP duy nhất.

Về phía switch, thiết kế mạng sử dụng kết nối Virtual Link Trunking (VLT) giữa hai switch lá.

Công nghệ VLT cho phép máy chủ liên kết nhiều đường trục vật lý vào nhiều bộ chuyển mạch S5248F-ON bằng cách xử lý các đường lên như một đường trục logic. Trong môi trường VLT, cặp switch được kết nối hoạt động như một switch duy nhất đến máy chủ kết nối trong khi tất cả các đường dẫn đều hoạt động. Có thể đạt được thông lượng cao trong khi vẫn cung cấp khả năng phục hồi trước các lỗi phần cứng. VLT thay thế các mạng dựa trên Giao thức cây kéo dài (STP), cung cấp cả khả năng dự phòng và sử dụng toàn bộ băng thông bằng nhiều đường dẫn hoạt động.

Cấu hình VLT trong thiết kế này sử dụng bốn cổng 100 GbE giữa mỗi bộ chuyển mạch Top of Rack (ToR). 100 cổng GbE còn lại có thể được sử dụng để kết nối tốc độ cao với các thiết bị chuyển mạch cột sống hoặc trực tiếp tới cơ sở hạ tầng mạng lõi của trung tâm dữ liệu.