Cấu hình cụm ví dụ liệt kê một số điểm bắt đầu ở cấp độ cụm để triển khai có thể.

Cấu hình bằng chứng khái niệm (POC) là cấu hình tối thiểu để đánh giá cơ bản. Trong trường hợp này, ba nút công nhân được sử dụng để lưu trữ mặt phẳng điều khiển, dịch vụ thời gian chạy và khối lượng công việc. Các nút công nhân lưu trữ các vai trò Trình quản lý Symcloud , Điện toán và Lưu trữ bên cạnh bất kỳ khối lượng công việc nào. Cấu hình này cung cấp tài nguyên hạn chế cho khối lượng công việc nhưng đủ để đánh giá chức năng cơ bản. Có thể thêm nhiều nút công nhân hơn vào cấu hình này. Đối với bất cứ điều gì lớn hơn năm công nhân, Dell Technologies khuyên bạn nên bắt đầu hoặc nâng cấp lên cấu hình thử nghiệm.

Việc chuyển đổi cụm POC thành cụm cấp sản xuất yêu cầu triển khai lại phần mềm, mặc dù phần cứng nút công nhân có thể được sử dụng lại.

Cấu hình thí điểm là cấu hình cấp sản xuất tối thiểu. Trong trường hợp này, ba nút mặt phẳng điều khiển lưu trữ các vai trò Trình quản lý Symcloud . Bốn nút công nhân lưu trữ các vai trò Điện toán và Lưu trữ cùng với mọi khối lượng công việc. Cấu hình này cung cấp sự cách ly giữa các chức năng mặt phẳng điều khiển và thời gian chạy. Dell Technologies khuyến nghị sử dụng nó cho giai đoạn tiền sản xuất hoặc phát triển và sử dụng thử nghiệm.

Cấu hình thử nghiệm có thể được mở rộng bằng cách thêm các nút công nhân bổ sung mà không cần triển khai lại các nút hiện có.

Cấu hình doanh nghiệp vừa và nhỏ (SMB) là cấu hình cấp sản xuất nhỏ. Ba nút mặt phẳng điều khiển lưu trữ các vai trò Trình quản lý Symcloud và mười nút công nhân có sẵn cho khối lượng công việc. Cấu hình này cung cấp đủ tài nguyên để hỗ trợ một hoặc hai nhóm chạy khối lượng công việc phân tích.

Cấu hình SMB có thể được mở rộng bằng cách thêm các nút công nhân bổ sung mà không cần triển khai lại các nút hiện có.

Cấu hình doanh nghiệp là cấu hình cấp sản xuất lớn. Ba nút mặt phẳng điều khiển lưu trữ các vai trò Trình quản lý Symcloud và 20 nút công nhân có sẵn cho khối lượng công việc. Cấu hình này cung cấp tài nguyên đáng kể để chạy khối lượng công việc phân tích hỗ trợ nhiều nhóm.

Lượng dữ liệu dự kiến ​​của Lakehouse chủ yếu xác định kích thước lưu trữ của Lakehouse. Khía cạnh định cỡ này độc lập với kích thước cụm điện toán.

Băng thông mạng khả dụng giữa cụm điện toán và cụm lưu trữ cũng phải được xem xét. Băng thông trên các cụm lưu trữ và tính toán tỷ lệ thuận với số lượng nút. Tuy nhiên, dung lượng lưu trữ dày đặc có được với ECS và PowerScale có thể dẫn đến dung lượng lưu trữ lớn nhưng không có đủ băng thông để hỗ trợ các yêu cầu truyền dữ liệu của nhà hồ. Cần phải phân tích các yêu cầu truyền dữ liệu của khối lượng công việc để xác định kích thước chính xác của bộ lưu trữ cho cả dung lượng và băng thông.

Kiến trúc không chỉ giới hạn ở một loại nhà kho duy nhất. PowerScale có thể được sử dụng với giao thức HDFS hoặc ECS có thể được sử dụng với giao thức S3. Bất kỳ khối lượng công việc nào cũng có thể tham chiếu một hoặc cả hai loại lưu trữ này. Cũng có thể sử dụng nhiều hệ thống lưu trữ PowerScale và ECS bên ngoài .

Kiến trúc mạng cho phép cả cụm tính toán và cụm lưu trữ sử dụng cùng một kết cấu. Cấu hình này cho phép mở rộng băng thông mạng khi các nút lưu trữ hoặc điện toán được thêm vào. Băng thông có sẵn cho các hệ thống lưu trữ bên ngoài cũng cần được xem xét khi tham khảo bộ lưu trữ bên ngoài không được kết nối với mạng dữ liệu Cụm lõi.

Kích thước nút mặt phẳng điều khiển mà Dell Technologies khuyến nghị trong nút mặt phẳng điều khiển Lakehouse là đủ cho tất cả các cụm sản xuất và không nên thay đổi. Các dịch vụ quản lý Symcloud phải được triển khai trên ba nút riêng lẻ.

Các dịch vụ mặt phẳng điều khiển cũng tiêu tốn một lượng nhỏ tài nguyên nút công nhân . Kích thước trong hướng dẫn thiết kế này phân bổ 49 GB và bốn lõi cho các dịch vụ này. Khoảng 320 GB dung lượng lưu trữ cho mặt phẳng điều khiển cũng được yêu cầu trên các nút công nhân . Dung lượng này được phân bổ từ ổ đĩa khởi động và không ảnh hưởng đến dung lượng lưu trữ sẵn có của máy chủ cho khối lượng công việc của người dùng.

Tất cả các tài nguyên cụm có sẵn trên tất cả các nút công nhân được gộp lại và phân bổ theo yêu cầu. Cấu hình này cung cấp sự trừu tượng hóa trong đó khối lượng công việc có thể được ánh xạ tới các tài nguyên sẵn có độc lập với nút vật lý được sử dụng. Bộ tăng tốc được coi là một tài nguyên và bất kỳ nhóm khối lượng công việc nào yêu cầu tài nguyên của bộ tăng tốc đều phải chạy trên một nút có sẵn bộ tăng tốc.

Kích thước nút công nhân được đề xuất trong thiết kế này dựa trên mục đích sử dụng chung. Các nút công nhân này có thể hỗ trợ nhiều khối lượng công việc phân tích khác nhau mà không cần sửa đổi. Tuy nhiên, có những trường hợp cần thay đổi cấu hình để phù hợp với khối lượng công việc dự kiến.

Có thể cấu hình nút không đồng nhất. Một cụm có thể bao gồm các nút có kích thước bộ nhớ, tính toán và lưu trữ khác nhau. Tài nguyên từ tất cả các nút này được thêm vào nhóm tài nguyên tổng thể.

Từ quan điểm tài nguyên, có rất ít sự khác biệt giữa nhiều nút nhỏ và một vài nút lớn. Nếu các nút có đủ tài nguyên để xử lý yêu cầu tài nguyên nhóm dự kiến ​​lớn nhất thì sự khác biệt giữa các nút là rõ ràng. Tuy nhiên, có ba cân nhắc bổ sung liên quan đến sự cân bằng này; băng thông mạng, vùng lỗi và chi phí vận hành.

Băng thông mạng khả dụng tỷ lệ thuận với số lượng nút. Một số nút lớn có ít băng thông hơn nhiều nút nhỏ, ngay cả khi bộ nhớ tổng hợp và tài nguyên điện toán giống nhau. Các yêu cầu về băng thông cho khối lượng công việc phải được tính vào kích thước cụm và nút.

Vùng đứt gãy rất quan trọng đối với độ tin cậy tổng thể của cơ sở hạ tầng. Mặc dù cụm có thể tiếp tục chạy khi một nút bị lỗi nhưng tài nguyên từ nút đó sẽ bị mất do lỗi. Cấu hình nút lớn trong một cụm nhỏ có thể có tác động đáng kể đến các tài nguyên sẵn có khi nút đó bị lỗi, ngay cả khi đó là lỗi tạm thời. Việc định cỡ phải đảm bảo việc mất nút chỉ ảnh hưởng một phần nhỏ đến dung lượng tổng thể của cụm.

Chi phí hoạt động là một yếu tố khác cần cân nhắc khi xác định quy mô. Mỗi nút đều yêu cầu một số chi phí vận hành về mặt bảo trì và giám sát, do đó, các nút lớn hơn có thể hoạt động hiệu quả hơn. Một nút lớn hơn cũng có thể tiết kiệm năng lượng hơn nhiều nút nhỏ hơn. Năng lực hoạt động phải là một phần của nỗ lực quy mô tổng thể.

Đối với các khối lượng công việc song song, mở rộng quy mô như Apache Spark , các tài nguyên được phân bổ dựa trên tính khả dụng ở cấp cụm và nhiều nhóm khối lượng công việc được khởi chạy. Do đó, nhóm khối lượng công việc có thể chạy trên bất kỳ nút vật lý nào có thể đáp ứng các yêu cầu về tài nguyên. Tùy thuộc vào khối lượng công việc của Spark , nhiều nhóm nhỏ hoặc một vài nhóm lớn có thể phù hợp. Thời gian chạy nền tảng container rất linh hoạt ở khía cạnh này. Có thể triển khai các cụm Spark một cách linh hoạt dựa trên chính công việc đó, thay vì yêu cầu một cụm Spark cố định được tối ưu hóa cho nhiều loại công việc.

Một số khối lượng công việc có thể có yêu cầu bộ nhớ lớn mà không thể đạt được bằng cách mở rộng quy mô. Bạn có thể phải tăng kích thước bộ nhớ ở một số hoặc tất cả các nút để chiếm mức phân bổ bộ nhớ dự kiến ​​lớn nhất cho khối lượng công việc đó.

Nền tảng này có thể hỗ trợ tới 100 nhóm hoặc nút công nhân . Kích thước cụm và nút nên nhắm tới số lượng nhóm ít hơn đáng kể so với giới hạn này.

Các yêu cầu về tài nguyên cho khối lượng công việc dự kiến ​​của cụm phải được tính vào kích thước nút và cụm. Việc xác định kích thước chi tiết của các yêu cầu về khối lượng công việc rất phức tạp. Tuy nhiên, khi đã biết các yêu cầu về khối lượng công việc, việc ánh xạ vào các yêu cầu của cụm sẽ rất đơn giản. Tính linh hoạt của nền tảng cũng cho phép điều chỉnh và tinh chỉnh liên tục, do đó việc định cỡ không cần phải chính xác.

Apache Spark được sử dụng ở đây làm ví dụ về cách ánh xạ quy mô khối lượng công việc theo yêu cầu cụm. Ví dụ về yêu cầu phiên bản Spark tóm tắt các yêu cầu tài nguyên cho ba cụm Spark mẫu .

Trong bảng trên, ba cụm với các yêu cầu và quy mô tài nguyên khác nhau đã được đưa vào. Các tài nguyên cho mỗi nhân viên Spark đã được chỉ định và bao gồm số lượng nhóm công nhân dự kiến. Dựa trên những yêu cầu này, tổng yêu cầu tài nguyên cho mỗi cụm được tính toán.

Đối với dung lượng lưu trữ trong hồ, lượng dung tích ròng mới trong hồ cần được sử dụng để tính toán. Nếu công việc dự kiến ​​​​sẽ xử lý dữ liệu hiện có thì không cần lưu trữ bổ sung. Nếu công việc tạo ra dữ liệu, có thể cần phải lưu trữ đáng kể. Trong phiên bản lớn, ước tính chỉ có 24 GB dung lượng lưu trữ trong hồ, trong khi phiên bản trung bình yêu cầu 64 GB. Phiên bản trung bình dự kiến ​​sẽ tạo ra nhiều dữ liệu hơn phiên bản lớn mặc dù nó sử dụng ít tài nguyên điện toán hơn.

Dựa trên những tính toán này, tài nguyên cấp cụm có thể được xác định. Trong ví dụ này, cấu hình cụm thí điểm có thể hỗ trợ bốn cụm Spark trung bình trước khi hết lõi hoặc có thể hỗ trợ hai phiên bản lớn.