Cloudera CDP Private Cloud Base cung cấp các công cụ quản lý dữ liệu, phân tích doanh nghiệp và quản lý dữ liệu lớn. Các dịch vụ quản lý dữ liệu bao gồm lưu trữ tệp HDFS và lưu trữ đối tượng Ozone. Cloudera Runtime cung cấp các dịch vụ phân tích, bao gồm các thành phần như Hive, HBase, MapReduce và Spark . Các công cụ quản lý bao gồm:

• Cloudera Manager để quản lý, giám sát và cấu hình cụm
• Cloudera SDX dành cho bảo mật, quản trị và siêu dữ liệu

Việc triển khai và vận hành thành công  Cloudera CDP Private Cloud Base phụ thuộc vào kiến ​​trúc cơ sở hạ tầng được thiết kế tốt. Kiến trúc phải cung cấp hiệu suất cao, khả năng mở rộng, độ tin cậy và khả năng quản lý.

Kiến trúc nút mô tả các nút và dịch vụ trong quá trình triển khai Cơ sở đám mây riêng của CDP .

Cơ sở hạ tầng cụm bao gồm nhiều nút máy chủ vật lý. Mỗi nút có một cấu hình vật lý chuyên biệt cho vai trò của nó trong cụm. Các nút này được chuyên môn hóa hơn nữa thông qua các dịch vụ phần mềm được chỉ định cho chúng. Bảng dưới đây xác định các nút cụm khác nhau và cấu hình vật lý của chúng.

Cấu trúc mạng hiệu suất cao kết nối các nút cụm trong mạng Dữ liệu cụm. Mạng Edge bổ sung cung cấp giao diện giữa cụm và các hệ thống và ứng dụng bên ngoài. Xem Kiến trúc mạng để biết mô tả chi tiết về thiết kế mạng.

Cấu hình được hỗ trợ tối thiểu là tám nút cụm, bao gồm ba nút Chính , một nút Tiện ích , một nút Cổng và ba nút Công nhân . Dell Technologies đề xuất cụm mười nút với năm nút Worker làm điểm bắt đầu.

Bảng bên dưới mô tả các phép gán vai trò máy chủ được đề xuất khi triển khai tính sẵn sàng cao ở quy mô trung bình.

Những khuyến nghị về phân công vai trò này được coi là điểm khởi đầu. Việc phân công vai trò có thể khác nhau tùy thuộc vào kích thước cụm và các dịch vụ được sử dụng. Xem Máy chủ cụm thời gian chạy và phân công vai trò trong tài liệu Cơ sở đám mây riêng của CDP để biết thêm chi tiết.

Có thể sử dụng kiến ​​trúc cụm thay thế sử dụng giao thức PowerScale OneFS HDFS để lưu trữ. Các nút PowerScale không hỗ trợ giao thức lưu trữ Ozone . Hình bên dưới mô tả các nút và dịch vụ trong kịch bản triển khai này.

Tính toán và lưu trữ có thể được mở rộng quy mô một cách độc lập bằng cách sử dụng kiến ​​trúc thay thế này. Các nút lưu trữ PowerScale cung cấp các dịch vụ HDFS NameNode và DataNode thay vì các dịch vụ được gán cho các nút Master và nút Worker . Các nút Worker chỉ bao gồm đủ dung lượng lưu trữ cho các hoạt động trong thời gian chạy như tệp tràn và bộ đệm sắp xếp ngẫu nhiên.

Kiến trúc thay thế này giúp giảm yêu cầu băng thông HDFS cho mạng Dữ liệu cụm. PowerScale OneFS triển khai độ bền dữ liệu trong nội bộ và sử dụng mạng phụ trợ riêng cho các hoạt động nội bộ. Một bản sao dữ liệu duy nhất được chuyển đến các nút lưu trữ PowerScale khi các nút Worker ghi vào HDFS. Không có lưu lượng sao chép nào xảy ra trên mạng Dữ liệu cụm. Ngoài ra, lưu lượng khôi phục HDFS cho các ổ đĩa hoặc nút bị lỗi không xảy ra trên mạng Dữ liệu cụm.

Thiết kế này triển khai HA ở nhiều cấp độ thông qua sự kết hợp giữa dự phòng phần cứng và hỗ trợ phần mềm.

Khả năng phục hồi lưu trữ của Hadoop

CDP HDFS triển khai khả năng phục hồi dữ liệu thông qua mã hóa sao chép hoặc xóa. Việc triển khai HDFS hiểu vị trí nút và giá đỡ, đồng thời phân phối dữ liệu để giảm thiểu tác động của lỗi ở cấp độ nút hoặc giá đỡ.

NameNodes có tính sẵn sàng cao của HDFS

Thiết kế này triển khai tính sẵn sàng cao cho thư mục HDFS thông qua cơ chế đại biểu sao chép dữ liệu NameNode quan trọng trên nhiều nút vật lý.

Khả năng phục hồi mạng

Mạng sản xuất sử dụng các kết nối cân bằng tải chủ động tới các cặp thiết bị chuyển mạch trong mỗi nhóm. Bộ chuyển mạch cấp nhóm nên sử dụng các kết nối dự phòng để chuyển đổi các cặp ở cấp độ tổng hợp. Cấu hình này giúp tăng dung lượng băng thông và cho phép hoạt động ở công suất giảm nếu cổng mạng, cáp mạng hoặc bộ chuyển mạch bị lỗi.

Trình quản lý tài nguyên có tính sẵn sàng cao

Thiết kế này hỗ trợ tính sẵn sàng cao cho trình quản lý tài nguyên Hadoop YARN. Nếu không có HA của trình quản lý tài nguyên, lỗi trình quản lý tài nguyên Hadoop sẽ khiến các công việc đang chạy không thành công. Nếu xảy ra lỗi trình quản lý tài nguyên, công việc có thể tiếp tục chạy khi HA trình quản lý tài nguyên được bật.

Lưu ý: Dell Technologies khuyến nghị HA quản lý tài nguyên cho các cụm sản xuất.

Máy chủ cơ sở dữ liệu có tính sẵn sàng cao

Thiết kế này hỗ trợ tính sẵn sàng cao cho cơ sở dữ liệu hoạt động. Máy chủ cơ sở dữ liệu được sử dụng cho cơ sở dữ liệu siêu dữ liệu và hoạt động của Cloudera Manager lưu trữ dữ liệu của nó trên phân vùng RAID 6 hoặc 10. Nếu có lỗi ổ đĩa, phân vùng đó sẽ cung cấp độ tin cậy cho việc lưu trữ. Tính sẵn sàng cao của máy chủ cơ sở dữ liệu có thể được triển khai bằng cách sử dụng:

• Một hoặc nhiều phiên bản PostgreSQL bổ sung trên các nút khác trong cụm
• Máy chủ cơ sở dữ liệu bên ngoài có tính sẵn sàng cao

Lưu ý: Dell Technologies khuyên bạn nên triển khai HA cho máy chủ cơ sở dữ liệu.

Định cỡ và chia tỷ lệ cụm là hai vấn đề cần cân nhắc khác nhau nhưng có liên quan với nhau. Việc định cỡ liên quan đến việc đảm bảo cụm đáp ứng các yêu cầu về khối lượng công việc để lưu trữ và xử lý thông lượng. Việc mở rộng quy mô liên quan đến sự phát triển của cụm theo thời gian khi nhu cầu năng lực tăng lên. Vì  Cloudera CDP Private Cloud Base là một hệ thống mở rộng quy mô song song nên một số yêu cầu về kích thước có thể được giải quyết thông qua việc mở rộng quy mô trong khi các yêu cầu khác phải được giải quyết thông qua việc định cỡ ở cấp độ nút.

Định cỡ và thay đổi quy mô của cụm CDP Private Cloud  Base là những chủ đề phức tạp đòi hỏi kiến ​​thức về khối lượng công việc. Phần này nêu bật những cân nhắc chính có liên quan nhưng không đưa ra khuyến nghị chi tiết. Dell Technologies hoặc đại diện bán hàng đối tác được ủy quyền của bạn có thể trợ giúp tính toán kích thước chi tiết.

Có nhiều tham số liên quan đến việc định cỡ cụm. Các thông số chính là:

Khả năng lưu trữ

Dung lượng lưu trữ thường là tham số đầu tiên được sử dụng để xác định kích thước của một cụm. Tính toán dung lượng lưu trữ là quan trọng và đơn giản. Tuy nhiên, dung lượng lưu trữ phải được tính toán trong khi tính đến các tham số kích thước khác để duy trì sự cân bằng giữa khả năng lưu trữ và xử lý.

Khối lượng nhập dữ liệu và tốc độ tăng trưởng

Mỗi khối lượng nhập dữ liệu và tốc độ tăng trưởng đều có nhiều tác động đến quy mô cụm. Dung lượng lưu trữ phải tính đến sự tăng trưởng do việc nhập dữ liệu và tăng trưởng khối lượng nhập. Việc nhập dữ liệu cũng tác động đến việc sử dụng mạng của mạng Dữ liệu biên và cụm. Băng thông mạng cần thiết để nhập và số lượng xử lý nhập cần thiết sẽ xác định số lượng nút Cổng mà cụm yêu cầu.

Dung lượng bộ nhớ và bộ xử lý

Yêu cầu về bộ nhớ và bộ xử lý cho các công việc chạy trên cụm phải được xem xét khi định cỡ. Dung lượng bộ nhớ và bộ xử lý tăng lên khi các nút được thêm vào cụm. Khối lượng công việc như các công việc HBase hoặc Spark có yêu cầu bộ nhớ lớn có thể ảnh hưởng đến kích thước của các nút riêng lẻ bên cạnh kích thước tổng thể của cụm.

Thỏa thuận cấp độ dịch vụ

Quy mô cụm sản xuất phải đáp ứng mọi yêu cầu về hiệu suất mà SLA chỉ định. Nếu có các công việc đường dẫn quan trọng phải đáp ứng thời gian thực hiện hoặc thông lượng cụ thể thì kích thước cụm và sự cân bằng giữa tính toán và lưu trữ có thể phải được điều chỉnh cho phù hợp. Thông lượng tổng thể của cụm cũng quan trọng như dung lượng lưu trữ và thường ảnh hưởng đến số lượng nút không phụ thuộc vào dung lượng lưu trữ cần thiết.

Kiến trúc được tổ chức thành ba đơn vị để mở rộng quy mô khi môi trường  Cơ sở đám mây riêng CDP phát triển. Từ nhỏ đến lớn đó là:

• Giá đỡ
• Nhóm
• Cụm

Mỗi đơn vị có các đặc điểm cụ thể và cân nhắc về kích thước được ghi lại trong hướng dẫn này. Thiết kế kiến ​​trúc cho phép bạn mở rộng môi trường CDP Private Cloud  Base bằng cách bổ sung dung lượng bổ sung nếu cần mà không cần thay thế bất kỳ thành phần hiện có nào.

Giá đỡ là ký hiệu kích thước nhỏ nhất cho môi trường CDP . Một giá đỡ bao gồm nguồn, cáp mạng cũng như các bộ chuyển mạch quản lý và dữ liệu cần thiết để hỗ trợ một nhóm nút Công nhân .

Giá đỡ là một đơn vị vật lý. Các ràng buộc vật lý xác định công suất của nó, bao gồm không gian sẵn có, nguồn điện, khả năng làm mát và tải trọng sàn. Một giá phải sử dụng nguồn điện riêng của nó trong trung tâm dữ liệu, độc lập với các giá đỡ khác và phải được coi là vùng lỗi. Nếu xảy ra lỗi ở mức giá trong nhóm hoặc cụm nhiều giá, cụm sẽ tiếp tục hoạt động với công suất giảm.

Kiến trúc này sử dụng 12 nút làm kích thước danh nghĩa của giá đỡ, nhưng có thể có mật độ cao hơn hoặc thấp hơn. Thông thường, một giá chứa khoảng 12 nút sử dụng các máy chủ mở rộng quy mô như PowerEdge R660 và PowerEdge R760 . Những hạn chế về môi trường như nguồn điện và khả năng làm mát có thể quyết định mật độ của giá đỡ. Mật độ nút của một giá không ảnh hưởng đến tỷ lệ và kích thước tổng thể của cụm, nhưng nó ảnh hưởng đến các vùng lỗi trong cụm.

Nhóm là tập hợp các nút được kết nối với cấp độ chuyển mạch mạng đầu tiên trong cụm. Nó bao gồm một hoặc nhiều giá đỡ. Ban đầu, một nhóm có thể bao gồm số lượng nút nhỏ hơn và mở rộng theo thời gian đến mức tối đa mà các cổng chuyển đổi có sẵn xác định.

Nhóm là vùng lỗi cấp thứ hai phía trên mức giá. Nếu xảy ra lỗi ở cấp độ nhóm trong một cụm nhiều nhóm, cụm đó sẽ tiếp tục hoạt động với công suất bị giảm. Một nhóm có thể hỗ trợ đủ các nút máy chủ và bộ chuyển mạch mạng để cài đặt ở quy mô thương mại tối thiểu.

Trong kiến ​​trúc này, một nhóm hỗ trợ tới 48 nút (thường là bốn giá đỡ). Kích thước nhóm được đề xuất là 36 nút. Kích thước của nhóm có thể khác với khuyến nghị cơ bản này. Việc thay đổi kích thước nhóm sẽ ảnh hưởng đến việc đăng ký vượt mức băng thông mạng ở cấp độ nhóm, kích thước của vùng lỗi và kích thước cụm tối đa.

Cụm là một môi trường CDP duy nhất được gắn vào một cặp bộ chuyển mạch mạng cung cấp lớp tổng hợp cho toàn bộ cụm.

Một cụm có thể có kích thước từ một nhóm trong một giá đến nhiều nhóm trong nhiều giá. Một cụm nhóm duy nhất là trường hợp đặc biệt và có thể hoạt động mà không cần lớp tổng hợp. Kịch bản này là điển hình cho các cụm nhỏ hơn trước khi thêm các nhóm bổ sung.

Ở cấp độ cụm, băng thông mạng pod-to-pod (hoặc đường lên) ảnh hưởng đến hiệu suất tổng thể của cụm. Tỷ lệ đăng ký vượt mức tối đa là băng thông đường lên 4:1. Đối với hầu hết các cụm, tỷ lệ đăng ký vượt mức phải được giữ ở mức gần 2:1. Số lượng nút trong mỗi nhóm xác định tỷ lệ đăng ký vượt mức.

Cấu hình được hỗ trợ tối thiểu là tám nút:

• Ba nút chính
• Một nút tiện ích
• Một nút cổng
• Ba nút công nhân

Mặc dù cần có tối thiểu một nút Cổng cho mỗi cụm, nhưng các cụm lớn hơn và cụm có khối lượng hoặc tốc độ nhập cao có thể yêu cầu các nút Cổng bổ sung . Cloudera đề xuất đường cơ sở của một nút Cổng cho mỗi 20 nút Công nhân .

Số lượng nút cụm được đề xuất là 36 nút trên mỗi nhóm, dẫn đến tỷ lệ đăng ký vượt mức 2,25:1 và kích thước cụm tối đa là 1152 nút. Kích thước cụm được đề xuất bên dưới hiển thị số lượng nút được đề xuất cho mỗi nhóm và nhóm trên mỗi cụm. Những con số đó dựa trên thiết kế được mô tả trong Kiến trúc mạng. Bảng này cũng hiển thị một số lựa chọn thay thế cho việc định cỡ cụm với các tỷ lệ đăng ký vượt mức băng thông khác nhau.

Tổng dung lượng lưu trữ của cụm là một chức năng của nền tảng máy chủ và ổ đĩa được chọn và chia tỷ lệ theo số lượng nút Công nhân . Cloudera hỗ trợ tối đa 100 TB mỗi nút để lưu trữ HDFS.

Dung lượng lưu trữ có thể sử dụng trong một cụm cũng phụ thuộc vào loại độ bền dữ liệu và khả năng nén dữ liệu được sử dụng. Dung lượng lưu trữ có thể sử dụng có thể được tính như sau:

số nút x dung lượng lưu trữ thô trên mỗi nút x hiệu suất lưu trữ x tỷ lệ nén

Tính toán này đơn giản nhưng phụ thuộc vào việc ước tính hiệu quả lưu trữ và tỷ lệ nén.

Hệ thống lưu trữ HDFS hỗ trợ hai tùy chọn về độ bền của dữ liệu:

• Nhân rộng
• Xóa mã hóa

Các tùy chọn này có hiệu quả lưu trữ khác nhau. Chúng cũng có các đặc tính hiệu suất khác nhau và mã hóa xóa không được hỗ trợ cho tất cả các dịch vụ. Để biết thêm thông tin, hãy xem tài liệu Cloudera , Tổng quan về mã hóa Erasure .

Khi sử dụng tính năng sao chép, HDFS sẽ tạo nhiều bản sao dữ liệu trên các nút để bảo vệ khỏi mất dữ liệu. Số lượng bản sao (hệ số sao chép) có thể định cấu hình và có thể thay đổi theo từng tệp. Hệ số sao chép mặc định là 3, đây là giá trị thường được sử dụng để ước tính dung lượng lưu trữ.

Bản sao HDFS làm giảm hiệu quả lưu trữ theo hệ số sao chép.

Khi sử dụng mã hóa xóa, dữ liệu được chia thành các khối, được mã hóa chẵn lẻ và phân phối trên các nút. Chi tiết về mã hóa được chỉ định trong chính sách mã hóa xóa. Chính sách mã hóa xóa cho phép cân bằng giữa độ bền của dữ liệu và hiệu quả lưu trữ. Ví dụ: chính sách Reed-Solomon 6-3 có độ bền là 3 và hiệu suất lưu trữ là 67%. Chính sách Reed-Solomon 3-2 có độ bền là 2 và hiệu suất lưu trữ là 60%.

Mã hóa sao chép và xóa HDFS có thể được sử dụng đồng thời trong một cụm. Chính sách mã hóa xóa được chỉ định ở cấp thư mục HDFS, trong khi sao chép được chỉ định trên cơ sở từng tệp.

Nén cũng có thể được sử dụng để giảm dung lượng lưu trữ cần thiết. Việc nén là tùy chọn và áp dụng cho từng tệp riêng lẻ. HDFS hỗ trợ nhiều codec nén dữ liệu và mỗi tệp nén có thể sử dụng một codec khác nhau. Tỷ lệ nén đạt được cho một tệp nhất định phụ thuộc vào cả tập dữ liệu và codec được sử dụng và rất khó ước tính. Cách tiếp cận tốt nhất là:

1. Kiểm tra một số codec khác nhau trên bộ dữ liệu thực để xác định loại nào hoạt động tốt nhất.
2. Đưa ra ước tính về lượng dữ liệu được nén.

Cấu hình được đề xuất cho các nút công nhân có thể chỉ hỗ trợ các cụm HDFS hoặc các cụm chạy cả hệ thống lưu trữ HDFS và Ozone . Các cấu hình này dự định sẽ được sử dụng trong quá trình chuyển đổi từ HDFS sang Ozone . Dung lượng lưu trữ trong các cấu hình được đề xuất có thể được phân chia giữa Ozone và HDFS trên cơ sở từng ổ đĩa. Các ổ đĩa cũng có thể được phân vùng để mỗi ổ đĩa hỗ trợ cả hai hệ thống lưu trữ. Việc phân vùng ổ đĩa và sử dụng ổ đĩa logic giúp thay đổi tỷ lệ dung lượng lưu trữ được phân bổ cho HDFS và Ozone theo thời gian dễ dàng hơn so với ổ đĩa chuyên dụng.

Có thể đạt được mật độ lưu trữ cao hơn nhiều bằng cách sử dụng các nút lưu trữ Ozone chuyên dụng . Xem các yêu cầu phần cứng của Ozone để biết các đề xuất của Cloudera về phân công vai trò và định cỡ nút cho các cụm HDFS hỗn hợp – Ozone hoặc Ozone chuyên dụng . Kiến trúc Ozone cung cấp thêm chi tiết về việc triển khai Ozone nội bộ . Liên hệ với đại diện bán hàng Dell Technologies của bạn để được hỗ trợ thêm về việc định cỡ và định cấu hình các cụm lưu trữ Ozone chuyên dụng .

Cấu hình nút công nhân có thể được tối ưu hóa cho khối lượng công việc cụ thể.

Các cấu hình được đề xuất được thiết kế để cung cấp sự cân bằng giữa thông lượng ổ đĩa và mạng cho khối lượng công việc có mục đích chung.

Những thay đổi về bộ xử lý và kích thước bộ nhớ có thể được thực hiện để xử lý khối lượng công việc cụ thể. Tác động đến dung lượng tổng thể của cụm cũng cần được xem xét khi thay đổi cấu hình. Xem nút Worker để biết thêm chi tiết.

Cấu hình phần cứng cho các nút Cơ sở hạ tầng hỗ trợ các cụm trong phạm vi lưu trữ petabyte mà không có thay đổi. Bạn có thể thêm nhiều nút Cơ sở hạ tầng hơn để phân phối dịch vụ trên nhiều nút nhằm tăng công suất. Việc thêm các nút Cơ sở hạ tầng có thể cần thiết cho cơ sở dữ liệu vận hành hoặc triển khai các máy chủ chuyên dụng cho các dịch vụ như ZooKeeper và Ranger. Xem các nút Cơ sở hạ tầng để biết thêm chi tiết về cấu hình máy chủ cụ thể. Sử dụng tài liệu Cloudera về Máy chủ cụm thời gian chạy và Phân công vai trò để xác định số lượng nút tiện ích cần thiết và vai trò của chúng.

Nếu PowerScale được sử dụng cho bộ lưu trữ HDFS chính thì kích thước và tỷ lệ của cụm sẽ khác với việc triển khai sử dụng máy chủ có bộ lưu trữ gắn trực tiếp.

Sự khác biệt chính là việc mở rộng quy mô tính toán và lưu trữ được thực hiện độc lập bằng cách thêm nút PowerEdge Worker hoặc nút lưu trữ PowerScale . Sự khác biệt này giúp đơn giản hóa việc thay đổi sự cân bằng giữa điện toán và lưu trữ theo thời gian. Dell Technologies khuyên bạn nên sử dụng PowerScale H7000 . Tỷ lệ năm nút Worker trên một khung lưu trữ PowerScale H7000 là điểm khởi đầu tốt.

Kích thước NameNode cũng khác nhau. Khi bạn sử dụng PowerScale để lưu trữ HDFS chính, các dịch vụ NameNode sẽ được tích hợp vào các nút PowerScale . Các máy chủ cơ sở hạ tầng NameNode riêng biệt không bắt buộc phải có kích thước và tỷ lệ, đồng thời các dịch vụ NameNode được điều chỉnh tỷ lệ khi các nút lưu trữ PowerScale được thêm vào.

Việc sử dụng băng thông mạng khác với bộ lưu trữ PowerScale HDFS. Độ bền dữ liệu của PowerScale thay thế việc sao chép và xóa mã HDFS khi sử dụng PowerScale . OneFS triển khai độ bền dữ liệu trong nội bộ và sử dụng mạng phụ trợ chuyên dụng. Một lượng băng thông mạng thống nhất được sử dụng cho cả đọc và ghi với PowerScale HDFS vì bản sao ghi HDFS không tiêu tốn thêm băng thông mạng. Tùy chọn này đơn giản hóa việc tính toán thông lượng cụm và tăng hiệu suất.

Việc tính toán kích thước bộ nhớ sẽ khác vì PowerScale xác định việc chuyển đổi từ dung lượng lưu trữ thô sang dung lượng HDFS có thể sử dụng được, thay vì sao chép và mã hóa xóa HDFS.

Cần có một số bộ nhớ cục bộ trên các nút Worker để lưu trữ trung gian khi sử dụng PowerScale HDFS. Bộ lưu trữ này được sử dụng cho các tệp tràn MapReduce, bộ đệm Spark và các tệp tạm thời khác. Tổng dung lượng lưu trữ trung gian trên cụm phải chiếm khoảng 20% ​​tổng dung lượng lưu trữ PowerScale HDFS. Cấu hình nút PowerScale Worker được đề xuất bao gồm bộ lưu trữ này. Xem các nút PowerScale Worker để biết thêm thông tin.