Kafka trên máy chủ Dell Power Edge – Sự kết hợp thành công

Cho đến nay, phần mềm nhắn tin pub/sub phổ biến nhất là kafka. Nhà sản xuất gửi dữ liệu và tin nhắn đến nhà môi giới để người tiêu dùng sử dụng sau này. Dữ liệu được xuất bản lên một hoặc nhiều chủ đề là hàng đợi. Người tiêu dùng đọc tin nhắn từ một chủ đề và đánh dấu nó là đã đọc. Hầu hết các chủ đề có thể có nhiều người tiêu dùng. Các chủ đề có thể được phân vùng để cho phép các nhà môi giới xử lý song song. Khi tất cả người tiêu dùng đã đọc tin nhắn, nó sẽ bị xóa một cách hợp lý. Bản sao tạo một bản sao khác cho dữ liệu của bạn để giúp ngăn ngừa mất dữ liệu.

Về lựa chọn nền tảng của bạn, có nhiều lựa chọn bao gồm:

• Máy chủ kim loại trần với DAS
• Ảo hóa
• HCI
• K8S

Một số lời khuyên:

• Giữ cụm của bạn sạch sẽ. Không sử dụng kafka để lưu giữ dữ liệu hoặc phát lại dữ liệu trong vài ngày hoặc một tuần. Một khi dữ liệu được tiêu thụ hãy để nó bị xóa.  
• Sử dụng số lượng nút lẻ với tối thiểu ba hoặc năm nút tùy thuộc vào khả năng chịu lỗi của bạn. Hầu hết các môi trường sẽ có nhiều nút hơn.
• Việc lưu trữ phải cục bộ và rất khuyến khích sử dụng SSD.
• Không cần RAID nếu bản sao có hiệu lực.
• Sử dụng phân vùng ngẫu nhiên
• Một bản sao có thể là một cfg khả thi tối thiểu với hai bản sao hoặc ba bản sao phổ biến nhất trong quá trình sản xuất.

Điều này có thể trông như thế nào trên một số Máy chủ PE. Đối với máy chủ 15G Ice Lake, máy chủ hấp dẫn nhất sẽ là R650. Đó là máy chủ 1U với 10 khoang ổ đĩa, bộ nhớ tốt và nhiều lựa chọn bộ xử lý. Cấu hình ở giữa đường có thể trông giống như sau:

• Bảy máy chủ R650
  1. RAM 256GB với DIMM 16 x 16GB trong cấu hình cân bằng hoàn toàn.
  2. Bộ xử lý kép 16c với tốc độ xung nhịp nhanh hơn một chút. Vì vậy, 6346 sẽ phù hợp với yêu cầu @3.1GHz
  3. NIC kép 25GbE
  4. HBA355E – Điều này giả định không có RAID cho ổ dữ liệu của bạn
     • Nếu bạn dự định sử dụng RAID cho dữ liệu kafka của mình thì hãy chọn H755 PERC có bộ đệm 8GB.
  5. 6 x 1,92TB vSAS RI SSD
     • 99% thời gian đọc ổ đĩa chuyên sâu sẽ đủ
     • Nếu thời gian lưu giữ của bạn là một ngày hoặc ít hơn mức sử dụng hỗn hợp thì sẽ phù hợp, nhưng tôi chưa thấy điều đó
  6. Cặp SSD M.2 BOSS 480GB RI – cặp RAID1 có thể tráo đổi nóng hoàn toàn
     • Đây là nơi hệ điều hành của bạn và có thể cả phần mềm kafka Confluent sẽ hoạt động