Dell Data Lakehouse và Iceberg: Tiêu chuẩn vàng mới

Với những phát triển gần đây trong hệ sinh thái dữ liệu, chẳng hạn như việc Databricks mua lại Tabular và Snowflake giới thiệu Polaris Catalog, nhiều người đang đặt câu hỏi về tác động của Iceberg đối với quản lý dữ liệu, đặc biệt là trong BI, ML và GenAI.

Đặt nền móng

Chuẩn hóa định dạng bảng do cộng đồng thúc đẩy. Apache Iceberg là một dự án do cộng đồng thúc đẩy với những người đóng góp từ các công ty lớn như Apple, AWS, Alibaba và Netflix. Nó hứa hẹn một môi trường phát triển cho phân tích hiệu suất cao và quy mô lớn không bị ràng buộc bởi một nhà cung cấp duy nhất. Nó đã nổi lên như là người dẫn đầu trong các định dạng bảng hiện đại, cung cấp cho các doanh nghiệp quyền sở hữu và tính linh hoạt trong lưu trữ dữ liệu.

Sự xuất sắc của lớp động cơ. Trọng tâm của sự phát triển này là quan hệ đối tác giữa Iceberg và OS Trino, nơi đang thúc đẩy sự đổi mới trong công nghệ công cụ truy vấn SQL. Được hình thành ban đầu tại Netflix, kiến ​​trúc này, được gọi là Icehouse, được triển khai trên các môi trường tại chỗ, lai và đa đám mây và đã được các công ty lớn trong ngành như Pinterest, Apple và nhiều công ty khác áp dụng.

Chuyển đổi dần dần sang kiến ​​trúc hiện đại. Chuyển đổi sang Iceberg từ các định dạng cũ là một quá trình dần dần, đòi hỏi sự hỗ trợ nền tảng mạnh mẽ. Dell Data Lakehouse giải quyết nhu cầu này, tạo điều kiện cho quá trình chuyển đổi kiến ​​trúc dữ liệu với sự gián đoạn tối thiểu. Lakehouse và lưu trữ lake cung cấp hiệu suất chưa từng có ở quy mô lớn và chi phí thấp hơn. Việc chuẩn hóa Iceberg khiến cho quá trình chuyển đổi này sang Lakehouse trở nên hấp dẫn hơn nữa, do tính linh hoạt và khả năng tương thích với những thay đổi trong tương lai của ngành.

Nhu cầu dữ liệu vô tận của AI. Sự phát triển của AI đã tạo ra nhu cầu lớn hơn nữa đối với dữ liệu chất lượng cao. Lakehouses giữ các vùng dữ liệu bên trong một nền tảng duy nhất, giảm trùng lặp dữ liệu và di chuyển dữ liệu, do đó loại bỏ các silo dữ liệu và tăng chất lượng dữ liệu. Các tính năng của Iceberg như bảo trì ảnh chụp nhanh, tiến hóa lược đồ và du hành thời gian rất quan trọng để phát triển và duy trì các đường ống dữ liệu tinh vi để liên tục cung cấp cho các quy trình điều chỉnh LLM và RAG.

Dell Data Lakehouse: Một sản phẩm hấp dẫn

Lần đầu tiên trong hơn 40 năm lịch sử kho dữ liệu, ngành công nghiệp này nhận ra tầm quan trọng của việc cung cấp cho doanh nghiệp khả năng tùy chọn bằng cách lưu trữ dữ liệu ở các định dạng mở, như Iceberg, trong một hồ dữ liệu dựa trên lưu trữ đối tượng. Dell Data Lakehouse, bao gồm một công cụ truy vấn mạnh mẽ được hỗ trợ bởi Starburst và tận dụng kiến ​​trúc Icehouse của OS Trino và Iceberg, là một giải pháp đột phá giải quyết các nhu cầu quản lý và phân tích dữ liệu hiện đại.

Sau đây là lý do tại sao nó nổi bật:

• Kiến trúc mở và tương lai. Dell Data Lakehouse hỗ trợ Iceberg, đảm bảo khách hàng không bị khóa vào một nhà cung cấp duy nhất. Sự cởi mở này thúc đẩy sự đổi mới và linh hoạt, cho phép các tổ chức thích ứng với nhu cầu dữ liệu đang phát triển mà không bị hạn chế bởi các hệ thống độc quyền.
• Hiệu suất cao và khả năng mở rộng. Bằng cách truy vấn các bảng Iceberg theo cách gốc và tích hợp với các tính năng của Iceberg như bảo trì ảnh chụp nhanh, phát triển lược đồ và du hành thời gian, Dell Data Lakehouse mang lại hiệu suất vô song, có thể mở rộng theo nhu cầu của tổ chức.
• Giải pháp trọn gói. Phần mềm hệ thống Dell Data Lakehouse biến toàn bộ ngăn xếp, bao gồm cả Iceberg, thành giải pháp trọn gói bằng cách tách biệt sự phức tạp khỏi các lớp cơ bản như hệ điều hành, điều phối vùng chứa và quản lý siêu dữ liệu.
• Quản lý dữ liệu toàn diện. Tích hợp với hệ sinh thái công cụ ngày càng phát triển, bao gồm các nền tảng BI, AI và ML, trên các môi trường kết hợp sử dụng các định dạng mở như Iceberg giúp tạo điều kiện thuận lợi và dân chủ hóa việc truy cập dữ liệu.
• Các silo dữ liệu được kết nối. Bằng cách liên kết trong và xung quanh hồ, các nhóm có thể khám phá và xác thực dữ liệu có liên quan một cách an toàn để thử nghiệm, phân tích tùy ý, điều chỉnh mô hình và nhiều mục đích khác.
• Tiết kiệm chi phí và có thể dự đoán. Bằng cách tách biệt tính toán và lưu trữ và tận dụng kiến ​​trúc hồ, Dell Data Lakehouse cung cấp giải pháp tiết kiệm chi phí, có thể dự đoán và có khả năng mở rộng.
• Bảo mật và quản trị. Apache Iceberg tích hợp với kiểm soát truy cập tích hợp của Dell Data Lakehouse để đơn giản hóa việc quản trị dữ liệu. Tích hợp này cho phép người quản trị data lake chỉ định quyền truy cập chi tiết cho các bảng Iceberg.

Giữa sự phát triển nhanh chóng của ngành, Dell Data Lakehouse nổi lên như một đơn vị dẫn đầu trong quản lý dữ liệu, phân tích, ML và GenAI trên các môi trường lai. Thiết kế kiến ​​trúc này đại diện cho bước nhảy vọt mang tính chuyển đổi, đảm bảo các tổ chức luôn đi đầu trong thế giới dữ liệu ngày nay.

Để có trải nghiệm thực tế đầy đủ, hãy đến Dell Demo Center để khám phá tương tác Dell Data Lakehouse với các phòng thí nghiệm được các chuyên gia của Dell Technologies lựa chọn cho bạn. Bạn cũng có thể liên hệ với giám đốc tài khoản Dell của mình để khám phá Dell Data Lakehouse cho nhu cầu dữ liệu của bạn.