Cụm dữ liệu lớn của Microsoft SQL Server 2019: Giải pháp dữ liệu lớn sử dụng cơ sở hạ tầng Dell EMC (3)

SQL Server và các cơ sở dữ liệu tương tự được thiết kế chủ yếu để xử lý giao dịch trực tuyến (OLTP) và là các hệ thống mở rộng quy mô. Trong hệ thống mở rộng quy mô, lợi ích về hiệu suất đến từ việc bổ sung thêm tài nguyên bộ nhớ và điện toán trong máy chủ lưu trữ hoặc di chuyển sang máy chủ lớn hơn. Ngược lại, hệ thống cơ sở dữ liệu mở rộng quy mô được thiết kế để sử dụng nhiều máy chủ nối mạng có bộ lưu trữ để phân phối dữ liệu và xử lý dữ liệu trên một cụm. Hệ thống mở rộng quy mô được thiết kế để quản lý những thách thức về dữ liệu lớn không hoạt động tốt thông qua cách tiếp cận hệ thống mở rộng quy mô truyền thống.

Với SQL Server 2019, Microsoft hiện cung cấp tùy chọn lưu trữ các dịch vụ cơ sở dữ liệu mở rộng. Cụm dữ liệu lớn SQL Server 2019 là một giải pháp dữ liệu lớn có quy mô lớn mới kết hợp SQL Server, Spark và HDFS trên một cụm máy chủ. Phiên bản chính của SQL Server điều phối khả năng kết nối, quản lý truy vấn mở rộng, siêu dữ liệu và học máy. Phiên bản chính là phiên bản SQL Server đầy đủ chức năng và điểm cuối Luồng dữ liệu dạng bảng (TDS) cung cấp giao thức cấp ứng dụng được sử dụng bởi các công cụ như Azure Data Studio và SQL Server Management Studio.

Phiên bản chính chứa công cụ truy vấn mở rộng quy mô để đẩy các tính toán vào nhóm điện toán. Trong Cụm dữ liệu lớn, nhóm điện toán xử lý truy vấn trên các phiên bản SQL Server. Sự song song hóa này cho phép đọc các tập dữ liệu lớn nhanh hơn, do đó tiết kiệm thời gian trả về kết quả. Việc quản lý các truy vấn mở rộng quy mô và siêu dữ liệu khác được duy trì trong phiên bản chính.

Siêu dữ liệu trong phiên bản chính bao gồm:

• Cơ sở dữ liệu siêu dữ liệu với siêu dữ liệu bảng HDFS
• Bản đồ phân đoạn gói dữ liệu
• Chi tiết về các bảng bên ngoài cung cấp quyền truy cập vào mặt phẳng dữ liệu cụm
• Nguồn dữ liệu ngoài PolyBase và các bảng bên ngoài được xác định trong cơ sở dữ liệu người dùng

Ngoài công cụ SQL và quản lý Cụm dữ liệu lớn, SQL Server 2019 còn tích hợp các dịch vụ bổ sung như học máy. Học máy là khả năng sử dụng dữ liệu trong việc phát triển các mô hình. Ví dụ: bằng cách sử dụng máy học, một mô hình có thể được tạo để xác định sự khác biệt giữa email hợp pháp và thư rác. Mô hình như vậy sau đó có thể được sử dụng để cải thiện dịch vụ email bằng cách loại bỏ hầu hết thư rác khỏi hộp thư đến của người dùng.

Dịch vụ học máy là một tính năng bổ sung cho phiên bản chính. Tính năng này được cài đặt theo mặc định và cho phép các nhà phát triển sử dụng mã Java, R và Python trong SQL Server. Khả năng này cung cấp lộ trình cho các nhà khoa học dữ liệu sử dụng các công cụ Spark và HDFS với phiên bản chính của SQL Server, như minh họa trong hình sau:

Hình 3. Dịch vụ Machine Learning được cài đặt trên phiên bản chính của SQL Server

Các dịch vụ Apache Spark cũng có sẵn trong SQL Server 2019. Spark là một hệ thống điện toán cụm đa năng được thiết kế để đạt được hiệu suất. Thông qua API, Spark hỗ trợ nhiều ngôn ngữ lập trình như Java, Scala, Python và R. Spark sử dụng thư viện máy khách của Hadoop để truy cập các nút dữ liệu HDFS, nghĩa là Spark được thiết kế để sử dụng bộ lưu trữ HDFS. Spark cung cấp khả năng trong Cụm dữ liệu lớn để thực hiện học máy (MLib), xử lý đồ thị (GraphX) và Spark Streaming. Theo tùy chọn, khách hàng có thể tách các dịch vụ Spark để tạo nhóm Spark chuyên dụng. Nhóm Spark chuyên dụng có thể mang lại lợi ích nếu khách hàng có kế hoạch sử dụng rộng rãi các dịch vụ Spark.

Ngoài phiên bản chính, Cụm dữ liệu lớn SQL Server 2019 còn bao gồm một số dịch vụ mở rộng quy mô. Ví dụ: nhóm điện toán cho phép giảm tải quá trình xử lý truy vấn phân tán sang dịch vụ mở rộng quy mô chuyên dụng. Trong quá trình thiết lập phòng thí nghiệm của chúng tôi, nhóm điện toán Cụm dữ liệu lớn có một hoặc nhiều phiên bản điện toán SQL Server chạy trong các vùng chứa trên mỗi nút giá PowerFlex. Các ví dụ khác về cách nhóm điện toán tăng tốc xử lý dữ liệu bao gồm:

• Các kết nối truy vấn kết hợp dữ liệu từ hai đối tượng trong cơ sở dữ liệu hoặc từ các nguồn dữ liệu bên ngoài. Với kết nối truy vấn, bạn có thể:

• Tham gia các thư mục HDFS với hàng nghìn tệp.
• Tham gia các bảng trong các tài nguyên dữ liệu khác nhau.
• Tham gia các bảng với các sơ đồ phân vùng hoặc phân phối dữ liệu khác nhau.

• Xuất dữ liệu di chuyển dữ liệu ra khỏi ứng dụng song song với bộ lưu trữ HDFS hoặc Azure Blob.

Hình sau đây minh họa cấu hình nhóm điện toán:

Hình 4. Cấu hình nhóm tính toán

Nhóm lưu trữ Cụm dữ liệu lớn SQL 2019 là một nhóm các nhóm lưu trữ các dịch vụ sau: công cụ SQL Server, nút dữ liệu HDFS và Spark. Nút dữ liệu HDFS lưu trữ và sao chép dữ liệu trên tất cả các nút trong vùng lưu trữ. Vì HDFS sao chép dữ liệu trong hầu hết các kiến ​​trúc nên không cần RAID. Nút lưu trữ HDFS quản lý tất cả các hoạt động đọc và ghi vào nút.

Công cụ SQL Server có thể truy cập nguyên bản vào các nút dữ liệu HDFS, cung cấp khả năng sử dụng T-SQL với Cụm dữ liệu lớn. Do đó, tổ chức có thể sử dụng các báo cáo T – SQL hiện có và hoàn toàn được hưởng lợi từ trải nghiệm của nhà phát triển với T-SQL; các nhà phát triển không phải học một ngôn ngữ lập trình mới. Hình dưới đây hiển thị kiến ​​trúc nhóm lưu trữ được Kubernetes cung cấp theo nhóm:

Hình 5. Kiến trúc vùng lưu trữ

Nhóm dữ liệu Cụm dữ liệu lớn SQL Server 2019 có một hoặc nhiều phiên bản SQL Server và được dùng để nhập dữ liệu từ các nguồn bên ngoài. Nhóm dữ liệu được quản lý từ phiên bản chính của SQL Server bằng cách sử dụng Ngôn ngữ định nghĩa dữ liệu (DDL) để quản lý cơ sở dữ liệu và các đối tượng của nó cũng như Ngôn ngữ thao tác dữ liệu (DML) để quản lý dữ liệu. Công dụng chính của nhóm dữ liệu là giảm tải các hoạt động xử lý dữ liệu từ phiên bản chính của SQL Server. Nhóm dữ liệu có thể tăng tốc xử lý dữ liệu vì nó sử dụng phân đoạn dữ liệu (phân vùng) trên các phiên bản SQL Server trong nhóm. Phân đoạn cơ sở dữ liệu là dữ liệu được phân phối trong các vùng chứa riêng biệt trên nhiều phiên bản cơ sở dữ liệu nằm trên các máy chủ riêng biệt. Hầu hết dữ liệu không bị trùng lặp hoặc sao chép, nghĩa là mỗi phân đoạn chứa một nguồn dữ liệu duy nhất. Sharding cải thiện hiệu suất bằng cách cho phép đọc nhiều dữ liệu song song trên nhiều phiên bản cơ sở dữ liệu, nhờ đó giảm thời gian cần thiết để hoàn thành một truy vấn.