Lưu ý : Tiện ích bổ sung Cụm dữ liệu lớn của Microsoft SQL Server 2019 sẽ ngừng hoạt động. Hỗ trợ dành cho Cụm dữ liệu lớn SQL Server 2019 sẽ kết thúc vào ngày 14 tháng 1 năm 2025. Để biết thêm thông tin, hãy xem Tùy chọn dữ liệu lớn trên nền tảng Microsoft SQL Server .

Tốc độ đổi mới và áp dụng công nghệ ngày càng tăng đang làm thay đổi cuộc sống của chúng ta. Với các ứng dụng điện thoại thông minh, chúng ta có thể quản lý tài khoản ngân hàng của mình, duy trì kết nối thông qua vô số kênh truyền thông xã hội và có thể truy cập gần như ngay lập tức vào tin tức từ khắp nơi trên thế giới. Thời đại tiến bộ công nghệ không ngừng này đã tạo ra sự bùng nổ về dữ liệu. IDC dự đoán phạm vi dữ liệu toàn cầu sẽ tăng từ 33 zettabyte vào năm 2018 lên 175 zettabyte vào năm 2025. (Xem  Thời đại dữ liệu 2025: Số hóa thế giới từ biên đến lõi , IDC, tháng 11 năm 2018.)

Phân tích dữ liệu có thể giải quyết các vấn đề trong thế giới thực để cải thiện nhiều khía cạnh trong cuộc sống của chúng ta; tuy nhiên, các yêu cầu quản lý dữ liệu cần thiết để hỗ trợ phân tích là yếu tố hạn chế nhất đối với hầu hết các tổ chức. Cơ sở dữ liệu có cấu trúc truyền thống không được thiết kế để hỗ trợ dữ liệu ở quy mô petabyte, exabyte hoặc lớn hơn. Những đổi mới trong công nghệ cơ sở dữ liệu phân tán giải quyết thách thức dữ liệu lớn bằng cách phân phối dữ liệu trên các cụm máy tính được kết nối với nhau. Chúng tôi tin rằng việc sử dụng cơ sở dữ liệu phân tán trong các trường đại học, chính phủ và doanh nghiệp có tiềm năng to lớn để tạo ra những hiểu biết bổ sung sẽ dẫn đến những chuyển đổi mới nhằm cải thiện cuộc sống.

Công nghệ SQL Server và thách thức dữ liệu lớn

Cụm dữ liệu lớn của Microsoft SQL Server được thiết kế để giải quyết thách thức về dữ liệu lớn mà hầu hết các tổ chức hiện nay phải đối mặt. Với Cụm dữ liệu lớn của SQL Server, các chuyên gia dữ liệu có thể phân phối từ petabyte đến exabyte dữ liệu trên các nhóm tài nguyên điện toán và lưu trữ có quy mô lớn bằng cách sử dụng các khung tính toán cụm nguồn mở Hệ thống tệp phân tán Apache Spark và Hadoop (HDFS). Spark cung cấp khả năng song song hóa phân tích dữ liệu trên toàn bộ cụm máy tính, trong khi HDFS xử lý hiệu suất truy cập dữ liệu và tính bền vững cho các bộ dữ liệu quy mô lớn. Các nhà khoa học dữ liệu có thể chọn từ nhiều công cụ, bao gồm Spark API và Transact-SQL (T-SQL), để sử dụng trong việc phát triển những hiểu biết phân tích mới.

Công nghệ SQL Server cũng giải quyết các thách thức trong việc truy cập các kho dữ liệu quá linh hoạt hoặc quá lớn để đưa vào một phiên bản cơ sở dữ liệu phân tán duy nhất. Khả năng kết nối với các nguồn dữ liệu khác trong lĩnh vực dữ liệu sẽ làm tăng tính đa dạng của dữ liệu, do đó củng cố phạm vi phân tích và tăng độ chính xác của các dự đoán. Trong số những cải tiến gần đây của SQL Server là ảo hóa dữ liệu, tạo điều kiện thuận lợi cho việc phân tích với các nguồn dữ liệu khác nhau mà không cần sao chép dữ liệu giữa các hệ thống. Ảo hóa dữ liệu có thể truy cập nhiều hệ thống dữ liệu nguồn khác nhau và cho phép phân tích mà không cần phải trích xuất, chuyển đổi và tải (ETL) vào kho dữ liệu chung. Thay vào đó, ảo hóa dữ liệu cho phép truy vấn dữ liệu trực tiếp bằng cách sử dụng ngôn ngữ gốc và trả kết quả về ứng dụng của người yêu cầu.

Có thể ảo hóa dữ liệu thông qua công nghệ PolyBase và tích hợp công nghệ đó vào SQL Server. Sử dụng SQL Server với PolyBase, các nhà phân tích dữ liệu của bạn có thể truy cập dữ liệu trong Hadoop, Oracle, Teradata và MongoDB bằng cách sử dụng các truy vấn T – SQL quen thuộc. Cùng với Cụm dữ liệu lớn của SQL Server, PolyBase xây dựng cầu nối bằng cách kết nối công nghệ dữ liệu lớn với các nguồn dữ liệu quan hệ truyền thống trong phạm vi dữ liệu. Các nhà khoa học dữ liệu có thể sử dụng các ngôn ngữ lập trình phù hợp nhất, bao gồm T ‑ SQL, Java, Python, R và Scala, để thực hiện phân tích dữ liệu trên nhiều nguồn dữ liệu.