Việc sử dụng các phép tương tự đường ống để mô tả công việc dữ liệu là phổ biến. Tuy nhiên, các cuộc thảo luận chung chỉ đi xa trong việc phát triển các chiến lược lựa chọn công cụ và quy trình phù hợp với bất kỳ trường hợp sử dụng cụ thể nào. Bước đầu tiên trong việc quyết định tiềm năng giá trị từ việc áp dụng nền tảng dữ liệu cho tổ chức của bạn là phát triển thư viện đường ống dữ liệu hoàn chỉnh nhất có thể. Hãy nhớ rằng một số nguồn dữ liệu là một phần quan trọng của nhiều quy trình và các nguồn khác có thể dành riêng cho một nhiệm vụ phân tích.

Việc theo dõi các chi tiết này rất quan trọng vì nó ảnh hưởng đến nhu cầu về khả năng mở rộng và độ tin cậy khi xem xét các tính năng của nền tảng dữ liệu. Nó cũng có thể hữu ích để:

1. Tìm kiếm các mẫu về loại và số bước được yêu cầu trong tất cả các quy trình.
2. Nhóm các mẫu có nhiều điểm tương đồng.

Bạn có thể thấy rằng một nền tảng không đủ đáp ứng mọi nhu cầu của tổ chức, nhưng trong hầu hết các tình huống đều có nhiều điểm tương đồng.

Hình trên, Đường dẫn dữ liệu chung , hiển thị các danh mục chức năng đầu cuối được yêu cầu cho nhiều loại công việc dữ liệu. Tuy nhiên, góc nhìn cấp cao như thế này là không đủ để đánh giá khoản đầu tư vào nền tảng dữ liệu. Chi tiết nhiệm vụ cho một danh mục như Thu thập (ví dụ: số lượng và loại nguồn dữ liệu nào) tác động đáng kể đến các tính năng mà bạn cần từ nền tảng dữ liệu. Sự đa dạng và phức tạp tiềm tàng của danh mục Enrich thường bị đánh giá thấp trong các công cụ và đánh giá hiệu suất lưu trữ.

Mỗi danh mục xử lý quy trình từ Đường dẫn dữ liệu chung cũng là thị trường dành cho phần mềm đặc biệt chỉ áp dụng cho danh mục đó. Các nền tảng và ứng dụng chuyên biệt khác nhau có thể sử dụng thuật ngữ khác với các thuật ngữ Thu thập, Làm phong phú, Báo cáo, Cung cấp và Dự đoán như được hiển thị ở đây. Tuy nhiên, các khái niệm và yêu cầu chức năng nói chung là giống nhau.

Nền tảng dữ liệu đáp ứng tất cả hoặc hầu hết các nhu cầu trong đường dẫn dữ liệu của bạn sẽ đơn giản hóa quá trình chuyển từ dữ liệu nguồn thô sang thông tin chuyên sâu. Bất cứ khi nào dữ liệu trong quy trình phải di chuyển giữa các nền tảng thì thực sự có khả năng gây ra sự phức tạp cả trong giai đoạn phát triển và duy trì hoạt động.

Giá trị của việc triển khai một nền tảng dữ liệu mạnh mẽ nằm ở phạm vi rộng của các nguồn và loại dữ liệu. Dữ liệu này có thể chứa thông tin ẩn hoặc tiềm ẩn được kết hợp với một khuôn khổ chung để áp dụng bộ kỹ thuật phân tích dữ liệu đầy đủ. Mặc dù có những ứng dụng phân tích phổ biến mà hầu hết mọi tổ chức đều biết đến, nhưng có lẽ còn rất nhiều hoặc nhiều ứng dụng khác chưa được khám phá và phát triển. Nhiều tổ chức thừa nhận rằng lượng tồn đọng của các ứng dụng được đề xuất dựa một phần vào thông tin phân tích chuyên sâu là rất lớn. Nhiều nguồn dữ liệu trong các tổ chức lớn vẫn chưa được lập hồ sơ chứ chưa nói đến việc nâng cao và hợp nhất thành một hệ thống phân tích. Đường dẫn như vậy cung cấp giá trị vào ứng dụng phần mềm hoặc báo cáo.

Hầu hết dữ liệu số đều có một số loại cấu trúc hoặc thuộc tính chung khi chúng được đưa vào phương tiện lưu trữ. Một số ví dụ bao gồm:

• Âm thanh có tốc độ bit và dải tần số.
• Các tệp có thuộc tính kích thước và loại tệp (ứng dụng, văn bản, nhị phân).
• Hình ảnh có kích thước chiều và mã hóa độ sâu màu.
• Các tệp văn bản có sơ đồ mã hóa.

Những đặc điểm này tác động đến các yêu cầu đối với nền tảng dữ liệu. Một số hệ thống tệp phù hợp hơn để xử lý nhiều tệp nhỏ trong khi các hệ thống khác lại tốt hơn với ít tệp lớn hơn. Đối với âm thanh và dữ liệu dựa trên luồng khác , kỹ sư dữ liệu có thể lựa chọn kích thước bộ đệm và đặc điểm tạo tệp phải phù hợp với khả năng của nền tảng. Chúng cũng có thể tác động đến sự phức tạp của việc sử dụng dữ liệu để phân tích.

Nếu bạn có thêm kiến ​​thức về các giai đoạn cuối cùng về giao diện của quy trình phân tích, bạn có thể xây dựng thêm thông tin thông minh cho các giai đoạn đầu của quá trình quản lý dữ liệu. Nếu có thể, một lĩnh vực nên chống lại là “lấy mẫu xuống” dữ liệu vì khả năng hoặc ưu tiên của các yêu cầu lập mô hình và báo cáo. Mặc dù việc lưu trữ dữ liệu có độ chính xác cao khi không cần thiết để phân tích có vẻ lãng phí nhưng hãy coi đó như một chính sách bảo hiểm để bảo vệ trước những yêu cầu phân tích thay đổi. Việc lưu trữ dữ liệu ở dạng phù hợp nhất có thể với quy trình tạo dữ liệu có thể cung cấp nhiều manh mối nếu các câu hỏi liên quan đến độ tin cậy hoặc chất lượng dữ liệu nảy sinh sau này. Bạn luôn có thể xem xét việc sử dụng lấy mẫu xuống hoặc các hình thức nén khác làm mất thông tin để lưu trữ.

Một khía cạnh khác của quản lý dữ liệu khiến các chuyên gia CNTT ngạc nhiên là bộ nhớ cần thiết để quản lý nhiều bản sao dữ liệu đang được sử dụng để phân tích. Ngay cả những chuyên gia khoa học dữ liệu dày dặn kinh nghiệm nhất cũng sử dụng nhiều bản sao dữ liệu có vẻ ngoài giống hệt nhau. Có một số lý do quan trọng tại sao tình huống này là cần thiết:

1. Cả báo cáo và phát triển mô hình phải được tách biệt khỏi sự thay đổi không kiểm soát được. Bản sao ban đầu này thường là bản sao trực tiếp của nguồn với ít hoặc không có sự biến đổi. Biện pháp này đảm bảo rằng các nhà phát triển luôn có thể quay lại phiên bản dữ liệu thực tế. Dữ liệu đó có thể được sử dụng để so sánh các sơ đồ chuyển đổi thay thế có độ lặp lại.
2. Quản lý các phép biến đổi thay thế. Một mô hình phổ biến là nhóm và đếm các sự kiện theo nhiều yếu tố khác nhau như thời gian, địa lý, phân khúc thị trường, v.v., cũng như các phép biến đổi để làm sạch và chuẩn hóa dữ liệu.
3. Hiệu quả. Các quy trình chuyển đổi dữ liệu phức tạp sẽ được phát triển theo từng giai đoạn. Có thể sẽ không hiệu quả nếu quay lại dữ liệu nguồn để thử nghiệm một nhóm nhiệm vụ gia tăng ở giai đoạn cuối của quy trình. Các nhà khoa học dữ liệu có thể ưu tiên thực hiện các bước trung gian để giảm độ phức tạp và đầu tư thời gian để vận hành quy trình ngay từ đầu.

Danh sách này không đầy đủ nhưng sẽ cung cấp một số cách để đánh giá quy mô của nền tảng dữ liệu. Quan trọng hơn, nó có thể giúp bạn đánh giá tính linh hoạt sẵn có cho việc mở rộng và phân cấp dung lượng lưu trữ mà các nền tảng ứng viên cung cấp. Một yêu cầu khác xuất phát một phần từ thách thức quản lý sao chép dữ liệu là theo dõi siêu dữ liệu có liên quan đến lịch sử và logic chuyển đổi. Việc tạo nhiều bản sao của cùng một dữ liệu có vẻ hợp lý khi đang vận hành một dự án, nhưng sẽ khó xác định lý do tại sao sáu tháng sau đó.

Mối quan tâm ngày càng tăng đối với các nền tảng bao gồm các cửa hàng tính năng . Khái niệm này nhằm mục đích theo dõi logic và siêu dữ liệu tốt hơn, đồng thời thúc đẩy cách tiếp cận phân tách hơn để quản lý dữ liệu. Nếu sự khác biệt duy nhất giữa hai tập dữ liệu là cách quản lý thứ nguyên khách hàng thì bạn nên giữ hai bản sao của tính năng đó thay vì hai bản sao của toàn bộ tập dữ liệu. Ví dụ đơn giản này giải thích ý tưởng cơ bản. Việc sử dụng lại logic chuyển đổi để quản lý các thứ nguyên được sử dụng thường xuyên một cách độc lập với tất cả các tính năng khác có thể đơn giản hóa rất nhiều việc quản lý dữ liệu. Các ví dụ bao gồm khách hàng và sản phẩm cũng như tất cả các bộ dữ liệu phân tích khác mà chúng được sử dụng.