Tổng quan

Catalog trong hệ thống DataVero là trái tim của hệ thống Data Platform – đóng vai trò là lớp quản lý metadata thống nhất (Unified Metadata Layer) cho toàn bộ hệ sinh thái dữ liệu của tổ chức. Cụ thể, module này chịu trách nhiệm:

• Quản lý metadata thống nhất (Unified Metadata Layer) cho toàn bộ hệ sinh thái dữ liệu bao gồm data lake, data warehouse, lakehouse, streaming, file storage, AI/ML models
• Cung cấp nền tảng metadata hướng domain (Domain-oriented Metadata Platform), hỗ trợ triển khai mô hình Data Mesh, cho phép phân quyền sở hữu dữ liệu theo từng đơn vị/phòng ban nghiệp vụ, kết hợp cơ chế governance tập trung (federated governance) nhằm đảm bảo kiểm soát toàn cục, đồng thời thiết kế theo hướng policy-driven, cho phép hệ thống nhanh chóng thích ứng với các thay đổi về luật và quy định dữ liệu mà không cần tái cấu trúc hệ thống.
• Cung cấp giao diện thống nhất (REST API, SDK, CLI, Web UI) để khám phá, tìm kiếm, và quản lý data assets.
• Thực thi kiểm soát truy cập tập trung (RBAC/DAC) trên mọi catalog và nguồn dữ liệu.
• Đóng vai trò Single Source of Truth (SSOT) về metadata cho các query engine (Spark, Trino, Flink).
• Hỗ trợ quản lý AI/ML model metadata và tích hợp với AI agents thông qua MCP (Model Context Protocol).

Các Tính Năng Cốt Lõi

• Kết Nối Nguồn Dữ Liệu Và Lưu Trữ (Internal và External Data Connectivity): Cho phép kết nối và quản lý các nguồn dữ liệu (Connection), dịch vụ lưu trữ bên ngoài thông qua (External Location), đảm bảo khả năng tích hợp dữ liệu linh hoạt và an toàn.
• Quản Lý Metadata Tập Trung (Centralized Metadata Management): Quản lý tập trung toàn bộ metadata của dữ liệu, bao gồm cấu trúc dữ liệu, vị trí lưu trữ, thông tin mô tả, quyền truy cập và các đối tượng dữ liệu trong hệ thống.
• Quản Trị Truy Cập Dữ Liệu (Data Access Governance): Cung cấp cơ chế phân quyền theo nhiều cấp độ như Catalog, Schema và đối tượng dữ liệu, giúp kiểm soát truy cập, đảm bảo an toàn dữ liệu và hỗ trợ quản lý quyền sở hữu tập trung.
• Quản Lý Quyền Sở Hữu Và Vòng Đời Dữ Liệu (Ownership & Governance): Hỗ trợ quản lý quyền sở hữu dữ liệu, chuyển giao Ownership và áp dụng các chính sách quản trị nhằm đảm bảo dữ liệu được quản lý nhất quán trong toàn tổ chức.

Kiến Trúc Cấu Trúc Dữ Liệu 4 Cấp (4-Level Namespace)

Hệ thống tổ chức dữ liệu theo cấu trúc phân cấp chặt chẽ (4-level namespace ): Metalake → Catalog → Schema → Table | Fileset | Topic | Model:

1. Metalake (Không gian dữ liệu): Cấp độ cao nhất toàn hệ thống, là không gian làm việc và thiết lập chính sách chung cho toàn bộ tổ chức hoặc một tập hợp dự án lớn.
2. Catalog (Danh mục): Cấp độ phân chia dự án hoặc phòng ban (ví dụ: finance, marketing, prod, dev). Mỗi Catalog được liên kết trực tiếp với một hạ tầng lưu trữ vật lý ngoài (External Location).
3. Schema (Lược đồ): Cấp độ phân nhóm logic cho các đối tượng bên trong Catalog (ví dụ: sales_data, customer_profiles).
4. Các đối tượng dữ liệu cụ thể (Object Level):
   • Table (Bảng dữ liệu): Lưu trữ dữ liệu có cấu trúc dạng dòng, cột (ví dụ: transactions_2026).
   • Fileset (Tập tin dữ liệu): Quản lý các tập tin dữ liệu phi cấu trúc hoặc bán cấu trúc trong các kho lưu trữ.
   • Topic (Luồng dữ liệu): Đại diện cho các nguồn hoặc hàng đợi dữ liệu thời gian thực (Real-time streams).
   • Model (Mô hình AI/ML): Quản lý định nghĩa cấu trúc và phiên bản của các mô hình học máy.

Điều Kiện Sử Dụng & Luồng Làm Việc Cơ Bản

Để bắt đầu khai thác dữ liệu trên DataVero, hệ thống yêu cầu tuân thủ đúng luồng thiết lập sau:

4.1.Data Setup

Vai trò thực hiện: Tenant Root

Thiết lập các thành phần nền tảng cần thiết để quản lý dữ liệu, bao gồm đăng ký để kích hoạt Data Service, khởi tạo Metastore, tạo Metalake.

Cấu hình kết nối tới các nguồn lưu trữ bên ngoài thông qua External Location. Đây là bước chuẩn bị hạ tầng và không gian dữ liệu cho toàn bộ hệ thống.

Cấu hình Connection để kết nối tới các nguồn dữ liệu (tùy chọn).

4.2.Organize Data

Vai trò thực hiện: Tenant Root, Data Owner

Tổ chức dữ liệu theo cấu trúc phân cấp nhằm hỗ trợ quản lý, tìm kiếm và khai thác dữ liệu hiệu quả.

Catalog
 └── Schema
      └── Table | Fileset | Topic | Model

Người dùng có thể tạo và quản lý các đối tượng dữ liệu, cập nhật metadata, phân loại dữ liệu và khám phá dữ liệu trong hệ thống.

4.3.Manage Access

Vai trò thực hiện: Tenant Root, Data Owner

Thiết lập và quản lý quyền truy cập dữ liệu thông qua cơ chế phân quyền trên Catalog, Schema và các đối tượng dữ liệu. Điều này giúp đảm bảo dữ liệu được truy cập đúng người, đúng vai trò và đúng phạm vi sử dụng.

4.4.Ownership & Governance

Vai trò thực hiện: Tenant Root, Data Owner

Quản lý quyền sở hữu dữ liệu, thực hiện chuyển giao Ownership và áp dụng các chính sách quản trị nhằm đảm bảo dữ liệu được quản lý tập trung, tuân thủ quy định và duy trì tính nhất quán trong toàn tổ chức.

Kết quả

Sau khi hoàn thành các bước trên, dữ liệu được thiết lập, tổ chức, phân quyền và quản trị tập trung, sẵn sàng phục vụ cho các hoạt động phân tích dữ liệu, báo cáo, Data Engineering và AI/ML trên nền tảng.

Chi tiết các bước thực hiện thao tác kỹ thuật được hướng dẫn cụ thể trong tài liệu kế tiếp: data-setup.md.