Overview
Tổng quan
Để bắt đầu làm việc với các danh mục dữ liệu (Catalog), hệ thống yêu cầu một quy trình thiết lập nền tảng nghiêm ngặt trước khi kết nối tới vùng lưu trữ vật lý ngoài (Location) hoặc hệ thống dữ liệu ngoài (Connection). Phân hệ này chỉ được mở và hoạt động bình thường khi đáp ứng đủ các chuẩn bị về quyền và hạ tầng dưới đây.
Trang này mô tả các bước nền tảng, dùng chung cho mọi loại nguồn dữ liệu. Sau khi hoàn tất, tùy vào nhu cầu bạn tiếp tục với một trong hai nhánh:
- Location — thiết lập vùng lưu trữ ngoài theo từng provider (S3,...), dùng cho Fileset Catalog.
- Connection — thiết lập kết nối tới hệ quản trị dữ liệu ngoài theo từng provider (PostgreSQL, ClickHouse, Apache Iceberg...), dùng cho Relational Catalog.
Điều Kiện Tiên Quyết: Kích Hoạt Data Service Theo Project
Trước khi sử dụng catalog:
- Đã đăng nhập hệ thống
- Có quyền truy cập vào Project và policy View Metalake
- Đã được Quản trị viên hệ thống (Admin DataVero) bật dịch vụ "DATA" theo dự án của khách hàng.
- Mẹo nhận biết: Trong màn Getting Started của dự án tại ô thông tin dịch vụ "Catalogs" nằm dưới nhóm dịch vụ "DATA" sẽ hiển thị nút "Start", lúc này bạn đã sẵn sàng bước vào cấu hình hạ tầng dữ liệu.
Quy Trình Khởi Tạo Từng Bước (Step-by-Step Provisioning)
Sau khi có quyền truy cập, bạn cần thực hiện tuần tự các bước dưới đây để thiết lập và đưa hệ thống quản lý dữ liệu vào hoạt động:
Bước 1: Khởi Tạo Metastore Instance (Metastore Initialization)
Metastore đóng vai trò là cơ sở dữ liệu trung tâm để lưu trữ toàn bộ cấu trúc định nghĩa dữ liệu (metadata catalog, tables, columns, permissions) của bạn.
- Truy cập vào giao diện quản lý thông qua Getting Started và chọn nút Start (hoặc truy trực tiếp vào giao diện Catalog trong mục Data).
- Tiến hành kiểm tra trạng thái khởi tạo. Nếu chưa có Metastore khả dụng, nhấn button Initialize Metastore.
- Popup Confirm Metastore Configuration hiển thị các thông tin:
- Project Name: Tên của dự án.
- Metastore Instance: Thông tin Metastore Instance.
- Nhất nút Confirm để xác nhận hành động. Khi đó hệ thống sẽ chạy tiến trình tự động cấu hình container.
Bước 2: Tạo Không Gian Quản Trị - Metalake (Metalake Creation)
Metalake là không gian làm việc (workspace) cấp cao nhất, nơi gom cụm các Catalogs và thiết lập giới hạn bảo mật dùng chung cho một tổ chức hoặc bộ phận.
- Tại giao diện Catalogs,nhấn nút Create Metalake.
- Popup Confirm Metastore Configuration hiển thị. Người dùng nhất nút Create & Enable để xác nhận hành động.
- Hệ thống kích chọn vào Metalake vừa tạo, bạn sẽ quan sát thấy bảng chi tiết cấu hình Metalake bao gồm các thông tin quan trọng:
- Metalake ID: Thông tin Metalake ID
- Status metalake: Trạng thái hoạt động của metalake
- Metastore instance: Thông tin Metastore instance
- Status metastore instance: Trạng thái hoạt động của metastore instance
- Created at: Thời gian tạo metalake
- Metastore URL: Đường dẫn giao tiếp Metastore
- Iceberg URL: Đầu kết nối chuẩn ghi của các danh mục Iceberg
Bước 3: Sinh Khóa Kết Nối Client (Generate Access Token)
Để kết nối mã nguồn ngoài hoặc các ứng dụng phân tích bên ngoài tới không gian dữ liệu Metalake này, bạn cần sinh cấu hình bảo mật JWT Token:
- Tại màn hình chi tiết Metalake, nhấn vào nút "Gen Token" ở góc trên bên phải.
- Nhập thời hạn hết hạn của khóa truy cập tại ô Expiration (hour)* (mặc định là
2giờ). - Nhấn Generate Token. Hệ thống hiển thị hộp thoại thông báo thành công kèm chuỗi ký tự Token JWT mã hóa dài.
- Nhấp vào biểu tượng Copy 📋 bên cạnh mã khóa để lưu trữ lại phục vụ việc kết nối ứng dụng client.
- Chú ý bảo mật: Token chỉ hiển thị DUY NHẤT MỘT LẦN. Hãy lưu lại tại nơi an toàn và tuyệt đối không chia sẻ công khai lên mã nguồn công cộng.
Bước Tiếp Theo (Next Steps)
Sau khi Metalake đã ở trạng thái Active, tại giao diện Catalog hiển thị thông tin chi tiết của metalake, di chuột qua nút "Connect" ở góc phải để tiếp tục thiết lập:
- Chọn "External locations" nếu cần kết nối vùng lưu trữ vật lý ngoài — xem hướng dẫn theo từng provider tại nhóm tài liệu Location.
- Chọn "Connections" nếu cần kết nối tới hệ quản trị dữ liệu ngoài (PostgreSQL, ClickHouse, Apache Iceberg...) — xem hướng dẫn theo từng provider tại nhóm tài liệu Connection.