Tổng quan

Sau khi khởi tạo hạ tầng nền móng và kết nối vùng lưu trữ vật lý ngoài thành công, bạn tiến hành tổ chức chúng thành các Catalog, Schema và Table theo mô hình dữ liệu logic.

Khởi Tạo Danh Mục Dữ Liệu (Catalog)

Catalog là nơi gom nhóm logic đầu tiên, ánh xạ cấu trúc lưu trữ Iceberg bên trên hạ tầng Storage thực tế.

• Các bước thực hiện:

1. Ở góc trên cùng bên phải giao diện Catalogs, nhấp vào nút "Create" (hoặc di chuột chọn "Create relational").
2. Điền biểu mẫu Create Catalog:
   • Catalog Name:* Nhập tên Catalog cấu trúc viết liền không dấu
   • Type:* Chọn "Relational".
   • Provider:* Chọn bộ máy hiển thị dữ liệu nền tảng (ví dụ Iceberg,...).
   • External location:* Lựa chọn một trong các vùng lưu trữ ngoài đã khởi tạo ở mục Data setup - S3 location..
   • Sub path: (Tùy chọn) Chọn một thư mục con bên trong Bucket để giới hạn phạm vi làm việc của Catalog này (ví dụ: raw/, parquet/).
   • Description: Ghi chú chức năng Catalog.
3. Nhấn nút "Create". Catalog mới tạo sẽ hiển thị ngay trong cây thư mục bên trái của bạn.
4. Chọn một Catalog để xem chi tiết qua các Tab:
   • Overview: Danh sách các Schema đang thuộc Catalog.
   • Detail: Thông tin cấu hình gồm Catalog Name, Provider, Type, Trạng thái, Người tạo/Ngày tạo, các Properties (credential-providers, location, s3-path-style-access, s3-region...) và thông tin Datasource liên kết (Name, Location, Bucket Name, Auth Method, Health).
   • Permission: Danh sách quyền đã cấp cho người dùng, nhóm người dùng được phân quyền truy cập vào dự án trên Catalog(use_catalog, create_schema, use_schema, create_table, select_table, modify_table).

Quản Lý Lược Đồ (Schema)

Mỗi Catalog cần được chia ra thành nhiều Lược đồ (Schema) để dễ dàng quản lý đối tượng theo nghiệp vụ.

• Các bước thực hiện:

1. Từ cây thư mục bên trái, click chọn vào Catalog bạn mong muốn (ví dụ: catalog_test).
2. Nhấn nút "+ Create schema" ở góc phải màn hình.
3. Tại hộp thoại Create Schema:
   • Schema Name:* Điền tên viết liền không dấu cho lược đồ (ví dụ: schema_test, gold_tables).
   • Description: Mô tả tóm tắt nội dung lược đồ.
4. Nhấn "Create". Lược đồ mới sẽ được thêm vào bên dưới nhánh Catalog được chọn ở cây thư mục.
5. Với mỗi Schema, bạn có thể:
   • Nhấn nút "..." ở cột Action để View detail hoặc Delete Schema.
   • Chuyển qua Tab Permission để cấp/thu hồi quyền cho người dùng khác trên Schema, table đó.

Quản Lý Bảng Dữ Liệu (Table)

Bảng (Table) là đơn vị cấu trúc nhỏ nhất nắm giữ các thuộc tính cột và các dòng dữ liệu cụ thể.

• Các bước thực hiện:

1. Click chọn lược đồ bạn muốn bổ sung bảng trên cây thư mục (ví dụ: schema_test).
2. Nhấn nút "+ Create table" ở góc trên cùng bên phải.
3. Điền biểu mẫu chi tiết Create Table:
   • Table name:* Tên phân biệt của bảng dữ liệu (ví dụ: table_test, orders_history).
   • Columns: Thiết lập danh sách các trường thông tin cột trong bảng:
     • Nhập tên cột tương ứng ở ô COLUMN.
     • Chọn định dạng dữ liệu (ví dụ: string, integer, boolean, double, timestamp...) ở ô lựa chọn DATA TYPE.
     • Bật/Tắt nút chuyển NOT NULL nếu muốn ràng buộc trường dữ liệu không được phép rỗng.
     • Thêm ghi chú cụ thể cho trường đó tại ô COMMENT.
     • Nhấn "+ Add column" nếu muốn tiếp tục bổ sung trường dữ liệu mới.
   • Description: Mô tả chung về ý nghĩa nghiệp vụ của bảng.
4. Nhấn nút "Create" ở góc cuối màn hình.
5. Ngay lập tức, bảng mới tạo sẽ được nạp cấu trúc thành công. Bạn có thể nhấn vào tên bảng trên cây thư mục để kiểm tra các Tab:
   • Overview: Xem cấu trúc danh sách các Cột, Kiểu dữ liệu, thông tin Nullable và dung lượng metadata tương ứng.
   • Detail: Xem các thông tin hạ tầng chi tiết như Vị trí đường dẫn lưu trữ vật lý thực tế, định dạng tệp tin, ngày tạo v.v.