Tổng quan

Sau khi khởi tạo hạ tầng nền móng và kết nối vùng lưu trữ vật lý ngoài thành công, bạn tiến hành tổ chức chúng thành các Catalog, Schema và Fileset để quản lý tệp tin phi cấu trúc (file, thư mục) theo mô hình dữ liệu logic.

Khởi Tạo Danh Mục Dữ Liệu (Catalog)

Catalog kiểu Fileset là nơi gom nhóm logic đầu tiên, ánh xạ một vùng lưu trữ vật lý (Bucket/thư mục) thành không gian quản lý tệp tin trên nền tảng.

• Các bước thực hiện:

1. Ở góc trên cùng bên phải giao diện Catalogs, nhấp vào nút "+" rồi chọn "Create" (hoặc di chuột chọn "Create Fileset").
2. Điền biểu mẫu Create Catalog:
   • Catalog Name:* Nhập tên Catalog cấu trúc viết liền không dấu.
   • Type:* Chọn "Fileset".
   • Connection Type:* Hệ thống tự động đồng bộ theo Type đã chọn (mặc định: Fileset).
   • External location:* Chọn một trong các Vùng lưu trữ ngoài đã khởi tạo trong menu thả xuống, hoặc nhấn "+ Create a new external location" để khai báo mới.
   • Sub path: (Tùy chọn) Chọn một thư mục con bên trong Bucket để giới hạn phạm vi làm việc của Catalog này (ví dụ: raw/, ingestion/).
   • Description: Ghi chú chức năng Catalog.
3. Nhấn nút "Create". Catalog mới tạo sẽ hiển thị ngay trong cây thư mục bên trái, đồng thời liệt kê trong bảng danh sách Catalogs với các cột Catalog Name, Provider, Type và Status.
4. Chọn một Catalog để xem chi tiết qua các Tab:
   • Overview: Danh sách các Schema đang thuộc Catalog.
   • Detail: Thông tin cấu hình gồm Catalog Name, Provider, Type, Trạng thái, Người tạo/Ngày tạo, các Properties (credential-providers, location, s3-path-style-access, s3-region...) và thông tin Datasource liên kết (Name, Location, Bucket Name, Auth Method, Health).
   • Permission: Danh sách quyền đã cấp cho người dùng, nhóm người dùng được phân quyền truy cập vào dự án trên Catalog(use_catalog, create_schema, use_schema, create_fileset, write_fileset, read_fileset...).

Quản Lý Lược Đồ (Schema)

Mỗi Catalog cần được chia ra thành nhiều Lược đồ (Schema) để dễ dàng quản lý các Fileset theo nghiệp vụ.

• Các bước thực hiện:

1. Từ cây thư mục bên trái, click chọn vào Catalog bạn mong muốn (ví dụ: ingestion_new).
2. Nhấn nút "+ Create schema" ở góc phải màn hình.
3. Tại hộp thoại Create Schema:
   • Schema Name:* Điền tên viết liền không dấu cho lược đồ (ví dụ: test_job, daily_ingest).
   • Description: Mô tả tóm tắt nội dung lược đồ.
4. Nhấn "Create". Lược đồ mới sẽ được thêm vào bên dưới nhánh Catalog được chọn ở cây thư mục và hiển thị trong bảng danh sách với cột Name và Catalog.
5. Với mỗi Schema, bạn có thể:
   • Nhấn nút "..." ở cột Action để View detail hoặc Delete Schema.
   • Chuyển qua Tab Permission để cấp/thu hồi quyền cho người dùng khác trên Schema, fileset đó.

Quản Lý Tệp Tin (Fileset)

Fileset là đơn vị quản lý nhỏ nhất, ánh xạ tới một thư mục vật lý cụ thể trên vùng lưu trữ ngoài, dùng để chứa và tổ chức các file/thư mục con.

• Các bước thực hiện:

1. Click chọn Schema bạn muốn bổ sung Fileset trên cây thư mục (ví dụ: test_job).
2. Nhấn nút "+ Create fileset" ở góc trên cùng bên phải.
3. Điền biểu mẫu Create Fileset:
   • Name:* Tên phân biệt của Fileset (ví dụ: dag, raw_files).
   • Description: (Tùy chọn) Mô tả ý nghĩa nghiệp vụ của Fileset.
4. Nhấn nút "Create". Fileset mới sẽ được nạp thành công và hiển thị dưới nhánh Schema tương ứng trên cây thư mục.
5. Nhấn vào tên Fileset trên cây thư mục để kiểm tra các Tab:
   • Overview: Hiển thị đường dẫn logic của Fileset (dạng fileset/<catalog>/<schema>/<fileset>/) cùng danh sách các File/Thư mục con hiện có, kèm thông tin Type, Size, Last modified và Actions (Download, Delete).
   • Detail: Thông tin cấu hình chi tiết gồm Name, Created by, Created at, Path logic và Storage Location (đường dẫn vật lý thực tế, ví dụ s3a://<bucket>/<schema>/<fileset>), cùng Description.
   • Permissions: Danh sách quyền đã cấp trên Fileset này.

Thao Tác Với Nội Dung Bên Trong Fileset

Sau khi tạo Fileset, bạn có thể trực tiếp thêm mới hoặc tải lên các file/thư mục con để tổ chức dữ liệu.

• Các bước thực hiện:

1. Tại Tab Overview của Fileset, nhấn nút "+ Create" ở góc trên bên phải, hệ thống hiển thị 3 lựa chọn:
   • Create Folder: Nhập Folder Name để tạo một thư mục con mới ngay trong đường dẫn hiện tại (Path hiển thị sẵn để tham chiếu), sau đó nhấn "Create".
   • Create File: Nhập File Name, soạn nội dung trực tiếp trong khung soạn thảo Python Code (có hỗ trợ chọn giao diện Light/Dark), sau đó nhấn "Create".
   • Upload File: Kéo thả tệp tin vào khung tải lên hoặc nhấn để chọn thủ công tệp từ máy tính, kiểm tra lại Path đích rồi nhấn "Upload".
2. Sau khi thao tác thành công, file/thư mục mới sẽ xuất hiện ngay trong bảng danh sách và trên cây thư mục bên trái.
3. Với mỗi file, nhấn nút "..." ở cột Actions để Download hoặc Delete tệp tin đó.

Phân Quyền Truy Cập (Permission)

Việc phân quyền cho phép kiểm soát chi tiết ai được quyền sử dụng, tạo mới, đọc hoặc ghi dữ liệu trên từng cấp Catalog/Schema/Fileset.

• Các bước thực hiện:

1. Vào Tab Permission của đối tượng cần cấp quyền (Catalog, Schema hoặc Fileset).
2. Nhấn nút "Grant" ở góc trên bên phải bảng danh sách.
3. Tại hộp thoại Grant on catalog tên đối tượng:
   • Chọn Principal Type: User hoặc User Groups.
   • Nhập User Identity (Tên người dùng hoặc Email) tại ô tìm kiếm thả xuống.
   • Tích chọn các quyền tương ứng trong khu vực Select Privileges, phân theo từng nhóm Catalog (Use Catalog), Schema (Create Schema, Use Schema) và Fileset (Create Fileset, Write Fileset, Read Fileset). Có thể tích "Select all" để cấp toàn bộ quyền.
4. Nhấn "Confirm" để hoàn tất. Quyền vừa cấp sẽ được kế thừa xuống các đối tượng con áp dụng bên trong (ví dụ: quyền cấp trên Catalog sẽ áp dụng cho các Schema/Fileset bên trong).
5. Để thu hồi quyền, tích chọn các dòng quyền tương ứng trong bảng danh sách rồi nhấn nút "Revoke".