Giới thiệu tổng quan

Ingestion là chức năng dùng để tự động hóa việc di chuyển dữ liệu từ một hoặc nhiều bảng nguồn sang dataset hoặc bảng đích. Một ingestion job mô tả đầy đủ nguồn dữ liệu, đích nhận dữ liệu, cách đọc dữ liệu, cách ghi dữ liệu và điều kiện thực thi.

Ingestion phù hợp cho các nhu cầu đồng bộ dữ liệu định kỳ giữa các hệ thống, xây dựng pipeline nạp dữ liệu theo lịch và theo dõi kết quả của từng lần chạy. Job có thể xử lý một hoặc nhiều bảng trong cùng một cấu hình; mỗi bảng nguồn được ánh xạ tới một tên đích tương ứng.

Các thành phần chính của một ingestion job gồm:

• Source: catalog, schema và bảng cung cấp dữ liệu cần nạp.
• Destination: catalog, schema và dataset hoặc bảng tiếp nhận dữ liệu.
• Read mode: cách lấy dữ liệu từ nguồn. Full Refresh đọc lại toàn bộ dữ liệu, còn Incremental Append chỉ lấy các bản ghi mới dựa trên một cursor column.
• Write mode: cách ghi dữ liệu vào đích, thường gồm ghi đè (Overwrite) hoặc ghi nối tiếp (Append).
• Compute: tài nguyên thực thi ingestion job, thuộc workload type Ingestion Job.
• Trigger và schedule: điều kiện kích hoạt job, có thể theo lịch định kỳ hoặc do người dùng chạy thủ công.

Trong quá trình chạy, hệ thống thực thi các task theo cấu hình của job và lưu lại trạng thái, thời lượng, loại chạy cùng kết quả của từng lần thực thi. Các thông tin này giúp kiểm tra dữ liệu đã được nạp thành công và hỗ trợ xử lý khi có lỗi.

Điều kiện sử dụng

• Đã đăng nhập và chọn đúng Project.
• Ingestion Orchestration đã được khởi tạo.
• Có Compute với Workload Type là Ingestion Job và đang ở trạng thái có thể sử dụng.
• Có quyền truy cập các catalog, bảng nguồn và dataset đích.

Khởi tạo Ingestion Orchestration

Trước khi tạo ingestion job, cần khởi tạo Ingestion Orchestration cho Project. Đây là bước chuẩn bị instance và các thành phần hạ tầng cần thiết để tạo, lập lịch và thực thi ingestion job.

Khi khởi tạo, hệ thống tự động cấu hình tài nguyên hạ tầng và giới hạn workload dựa trên subscription plan.

Quá trình này bao gồm các thành phần nền tảng như database, log storage, API server và scheduler.

Chỉ bắt đầu tạo ingestion job khi các component đã được provision thành công hoặc hệ thống cho phép tiếp tục.

Quy trình thực hiện

Thiết lập ban đầu

Trước khi tạo ingestion job, chuẩn bị nguồn và đích dữ liệu theo thứ tự sau:

1. Thiết lập dữ liệu (Data setup): Kích hoạt Metastore và Metalake cho Project.
2. Tạo Relational Catalog: Tạo Catalog chứa các bảng dữ liệu nguồn. Nếu nguồn nằm bên ngoài hệ thống, khai báo Location hoặc Connection tương ứng.
3. Tạo Fileset Catalog: Tạo Catalog dùng làm nơi lưu trữ dữ liệu đích sau khi ingestion.

Trong quy trình ingestion, Relational là source và Fileset là destination. Sau khi chuẩn bị xong hai Catalog, tiếp tục cấu hình Compute tại mục 4.2.

Cấu hình Compute

Tạo hoặc chọn một Compute dành cho workload Ingestion Job. Compute này cung cấp tài nguyên để thực thi Gateway/Pipeline và phải phù hợp với Compute Policy của Project.

Kiểm tra Compute đang ở trạng thái có thể sử dụng và user có quyền truy cập trước khi chọn Compute trong ingestion job.

Chi tiết thực hiện tại Configure compute.

Tạo ingestion job

Tạo một job mới và khai báo tên, loại ingestion cùng các thông tin cấu hình ban đầu.

Chi tiết thực hiện tại Create ingestion job.

Cấu hình nguồn và đích

Chọn bảng hoặc dataset nguồn, xác định cách đọc dữ liệu, sau đó ánh xạ sang destination và chọn cách ghi dữ liệu. Với incremental ingestion, cần xác định cột cursor để nhận biết dữ liệu mới.

Chi tiết thực hiện tại Configure source and destination.

Chạy ingestion job

Chọn Compute, cấu hình trigger và lịch chạy nếu cần, sau đó tạo job. Job có thể chạy tự động theo lịch hoặc được kích hoạt thủ công.

Chi tiết thực hiện tại Run ingestion job.

Manage ingestion job

Tại Manage ingestion job, xem, chỉnh sửa, tạm dừng, kích hoạt lại, xóa hoặc chạy thủ công bằng Run Now.

Monitor ingestion job

Tại Monitor ingestion job, theo dõi Run ID, Status, Duration, log và thông tin chi tiết. Khi thất bại, kiểm tra log mức ERROR trước khi chạy lại.