Create ingestion job
Bước 1: Cấu hình nguồn (Source Configuration)
- Vào Ingestions.
- Nhấn Create.
- Nhập Ingestion Name. Tên phải là duy nhất trong Project.
- Chọn Ingestion Type phù hợp, ví dụ Batching.
Wizard tạo job gồm ba bước:
- Source Configuration
- Destination
- Execution & Monitoring
Có thể chuyển giữa Interactive UI và YAML Editor tùy theo nhu cầu sử dụng để thực hiện tạo Job.
- Tại cây Source Catalogs, dùng Search items để tìm bảng.
- Chọn ít nhất một bảng nguồn.
- Với từng bảng đã chọn, nhập hoặc kiểm tra Destination Name.
- Chọn Read Mode:
- Full Refresh: đọc lại toàn bộ dữ liệu.
- Incremental Append: chỉ đọc các bản ghi mới.
- Nếu chọn Incremental Append, chọn Cursor Column.
- Nhập Batch Size.
- Nhấn Next.
Hệ thống hiển thị cảnh báo nếu chưa chọn bảng nguồn hoặc thiếu trường bắt buộc.
Bước 2: Cấu hình đích (Destination Configuration)
- Sang bước Destination.
- Dùng Search items để tìm destination catalog.
- Mở catalog và schema cần dùng.
- Chọn dataset hoặc database đích bằng nút chọn.
- Chọn Write mode:
- Overwrite: ghi đè dữ liệu đích.
- Append: ghi nối thêm dữ liệu.
- Bật Auto create table nếu muốn hệ thống tự tạo bảng đích khi bảng chưa tồn tại.
- Kiểm tra lại từng mapping nguồn - đích trong vùng Summary.
- Nhấn Next.
Đảm bảo destination đang hoạt động, người dùng có quyền ghi và tên đích không bị trùng ngoài ý muốn. Với nhiều bảng nguồn, kiểm tra riêng từng mapping trong Summary để tránh ghi dữ liệu vào sai bảng.
Bước 3: Cấu hình tham số thực thi và giám sát Ingestion Job (Execution & Monitoring)
Tại bước Execution & Monitoring:
- Chọn Compute. Chỉ các Compute Ingestion Job đang Active và đủ điều kiện mới được hiển thị.
- Trong Schedules, nhấn Add trigger.
- Chọn Trigger type:
- Scheduled: chạy theo lịch cron.
- Loại trigger khác nếu được hệ thống cung cấp.
- Với trigger Scheduled, nhập biểu thức cron 5 trường, ví dụ
0 12 * * *. - Chọn Timezone.
- Nhấn Save để lưu trigger.
- Có thể thêm nhiều trigger nếu cần.
- Kiểm tra toàn bộ thông tin trong vùng Summary.
- Nhấn Create để tạo ingestion job.
Chạy thủ công
Sau khi job được tạo, mở trang chi tiết ingestion và nhấn Run Now để bắt đầu một lần chạy thủ công.
Job có thể được chạy tự động theo trigger Scheduled hoặc chạy thủ công bằng Run Now.
Nhấn Refresh để cập nhật dữ liệu. Chọn một Run ID để xem thời lượng, thời gian bắt đầu, loại chạy và trạng thái từng task.
Trạng thái chạy
Trong danh sách hoặc trang chi tiết, mỗi lần chạy sẽ hiển thị:
| Status | Ý nghĩa | Mô tả |
|---|---|---|
| Queued | Đang chờ chạy | Job đã được tạo và đang chờ tài nguyên hoặc chờ đến lượt thực thi. |
| Running | Đang chạy | Job đang được hệ thống thực thi. |
| Paused | Tạm dừng | Job hoặc lịch chạy đã được tạm dừng. Hệ thống sẽ không khởi tạo các lần chạy mới cho đến khi được tiếp tục. |
| Success | Thành công | Job đã hoàn thành thành công và tất cả các tác vụ được thực thi đúng như mong đợi. |
| Failed | Thất bại | Job kết thúc do xảy ra lỗi trong quá trình thực thi. |