Overview

Compute Policy với Workload Type = Ingestion Job dùng để giới hạn cấu hình cho Compute chạy Ingestion Gateway/Pipeline — xem Compute - Ingestion Job.

Tạo Policy

Nhấn "+ Create", đặt tên và chọn Workload Type = "Ingestion Job" rồi chọn Policy Family tương ứng loại Ingestion (ví dụ Batching). Bảng Policy Rules tự động điền theo template bên dưới; bạn chỉ được sửa cột Rule Type và Value của từng dòng. Nhấn "Create" để hoàn tất.

Bảng Rule mặc định — Ingestion Job

Policy Configuration Rules

Compute Policy được tạo dựa trên Template. Template định nghĩa cấu trúc và các giới hạn cơ bản của Policy; Policy cho phép tùy chỉnh cấu hình trong phạm vi mà Template hỗ trợ.

Template = định nghĩa Attribute bắt buộc + Rule Type được hỗ trợ + Default Value
Policy = cấu hình Rule Type + Value của các Attribute trong Template + Attribute bổ sung (nếu có)

Khi cấu hình Compute Policy, áp dụng các nguyên tắc sau:

• Không được xóa Attribute: Các Attribute được định nghĩa trong Template phải luôn tồn tại trong Policy.
• Không được thay đổi Attribute: Không cho phép thay đổi Attribute được định nghĩa trong Template.
• Chỉ được thay đổi Rule Type và Value: Người dùng chỉ được phép thay đổi Rule Type và Value của Attribute theo các Rule Type được Template hỗ trợ.
• Được phép thêm Attribute: Có thể thêm Attribute mới nếu Attribute đó được hệ thống hỗ trợ và đáp ứng các điều kiện cấu hình.
• Không được thêm Attribute trùng: Attribute mới không được trùng với Attribute đã tồn tại trong Policy.
• Rule Type phải hợp lệ: Rule Type được chọn phải nằm trong danh sách Rule Type được hỗ trợ của Attribute.
• Value phải phù hợp với Rule Type:
  • Fixed: Giá trị được cố định theo cấu hình Policy.
  • Allowlist: Chỉ các giá trị nằm trong danh sách cho phép mới được sử dụng. Cho phép cấu hình thêm giá trị mặc định chọn sẵn trong danh sách (nếu cần)
  • Blocklist: Các giá trị nằm trong danh sách chặn không được sử dụng.
  • Range: Giá trị phải nằm trong khoảng Min/Max được cấu hình.
  • Forbidden: Không cho phép sử dụng Attribute hoặc tài nguyên tương ứng.
• Validation khi lưu: Hệ thống phải kiểm tra Rule Type và Value trước khi lưu Policy. Không cho phép lưu Policy có cấu hình không hợp lệ.
• Attribute bắt buộc: Các Attribute bắt buộc từ Template không được phép xóa hoặc bỏ cấu hình.
• Default Value: Default Value được sử dụng khi khởi tạo Policy từ Template và có thể được thay đổi nếu Rule Type của Attribute cho phép.
• Policy có hiệu lực với Compute: Khi tạo hoặc cấu hình SQL Warehouse, các giá trị được nhập phải nằm trong giới hạn được định nghĩa bởi Compute Policy.
• Audit: Các thay đổi đối với Rule Type, Value hoặc việc thêm Attribute nên được ghi nhận để phục vụ theo dõi và kiểm tra lịch sử cấu hình.

Lưu ý riêng cho Ingestion Job

Ingestion Job không có nhóm Driver/Executor Number/Executor Storage Range như Cluster Job — chỉ giới hạn Executor CPU/Executor Memory Range cho executor tính theo/task, vì Gateway/Pipeline chạy dạng task độc lập chứ không phải cluster nhiều worker. Các rule mặc định đều là Range; riêng Runtime Version dùng Fixed lấy từ Runtime Catalog lấy cái mới nhất có type = ingesion.

Ràng buộc giữa quota tổng và cấu hình tài nguyên

Khi nhập giá trị resource là CPU, Storage, Memory thì hệ thống kiểm tra giá trị nhập hợp lệ theo công thức:

• CPU quota, Executor CPU: hệ thống cần tính lại tổng CPU theo công thức Executor CPU phải nhỏ hơn hoặc bằng CPU quota để kiểm tra tính hợp lệ.
• Memory quota, Executor Memory: với công thức Executor Memory phải nhỏ hơn hoặc bằng Memory quota để kiểm tra tính hợp lệ.

Việc kiểm tra phải thực hiện theo cả hai chiều: khi quota tổng thay đổi, đối chiếu với cấu hình thành phần hiện tại; khi cấu hình thành phần thay đổi, tính lại tổng, đối chiếu với quota hiện tại và hiển thị cảnh báo cho người dùng để nhập lại giá trị hợp lệ.

Xem chi tiết & quản lý

Xem cấu trúc View Detail / Edit / Clone / Deactivate / Delete và ràng buộc Policy–Compute–Workload dùng chung tại Compute Policy.