Compute - Cluster Job
Overview
Compute với Workload Type = Cluster Job dùng để chạy workload dạng Job trên Spark cluster. Runtime Version và các giá trị mặc định được xác định theo Compute Policy được chọn.
Trước khi tạo, hãy chắc chắn đã có ít nhất một Compute Policy đang Active với Workload Type là Cluster Job. Nếu chưa có, tạo tại Compute Policy - Cluster Job.
Tạo Compute
Vào Configuration > Computes > All Compute, nhấn "+ Create", đặt tên, chọn Workload Type = "Cluster Job" và Compute Policy phù hợp. Các trường trong Advanced Options được điền theo Policy đã chọn. Với thuộc tính dùng Rule Type Range, giá trị khởi tạo là mức tối thiểu của khoảng; với Fixed, giá trị khởi tạo là giá trị cố định trong Policy.
Advanced Options
| Required | Advanced Option | Category | Giá trị khởi tạo / nguồn |
|---|---|---|---|
| Yes | CPU quota | Compute resource (total quota) | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Memory quota | Compute resource (total quota) | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Storage quota | Compute resource (total quota) | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Driver CPU | Runtime resource | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Driver Memory | Runtime resource | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Executor CPU | Runtime resource | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Executor Memory | Runtime resource | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Executor Number | Runtime resource | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Executor Storage | Runtime resource | Mức tối thiểu trong Policy nếu là Range; giá trị Policy nếu là Fixed |
| Yes | Runtime Version | Runtime configuration | Phiên bản mới nhất được phép theo Policy |
| No | Library | Runtime configuration | Để trống |
| No | Argument | Runtime configuration | Để trống |
| No | Environment Variables | Runtime configuration | Để trống |
| Default | Metastore ID, Type, Instance, URL, Iceberg URL | Runtime metadata | Lấy từ Metastore instance của Project hiện tại |
Các giá trị tài nguyên phải tuân thủ Rule Type và giới hạn của Policy; metadata Metastore được lấy tự động từ Project.
Nhấn "Create" để hoàn tất, hoặc "Cancel" để hủy.
Quản lý
Xem thao tác Deactivate/Activate/Delete và ràng buộc dùng chung tại Compute overview.