Overview
Overview
Compute là tài nguyên tính toán được DataVero cung cấp để thực thi các workload xử lý dữ liệu, ingestion và SQL.
Compute cung cấp tài nguyên CPU, GPU, Memory và các thành phần runtime cần thiết để workload có thể được thực thi.
Trong DataVero, Compute được chia thành 3 loại:
- Cluster Job: dành cho các workload job.
- Ingestion Job: dành cho các workload ingestion dữ liệu.
- SQL Warehouse: dành cho việc thực thi SQL.
Các loại Compute
| Loại Compute | Mục đích | Workload sử dụng |
|---|---|---|
| Cluster Job | Cung cấp compute cho các workload xử lý dữ liệu | Job |
| Ingestion Job | Cung cấp compute cho các pipeline ingestion | Ingestion Job |
| SQL Warehouse | Cung cấp compute tối ưu cho SQL workload | SQL Editor |
Truy cập Compute
Từ Navigation:
Compute → All Compute
Màn hình Compute hiển thị danh sách các Compute mà người dùng có quyền truy cập.
Quyền truy cập Compute được kiểm soát theo cơ chế authorization của DataVero.
Người dùng chỉ có thể:
- Xem Compute được phép truy cập.
- Tạo Compute nếu có quyền Create.
- Activate/Deactivate Compute nếu có quyền tương ứng.
- Xóa Compute nếu có quyền Delete.
Compute List
Màn hình Compute List hiển thị toàn bộ Compute thuộc phạm vi mà người dùng được phép xem.
Thông tin hiển thị
| Trường | Mô tả |
|---|---|
| Name | Tên Compute |
| Workload Type | Loại workload |
| Created By | Người dùng tạo Compute |
| Created At | Thời gian tạo |
| State | Trạng thái quá trình tạo Compute (Pending, Provisioning, Checking, Running, Error, Failed, Terminating) |
| Health Status | Tình trạng sức khỏe sau khi Compute được provision (Healthy, Unhealthy, Unknown) |
| Active | Trạng thái hiện tại (Active/Inactive) |
| Actions | Các thao tác được phép |
Trạng thái Compute
Compute được quản lý thông qua các trạng thái phản ánh quá trình tạo, tình trạng sức khỏe và khả năng hoạt động hiện tại.
State
Status phản ánh trạng thái hiện tại của Compute trong toàn bộ vòng đời, từ khi bắt đầu khởi tạo, kiểm tra khả năng hoạt động cho đến khi giải phóng tài nguyên.
| Status | Mô tả |
|---|---|
| Pending | Compute đã được yêu cầu khởi tạo và đang chờ hệ thống bắt đầu xử lý. |
| Provisioning | Hệ thống đang cấp phát tài nguyên và khởi tạo Compute. |
| Checking | Compute đã được khởi tạo thành công và hệ thống đang kiểm tra khả năng hoạt động (health check). |
| Running | Compute đang hoạt động bình thường và sẵn sàng xử lý workload. |
| Error | Compute đã được khởi tạo thành công nhưng không sẵn sàng phục vụ. |
| Failed | Quá trình khởi tạo Compute không thành công. |
| Terminating | Hệ thống đang giải phóng tài nguyên và xóa Compute. |
Active
Active phản ánh khả năng hoạt động hiện tại của Compute.
| Status | Mô tả |
|---|---|
| Active | Compute đang ở trạng thái hoạt động và có thể được sử dụng cho workload. |
| Inactive | Compute hiện không hoạt động hoặc không sẵn sàng để workload sử dụng. |
Tạo Compute
Bước 1: Create Compute
Người dùng chọn:
Compute → All Compute → Create Compute
DataVero hiển thị màn hình lựa chọn Compute Type.
Người dùng chọn một trong các loại Compute sau:
- Cluster Job.
- Ingestion Job.
- SQL Warehouse.
Sau khi chọn Workload Type, hệ thống hiển thị các trường cấu hình tương ứng.
Bước 2: Chọn Compute Policy
Người dùng chọn Policy (xem chi tiết) áp dụng cho Compute theo từng loại workload.
Policy xác định:
- Attribute nào được phép cấu hình.
- Giá trị nào được phép sử dụng.
- Giới hạn tài nguyên.
- Giới hạn Runtime.
- Các giới hạn khác.
Ví dụ:
Compute Policy
↓
Allowed Runtime
Allowed Node Type
Maximum Worker
GPU
Maximum Runtime
↓
Compute Configuration
Bước 3: Cấu hình Compute
Người dùng cấu hình các Attribute được Policy cho phép.
Các Attribute khác nhau tùy Workload Type.
Bước 4: Validate
Trước khi tạo, DataVero kiểm tra:
- Người dùng có quyền tạo Compute không.
- Workload Type có được phép không.
- Policy có hợp lệ không.
- Các Attribute có tuân thủ Policy không.
- Resource có vượt quá quota không.
- Runtime có tương thích với Compute Type không.
- Driver/Worker có tương thích không.
- GPU configuration có hợp lệ không.
Nếu validation thành công, người dùng có thể chọn Create.
Nếu validation thất bại, hệ thống hiển thị lỗi tại Attribute tương ứng.
Ràng buộc giữa Compute Policy, Compute và Workload
Khi tạo Compute mới
Compute chỉ được chọn Policy đang Active và cùng Workload Type. Với attribute có Rule Type Fixed/Forbidden, bạn không thể nhập khác giá trị Policy quy định; với Range, bạn nhập được trong khoảng Min–Max của Policy; với Allowlist/Blocklist, bạn chỉ chọn được giá trị nằm trong (hoặc ngoài) danh sách Policy quy định.
Khi Delete Policy
Chỉ có thể xóa Policy khi Assigned Compute list rỗng, tức không còn Compute nào đang gán Policy đó.
Khi Deactivate/Delete Compute
Tương tự, Deactivate Compute không ảnh hưởng tới Job/Ingestion Job/Query đã gán Compute đó từ trước (workload cũ) — chúng vẫn chạy bình thường, Compute chỉ bị ẩn khỏi lựa chọn cho workload mới. Có thể Delete Compute ngay cả khi còn Job/Ingestion Job/Query đang gán; các workload liên quan sẽ tự chuyển sang trạng thái lỗi.
Mối quan hệ giữa Compute và Quota
Compute phải tuân thủ quota tài nguyên được cấp cho phạm vi tương ứng theo policy và quota của dự án.
Các tài nguyên có thể được kiểm soát:
- CPU.
- Memory.
- GPU.
- Number of Workers.
- Storage.
- Runtime.
Policy kiểm soát cấu hình được phép; quota kiểm soát tổng tài nguyên mà phạm vi được phép sử dụng.
Quản lý Compute
Từ Compute Detail, người dùng có thể thực hiện các thao tác tùy theo quyền được cấp:
View
Xem các thông tin:
- Basic information.
- Compute Type.
- Policy.
- Runtime.
- Resource configuration.
- Status.
- Workload đang sử dụng Compute.
Activate
Bật trạng thái hoạt động của Compute để các workload mới có thể sử dụng. Sau khi kích hoạt, trạng thái là Active.
Deactivate
Tắt trạng thái hoạt động của Compute để workload mới không thể sử dụng Compute này. Các workload hiện có vẫn tiếp tục sử dụng tài nguyên đã được cấp. Sau khi tắt, trạng thái là Inactive.
Delete
Xóa Compute khỏi DataVero.
Có thể xóa Compute kể cả khi đang được workload sử dụng. Sau khi xóa, các Job/Ingestion Job/Query đang gán Compute đó sẽ tự chuyển sang trạng thái lỗi.
Xử lý sự cố thường gặp
| Vấn đề | Cách kiểm tra và xử lý |
|---|---|
| Không tạo được Compute | Kiểm tra quyền Create, Workload Type và Policy được chọn. Đối chiếu các Attribute với giới hạn của Policy, quota còn lại, Runtime tương thích với Compute Type, cấu hình Driver/Worker và GPU. Sửa các trường bị báo lỗi rồi thử tạo lại. |
| Compute ở trạng thái Pending hoặc Provisioning | Đây là các trạng thái trong quá trình khởi tạo. Theo dõi trạng thái trên Compute List; nếu trạng thái không thay đổi trong thời gian dài, ghi nhận tên Compute và thời điểm tạo để gửi quản trị viên hoặc bộ phận hỗ trợ kiểm tra. |
| Compute ở trạng thái Error hoặc Failed | Mở Compute Detail và ghi lại thông báo lỗi nếu có. Kiểm tra Policy, cấu hình tài nguyên, Runtime và quota. Nếu lỗi vẫn tiếp diễn, gửi thông tin lỗi cho quản trị viên hoặc bộ phận hỗ trợ. |
| Workload không sử dụng được Compute | Kiểm tra Compute có ở trạng thái Running và Active hay không. Nếu Compute đang Inactive, bật lại trạng thái Active nếu có quyền; đồng thời xác nhận workload sử dụng đúng loại Compute và người dùng có quyền truy cập. |
| Không thể bật/tắt Compute | Kiểm tra quyền thao tác tương ứng hoặc nhờ quản trị viên kiểm tra quyền truy cập. |
| Workload lỗi sau khi xóa Compute | Các Job/Ingestion Job/Query đang gán Compute đã bị xóa sẽ tự chuyển sang trạng thái lỗi. Kiểm tra trạng thái workload và chọn Compute hợp lệ theo quy trình xử lý của hệ thống. |
| Gặp lỗi quota | Kiểm tra mức sử dụng CPU, Memory, GPU, số Worker, Storage và Runtime trong phạm vi dự án. Giảm cấu hình nếu phù hợp hoặc liên hệ quản trị viên để kiểm tra quota được cấp. |
Khi cần hỗ trợ, cung cấp tên Compute, Workload Type, trạng thái hiện tại, thời điểm xảy ra lỗi, thao tác vừa thực hiện và nguyên văn thông báo lỗi (nếu có). Không gửi thông tin xác thực hoặc bí mật trong nội dung yêu cầu hỗ trợ.