DATA MANAGEMENT
Giới thiệu
Data Management là nhóm chức năng hỗ trợ tổ chức, nạp, xử lý và khai thác dữ liệu trong Project trên DataVero. Người dùng chuẩn bị dữ liệu trong Catalog, thiết lập các job nạp hoặc xử lý dữ liệu, sau đó sử dụng SQL Editor để truy vấn và kiểm tra kết quả.
Tài liệu này hướng dẫn quy trình sử dụng tổng quát của Data Management. Các thao tác cấu hình chi tiết được trình bày trong tài liệu của từng chức năng.
Chức năng chính
| Chức năng | Mục đích | Khi nào sử dụng |
|---|---|---|
| Data setup và Catalog | Thiết lập Metastore, Metalake và tổ chức dữ liệu theo Catalog, Schema, Table hoặc Fileset | Khi chuẩn bị nguồn dữ liệu, nơi lưu trữ đích hoặc tài nguyên cho task |
| Ingestion | Nạp dữ liệu từ bảng nguồn sang dataset hoặc bảng đích; cấu hình cách đọc, cách ghi và lịch chạy | Khi cần nạp dữ liệu ban đầu hoặc đồng bộ dữ liệu định kỳ |
| Jobs | Định nghĩa và thực thi quy trình gồm một hoặc nhiều task có quan hệ phụ thuộc | Khi cần chạy script, Spark workload hoặc tự động hóa xử lý dữ liệu |
| SQL Editor | Viết, chạy và lưu câu lệnh SQL; xem kết quả truy vấn | Khi cần khám phá, kiểm tra hoặc khai thác dữ liệu trong Catalog |
Relational Catalog tổ chức dữ liệu dạng bảng. Fileset Catalog tổ chức các tệp, có thể chứa dữ liệu, mã nguồn hoặc tệp SQL. Trong luồng Ingestion được hướng dẫn hiện tại, Relational là nguồn và Fileset là đích.
Compute là tài nguyên thực thi, được chuẩn bị tại Configuration > Computes, tương ứng tài liệu Manage. Data Management sử dụng Compute theo loại workload, không dùng thay thế lẫn nhau. Dashboard là màn hình theo dõi riêng, không nằm trong Data.
Đối tượng và điều kiện sử dụng
Data Management phù hợp với Data Engineer, Data Analyst, Data Scientist và người vận hành pipeline dữ liệu.
Trước khi bắt đầu, cần bảo đảm:
- Đã đăng nhập vào DataVero và chọn đúng Project.
- Dịch vụ cần sử dụng đã được kích hoạt theo gói đăng ký.
- Có quyền truy cập Catalog, dữ liệu nguồn, dữ liệu đích và chức năng cần thao tác.
- Đã thiết lập Metastore, Metalake và các Catalog cần thiết.
- Có Compute phù hợp, quyền sử dụng Compute và cấu hình đáp ứng Compute Policy, quota.
- Với Ingestion hoặc Jobs, orchestration tương ứng đã được khởi tạo và các component đã provision thành công, hoặc hệ thống cho phép tiếp tục.
Tham khảo hướng dẫn thiết lập ban đầu và tổng quan Manage .
Quy trình sử dụng tổng quát
Không bắt buộc sử dụng tất cả chức năng trong một quy trình. Nếu dữ liệu đã sẵn sàng trong Catalog, người dùng có thể bắt đầu trực tiếp với SQL Editor sau khi chuẩn bị SQL Warehouse.
Chuẩn bị dữ liệu
- Chọn Project chứa dữ liệu cần làm việc, mở Data > Catalogs.
- Thực hiện Data setup để kích hoạt Metastore và Metalake.
- Tạo hoặc xác định Relational Catalog chứa các bảng nguồn. Khai báo Location hoặc Connection tương ứng nếu nguồn nằm ngoài hệ thống.
- Chuẩn bị Fileset Catalog cho dữ liệu đích, mã nguồn hoặc tệp SQL theo nhu cầu.
- Kiểm tra quyền truy cập nguồn và đích trước khi cấu hình workload.
Chuẩn bị Compute
| Nhu cầu | Loại Workload cần sử dụng |
|---|---|
| Chạy job xử lý dữ liệu | Cluster Job |
| Chạy job nạp dữ liệu | Ingestion Job |
| Chạy câu lệnh SQL | SQL Warehouse |
Chọn Compute đúng loại và được phép truy cập. Với SQL Editor, kiểm tra Compute Active, Healthy và đáp ứng Compute Policy trước khi chạy truy vấn.
Chi tiết: Compute.
Nạp dữ liệu bằng Ingestion
- Mở Data > Ingestions, khởi tạo Ingestion Orchestration cho Project nếu chưa có.
- Tạo ingestion job, chọn nguồn và đích dữ liệu.
- Chọn cách đọc: Full Refresh để đọc lại toàn bộ, hoặc Incremental Append để lấy bản ghi mới theo cursor column.
- Chọn cách ghi phù hợp, chẳng hạn Overwrite hoặc Append, và ánh xạ bảng nguồn sang tên đích.
- Chọn Compute Ingestion Job, cấu hình trigger và lịch chạy nếu cần.
- Chạy job theo lịch hoặc thủ công; kiểm tra trạng thái Run, log và dữ liệu tại đích.
Chi tiết: Ingestion, Create ingestion job.
Xử lý dữ liệu bằng Jobs
- Mở Data > Jobs, khởi tạo Job Orchestration cho Project nếu chưa có.
- Chuẩn bị Fileset chứa mã nguồn và tài nguyên mà task sử dụng.
- Tạo job, thêm task và thiết lập quan hệ phụ thuộc bằng Depends on.
- Khai báo loại task, nguồn mã nguồn, đường dẫn, Compute và tham số cần thiết.
- Cấu hình lịch chạy và quyền truy cập; tạo job và chạy thử.
- Theo dõi từng Run và task để xác nhận kết quả hoặc xác định lỗi.
Chi tiết: Jobs, Create and configure job, Configure task.
Khai thác dữ liệu bằng SQL Editor
- Mở Data > SQL Editor, hoặc mở Table trong Relational Catalog hay tệp
.sqltrong Fileset Catalog để làm việc với SQL Editor. - Chọn Compute có Workload Type SQL Warehouse.
- Viết và chạy câu lệnh SQL.
- Xem kết quả tại Output, kiểm tra dữ liệu và lỗi thực thi nếu có.
- Lưu tệp SQL nếu cần sử dụng lại.
Chi tiết: SQL Editor, SQL Editor - User Guide.
Vận hành và lưu ý
- Kiểm tra đúng Project, quyền truy cập và Compute trước khi chạy workload.
- Cân nhắc tác động của Overwrite đối với dữ liệu đích; kiểm tra cấu hình trước khi chạy.
- Với incremental ingestion, xác định đúng cursor column để nhận biết bản ghi mới.
- Khi job thất bại, kiểm tra Run và log mức ERROR, xử lý nguyên nhân rồi mới chạy lại.
- Trước khi chạy lại job ghi nối tiếp, kiểm tra dữ liệu đã được ghi để hạn chế trùng lặp.
- Theo dõi CPU, Memory và Storage trên Dashboard, đặc biệt trước các workload lớn.
Chi tiết vận hành: Manage job, Monitor job, Resource Usage Dashboard.
Kết quả mong đợi
Sau khi hoàn thành quy trình phù hợp với nhu cầu, dữ liệu được tổ chức trong Catalog, các job có kết quả thực thi có thể kiểm tra, và người dùng có thể truy vấn dữ liệu bằng SQL Editor. Dữ liệu này có thể tiếp tục phục vụ phân tích hoặc phát triển mô hình trong AI & Analytic, tùy quyền truy cập và cách kết nối được cấu hình.
Sau khi hoàn thành quy trình phù hợp, dữ liệu được tổ chức trong Catalog và có thể truy vấn bằng SQL Editor, các job có kết quả thực thi có thể kiểm tra. Dữ liệu có thể phục vụ phát triển mô hình trên AI Infrastructure, sau đó quản lý và triển khai tại AI & Analytic, tùy quyền truy cập và cấu hình kết nối.