Create and Manage Transformations
Người dùng có thể cấu hình Processors bằng giao diện trực quan hoặc YAML, sau đó kiểm thử với log mẫu để kiểm tra cú pháp và kết quả đầu ra trước khi lưu.
Tạo Transformation
Bước 1: Truy cập danh sách Transformation
- Từ menu chính, chọn Data Pipelines → Transformations.
- Hệ thống hiển thị danh sách các Transformation đã được tạo.
- Nhấn Create Transformation để mở biểu mẫu tạo mới.
Bước 2: Nhập thông tin cơ bản
Trong phần Basic Information, điền các thông tin sau:
| Trường | Bắt buộc | Mô tả |
|---|---|---|
| Name | Có | Tên dùng để định danh Transformation. Tên không được trùng với Transformation đã tồn tại trên hệ thống. |
| Description | Không | Mô tả mục đích hoặc dữ liệu được xử lý bởi Transformation. |
Bước 3: Cấu hình Transformation
Hệ thống hỗ trợ hai chế độ cấu hình:
- Visual Editor: Cấu hình Transformation bằng giao diện trực quan. Hệ thống mặc định hiển thị 4 blocks tương ứng với các bước xử lý:
#regex,#conditional,#normalizevà#enrichment. Người dùng có thể thêm, xóa, chỉnh sửa và sắp xếp các block theo nhu cầu xử lý dữ liệu. - YAML: Nhập trực tiếp nội dung cấu hình. Xem Cấu trúc cấu hình Transformation để biết cú pháp và cách sử dụng từng block.
Các block được thực thi theo thứ tự cấu hình. Kết quả đầu ra của block trước sẽ được sử dụng làm dữ liệu đầu vào cho block tiếp theo.
Bước 4: Kiểm thử Transformation
- Dán log thô vào ô Input your sample logs. Bạn có thể lấy log mẫu từ tab Event trong tính năng Search.
- Để sử dụng lại dữ liệu đã kiểm thử, nhấn biểu tượng View input history. Hệ thống hiển thị tối đa 20 log mẫu gần nhất.
- Nhấn biểu tượng Run Test để áp dụng Processors cho log mẫu.
Hệ thống kiểm tra cú pháp và thực thi cấu hình:
- Nếu cấu hình hợp lệ, kết quả được hiển thị trong phần Transformation Output.
- Nếu cấu hình không hợp lệ, hệ thống hiển thị vị trí và nội dung lỗi để người dùng điều chỉnh.
Kết quả kiểm thử gồm các tab sau:
| Tab | Mô tả |
|---|---|
| Processed | Hiển thị các trường đã được xử lý và ánh xạ thành công, kèm theo giá trị đầu ra tương ứng. |
| Failed | Hiển thị các trường xử lý không thành công và nguyên nhân lỗi, chẳng hạn không tìm thấy giá trị đầu vào. |
Kiểm tra kết quả tại cả hai tab và điều chỉnh Processors cho đến khi dữ liệu đầu ra đáp ứng yêu cầu.
Bước 5: Lưu Transformation
- Nhấn Save để lưu cấu hình.
- Hệ thống tạo Transformation và hiển thị bản ghi mới trong Transformation List.
Sau khi tạo thành công, Transformation có thể được sử dụng khi cấu hình Routing trong Data Pipeline.
Quản lý Transformation
Chỉnh sửa Transformation
- Tại Transformation List, chọn Transformation cần chỉnh sửa.
- Cập nhật thông tin hoặc cấu hình Processors.
- Kiểm thử lại với log mẫu, sau đó nhấn Save.
Xóa Transformation
Chỉ có thể xóa Transformation có trạng thái Not in use.
- Tại Transformation cần xóa, nhấn Delete trong cột Action.
- Hệ thống hiển thị hộp thoại xác nhận.
- Nhấn Delete để xác nhận. Transformation sẽ bị xóa khỏi hệ thống.
Trạng thái Transformation
| Trạng thái | Mô tả |
|---|---|
| In use | Transformation đang được sử dụng trong ít nhất một Routing và không thể bị xóa. |
| Not in use | Transformation chưa được sử dụng trong Routing nào và có thể bị xóa. |