Tổng quan

Transformation là thành phần xử lý dữ liệu nằm giữa Source và Destination trong Data Pipeline. Thành phần này định nghĩa cách dữ liệu đầu vào được phân tích, chuyển đổi và chuẩn hóa trước khi chuyển đến Destination.

Một Transformation bao gồm một hoặc nhiều Processor. Mỗi Processor thực hiện một nhiệm vụ xử lý cụ thể, chẳng hạn:

• Trích xuất các trường từ dữ liệu log thô.
• Chuyển đổi kiểu dữ liệu hoặc định dạng giá trị.
• Áp dụng điều kiện và logic xử lý.
• Chuẩn hóa dữ liệu theo schema của hệ thống.
• Bổ sung thông tin ngữ cảnh từ nguồn Enrichment.
• ...

Các Processor được sắp xếp và thực thi tuần tự trong Transformation. Dữ liệu đầu ra của Processor trước trở thành dữ liệu đầu vào của Processor tiếp theo:

Input → Processor 1 → Processor 2 → ... → Processor n → Output

Vì vậy, thứ tự của các Processor ảnh hưởng trực tiếp đến kết quả cuối cùng. Mỗi Processor cần tạo ra dữ liệu phù hợp để bước tiếp theo có thể tiếp tục xử lý.

Vai trò của Transformation

Transformation giúp:

• Chuyển log thô từ nhiều nguồn khác nhau về cấu trúc dữ liệu thống nhất.
• Bảo đảm dữ liệu đáp ứng yêu cầu của Destination.
• Tăng khả năng tìm kiếm, phân tích và xây dựng luật phát hiện trên dữ liệu đã chuẩn hóa.
• Tái sử dụng cùng một quy trình xử lý trong các Routing phù hợp.

Nếu dữ liệu không cần xử lý, người dùng có thể chọn Passthrough khi cấu hình Routing để chuyển nguyên trạng dữ liệu từ Source đến Destination.