Tổng quan về quá trình thu nhận dữ liệu (Data Ingestion)

Quá trình thu nhận dữ liệu trong CMC SecOps bao gồm các bước chính như sau:

1. Thu thập dữ liệu (Data Collection)

CMC SecOps hỗ trợ hai phương thức thu thập log:

a. Push data (HTTP/HTTPS hoặc Sensor):

• HTTP/HTTPS: (Đọc chi tiết)
  Hệ thống của khách hàng chủ động gửi log trực tiếp đến endpoint của SecOps thông qua giao thức HTTP/HTTPS.
• Sensor: (Đọc chi tiết)
  Log được gửi từ hệ thống nội bộ của khách hàng đến một thành phần trung gian (Sensor/Agent).
  Sensor sẽ thực hiện thu thập và chuyển tiếp log về nền tảng SecOps.

b. Pull data:

CMC SecOps có thể tự động truy xuất log từ endpoint khách hàng theo cơ chế polling theo lịch, hoặc trigger theo sự kiện để lấy dữ liệu và đưa vào hệ thống.

Hiện tại, hệ thống đang hỗ trợ Pull data từ:

• Kafka (Đọc chi tiết)
• SentinelOne (Đọc chi tiết)

2. Chuẩn hóa dữ liệu (Parsing & Normalization)

Dữ liệu log thô (Raw Log) sẽ được xử lý thông qua bộ Parser để:

• Trích xuất các trường thông tin
• Mapping các trường dữ liệu về chuẩn Common Schema của hệ thống
• Chuẩn hóa thành dạng Event thống nhất

Sau bước này:

• Log gốc vẫn được giữ nguyên
• Đồng thời hệ thống tạo ra các Normalized Events

Việc chuẩn hóa giúp hệ thống có thể:

• Xử lý đồng nhất
• Phân tích tập trung
• So sánh giữa nhiều nguồn log khác nhau

3. Lưu trữ và lập chỉ mục (Storage & Indexing)

Dữ liệu trong hệ thống được lưu trữ theo hai lớp:

• Raw Data Storage: Lưu trữ log gốc ở dạng nguyên bản.
• Event / Indexed Storage: Lưu trữ dữ liệu đã chuẩn hóa và tối ưu cho việc tìm kiếm.

Lợi ích của việc tách biệt hai lớp lưu trữ:

• Đảm bảo tính toàn vẹn dữ liệu gốc
• Tối ưu hiệu năng tìm kiếm và phân tích
• Tăng khả năng mở rộng hệ thống

4. Khai thác và phân tích (Search & Analytics)

Sau khi được lập chỉ mục, dữ liệu sẵn sàng phục vụ các chức năng:

• Tìm kiếm (Search)
• Xây dựng Dashboard
• Tạo Rule phát hiện
• Phân tích và điều tra sự kiện