Pull data

Kéo dữ liệu từ Kafka vào SecOps

Yêu cầu kỹ thuật

Thành phần	Mô tả
Network requirement	- Thông địa chỉ kết nối tới Kafka bootstrap servers (IP:Port) - Protocol: TCP
Authentication	- Username / Password được cung cấp bởi Kafka owner
Authorization	- Topic: chỉ định topic mà SecOps được phép đọc dữ liệu.
Rate limit	- Tốc độ tiêu thụ tối đa: EPS = 1K
IP Whitelist	- Kafka cluster phải whitelist IP public của hệ thống SecOps - Chỉ các IP đã được whitelist mới có thể kết nối tới Kafka broker

Bước 1: Truy cập tính năng Data Connection

Từ thanh menu bên trái, chọn Data Collections → Data Connectors.
Trên trang Connection, nhấn button "Add Connection".
Hệ thống sẽ hiển thị danh sách các bộ kết nối (Connectors) được hỗ trợ (ví dụ: Kafka, Sentinelone, Linux...). Hãy chọn đúng loại thiết bị muốn tích hợp và tiến hành cấu hình các thông số kỹ thuật theo hướng dẫn.

Bước 2: Tạo Connection

Để bắt đầu thu thập log, người dùng cần lựa chọn bộ kết nối phù hợp với thiết bị của mình:

Trường	Bắt buộc	Mô tả
Data Source Type	✅	- Là nhãn phân loại giúp hệ thống nhận diện nguồn gốc và định dạng của log. Việc chọn đúng Source Type đảm bảo dữ liệu được chuẩn hóa chính xác. - Hệ thống đang phân loại dựa theo định dạng dữ liệu (format): JSON / Raw / Syslog.
Connection Name	✅	Tên duy nhất để định danh kết nối này
Description	❌	Ghi chú mô tả mục đích của kết nối
Allow to choose parser	✅	Bật toggle này nếu bạn muốn thực hiện parse các log đầu vào. - Enabled: Hệ thống sẽ hiển thị danh sách các parser có sẵn, bạn chọn một parser phù hợp. Log sẽ được parse và chuẩn hóa (normalize) sang schema chuẩn của hệ thống. - Disabled: Log được lưu dưới dạng raw event, không qua bước parsing.

Nhấn vào nút "Manage Configuration", hệ thống sẽ hiển thị popup cấu hình tương ứng với Data Source Type đã chọn.

Trường	Bắt buộc	Mô tả
Bootstrap Servers	✅	Nhập địa chỉ IP:Port của máy chủ Kafka.
Group Id	✅	Nhập Group ID (định danh bất kỳ). Nếu các kết nối dùng chung Group ID, Kafka sẽ chia đều lượng log cho các kết nối này giúp tăng tốc độ xử lý. Nếu muốn các kết nối nhận dữ liệu giống hệt nhau, chúng phải có Group ID khác nhau. Ngoài ra, nó còn giúp hệ thống ghi nhớ vị trí đã đọc để tiếp tục thu thập log mà không bị mất dữ liệu sau khi khởi động lại.
Topics	✅	Nhập các chủ đề (topics) ở Kafka mà bạn muốn lấy dữ liệu.

Bước 3: Kiểm tra kết nối API

Sau khi điền đầy đủ thông tin vào biểu mẫu Manage Configuration, nhấn nút "Test".

Hệ thống sẽ tiến hành thử kết nối tới hệ thống bên ngoài bằng thông tin bạn đã cung cấp:

Nếu thành công: Một thông báo "Connection successful!" (Kết nối thành công!) sẽ hiển thị.
Nếu thất bại: Một thông báo "Unable to connect. Please check your credentials!" (Không thể kết nối. Vui lòng kiểm tra lại thông tin xác thực!) sẽ hiển thị.

Bước 4: Lưu cấu hình

Khi kết nối đã được kiểm tra thành công, nhấn nút "Save".

Cấu hình sẽ được lưu lại và bạn không cần phải nhập lại vào lần tới khi chọn cùng một Nguồn dữ liệu (Data Source).

Bước 5: Tạo kết nối

Nhấn "Create Connection" để hoàn tất và thiết lập kết nối mới với hệ thống bên ngoài.

Kết nối mới được tạo sẽ xuất hiện trong danh sách Connection List với trạng thái ban đầu là Pending (Đang chờ xử lý).

Trạng thái	Mô tả
Pending	Connection đã được tạo nhưng hệ thống chưa bắt đầu hoặc chưa hoàn tất quá trình khởi tạo job thu thập dữ liệu.
Active	Connection đang hoạt động bình thường và hệ thống đang thực hiện cơ chế Pull theo chu kỳ cấu hình.
Error	Connection gặp lỗi trong quá trình khởi tạo hoặc vận hành.
Pause	Connection đã được tạm dừng thủ công bởi người dùng hoặc hệ thống.

Overview

Kéo dữ liệu từ SentinelOne vào SecOps