Location

S3 location

Hướng dẫn kết nối vùng lưu trữ S3 bên ngoài để sử dụng cho Catalog Fileset.

Tổng quan

Tài liệu hướng dẫn tạo và quản lý External Location kiểu S3 — vùng lưu trữ ngoài dùng làm nơi chứa dữ liệu vật lý cho các Catalog kiểu Relational/Fileset. Trước khi thực hiện các bước dưới đây, cần đảm bảo đã hoàn tất phần thiết lập nền tảng tại Data setup > Overview (Metastore, Metalake ở trạng thái Active).

Danh Sách External Location (List View)

  • Các bước thực hiện:
  1. Từ menu điều hướng, vào Catalogs > Location Connection > Locations.
  2. Tại màn hình danh sách, mặc định hiển thị Tab "External Locations" (Tab "Connections" nằm cạnh bên dùng cho kết nối tới hệ quản trị dữ liệu ngoài).
  3. Sử dụng ô Search name trong khu vực Filters để tìm kiếm nhanh theo tên.
  4. Bảng danh sách hiển thị các cột:
    • Name: Tên định danh của External Location.
    • Type: Loại lưu trữ (hiển thị s3).
    • URL: Đường dẫn endpoint của vùng lưu trữ (dạng liên kết, ví dụ https://s3.hcm-5.cloud.cmctelecom.vn).
    • Status: Trạng thái xử lý khởi tạo. Các giá trị có thể có:
      Giá trịÝ nghĩa
      pendingĐang chờ xử lý, chưa bắt đầu khởi tạo.
      provisioningĐang cấp phát/khởi tạo kết nối tới bucket.
      succeededKhởi tạo thành công.
      failedKhởi tạo thất bại (kiểm tra lại thông tin xác thực/bucket).
      runningĐang hoạt động bình thường.
      terminatingĐang trong quá trình xóa/hủy.
      upgradingĐang nâng cấp/cập nhật cấu hình.
    • Health: Tình trạng kết nối thực tế tới bucket tại thời điểm kiểm tra gần nhất. Các giá trị có thể có:
      Giá trịÝ nghĩa
      healthyKết nối tới bucket bình thường.
      degradedKết nối vẫn hoạt động nhưng có dấu hiệu suy giảm (chậm, lỗi gián đoạn).
      unhealthyKhông thể kết nối tới bucket (sai khóa truy cập, bucket không tồn tại, mất mạng...).
      unknownChưa xác định được tình trạng (chưa kiểm tra hoặc không thu thập được dữ liệu).
    • Created date / Updated date: Thời điểm tạo/cập nhật gần nhất.
    • Action: Nút "..." để thao tác nhanh (View Detail, Edit, Delete).
  5. Nhấn nút "+ Create location" ở góc trên bên phải để khởi tạo mới.

Tạo Mới External Location (Create)

Bước 1 - Chọn phương thức khởi tạo (Select Type)

Tại màn hình Create a new external location, chọn một trong hai phương thức:

  • Manual: Dành cho người dùng nâng cao, đã có sẵn storage credential (Access key/Secret key) để dùng với một bucket, hoặc muốn dùng loại cloud storage khác ngoài S3 mặc định. Đây là phương thức hiện đang hỗ trợ.
  • CMC Quickstart: Khởi tạo nhanh, tự động thông qua IAM role để cấp quyền truy cập theo S3 path chỉ định. (Coming soon — chưa khả dụng ở thời điểm hiện tại.)

Chọn "Manual" và nhấn "Next".

Bước 2 - Điền thông tin kết nối thủ công (Manual)

Tại màn hình Create a new external location manually, điền các tham số:

  • External location name:* Tên định danh mang tính gợi nhớ (ví dụ: secops, dataplatform-dev-hn).
  • Storage type:* Chọn kiểu lưu trữ, mặc định S3.
  • Credential type:* Chọn phương thức xác thực, mặc định Token.
  • Location:* Nhập endpoint URL của vùng lưu trữ S3 (ví dụ: https://s3.hcm-5.cloud.cmctelecom.vn).
  • Bucket name:* Tên chính xác của Bucket lưu trữ trên dịch vụ S3 (ví dụ: secops).
  • Access key:* Khóa truy cập S3. Có thể bấm biểu tượng 👁 để hiện/ẩn giá trị đã nhập.
  • Secret access key:* Mã bí mật tương ứng của tài khoản S3.
  • Description: (Tùy chọn) Ghi chú nội dung/mục đích sử dụng của vùng chứa.

Nhấn nút "Create" để hoàn tất. Hệ thống sẽ kiểm tra kết nối tới bucket và cập nhật Status/Health tương ứng trong danh sách.

Xem Chi Tiết (Detail)

  1. Từ danh sách, nhấn vào tên một External Location (hoặc "..." > "View Detail").
  2. Màn hình chi tiết hiển thị khối Basic Information:
    • Location Name: Tên External Location.
    • Type: Loại lưu trữ (S3).
    • Status: Trạng thái xử lý — xem bảng giá trị tại Mục 1.
    • Health: Tình trạng kết nối — xem bảng giá trị tại Mục 1.
    • Bucket Name: Tên Bucket đã khai báo.
    • Created At / Updated At: Thời điểm tạo/cập nhật.
    • Location URI: Đường dẫn endpoint (dạng liên kết truy cập trực tiếp).

Chỉnh Sửa (Edit)

  1. Từ danh sách, nhấn "..." > "Edit" trên dòng External Location cần sửa.
  2. Tại màn hình Edit external location, các trường sau không thể chỉnh sửa (hiển thị mờ/khóa): External location name, Storage type, Location, Bucket Name.
  3. Các trường có thể cập nhật:
    • Credential type: Đổi phương thức xác thực nếu cần.
    • Access key / Secret access key: Nhập lại giá trị mới để xoay vòng (rotate) khóa truy cập.
    • Description: Cập nhật ghi chú.
  4. Nhấn "Submit" để lưu thay đổi, hoặc "Cancel" để hủy bỏ.

Xóa (Delete)

  1. Từ danh sách, nhấn "..." > "Delete" trên dòng External Location cần xóa.
  2. Hộp thoại "Delete location" hiển thị cảnh báo: "All data will be permanently deleted - This will permanently remove all data."
  3. Nhập chính xác tên External Location vào ô xác nhận (ví dụ: Enter "secops" to confirm delete.).
  4. Nhấn nút "Delete" để xác nhận xóa vĩnh viễn, hoặc "Cancel"/biểu tượng "×" để hủy bỏ.

Lưu ý: Hành động xóa không thể hoàn tác. Trước khi xóa, cần đảm bảo không còn Catalog/Fileset nào đang tham chiếu tới External Location này để tránh gián đoạn dữ liệu đang sử dụng.

Lưu Ý Bảo Mật

  • Access key/Secret access key chỉ nên cấp quyền tối thiểu cần thiết (least privilege) trên đúng phạm vi Bucket khai báo.
  • Nên định kỳ xoay vòng (rotate) Access key/Secret access key qua chức năng Edit để giảm rủi ro rò rỉ thông tin xác thực.
  • Không chia sẻ Access key/Secret access key qua kênh không an toàn hoặc lưu công khai trong mã nguồn.

logo
CMC Telecom
Aspire to Inspire the Digital World