System & Network Loki Log Stack
Bài 33 · Giai đoạn 7 — Observability & Security nâng cao

Loki + Alloy Log Aggregation

Tập trung log toàn bộ VM — hoàn thiện Grafana observability stack.

VM235 10.11.45.35 Giai đoạn: Observability & Security nâng cao

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 33 thuộc Giai đoạn 7 — Observability & Security nâng cao, nối tiếp Bài 32. SeaweedFS S3 và đứng trước Bài 34. Vault / OpenBao.
Mức độ cần thiết: 🟡 Quan trọng — Centralized log aggregation cho toàn hạ tầng

Hạ tầng hiện có 30 VM chạy độc lập, mỗi VM lưu log riêng trong /var/log/. Khi xảy ra sự cố (tấn công, lỗi service, crash), team phải SSH vào từng máy đọc log thủ công — mất thời gian và dễ bỏ sót. Grafana Loki cung cấp trung tâm thu thập log cho toàn bộ hạ tầng, tích hợp trực tiếp với Grafana đang chạy trên VM236, cho phép tương quan log với metrics trong cùng dashboard.

Loki được triển khai trên VM235 hiện có (cùng stack docker compose với Prometheus và Alertmanager của bài 15; Grafana chạy riêng trên VM236) để tận dụng tài nguyên và không tốn VMID/IP mới. Phía các VM, tác nhân thu log là Grafana Alloy (dịch vụ systemd alloy), thay cho Promtail đã hết vòng đời.

Lưu ý tài nguyên: Trước khi thêm Loki, nâng RAM VM235 từ mặc định lên tối thiểu 12 GB (khuyến nghị 16 GB). Loki chunk storage + query engine cần 3–5 GB RAM riêng khi nhiều VM cùng đẩy log. Thực hiện trên Proxmox: qm set 235 --memory 16384 rồi restart VM. Về đĩa, theo kế hoạch dung lượng của bài 07 (mục 8.4–8.6; tổng 800 GB SSD + 1 TB HDD, thin provisioning), VM235 có disk 40 GB trên SSD vm-ceph (hệ điều hành, Docker, TSDB Prometheus 15 ngày ≤ 8 GB ở bài 15) và đĩa dữ liệu xdisk 30 GB trên HDD vm-bulk, gắn riêng tại /opt/loki/data cho Loki (mục 1.1), nên không phải nới đĩa hệ điều hành; chỉ nới bằng qm resize khi đo thấy thật sự cần. Alloy được cài trên VM235 và 8 VM trọng yếu (mục 2: Wazuh, Mailu, Pi-hole, step-CA, Authentik, Gitea, Vault, TheHive); gói .deb của Alloy chiếm khoảng 545 MiB đĩa sau khi cài (Installed-Size 558175 KiB trong kho apt), VM khác muốn đẩy log thì cài tương tự bằng cùng script. Mức RAM và CPU thực tế của Alloy trên từng VM cần đo trên máy thật.
MụcNội dung
Ứng dụng trong doanh nghiệpTập trung log từ các VM trọng yếu (mở rộng thêm VM khi cần): syslog, auth.log, journald, container Docker, Nginx; tra cứu và cảnh báo bằng LogQL
Tác dụng chínhTra cứu log gần thời gian thực, tương quan với metrics Prometheus trong Grafana, cảnh báo dựa trên log (Loki ruler gửi sang Alertmanager)
Nếu không triển khaiDebug sự cố phải SSH từng VM, không có audit trail tập trung
Các service phụ thuộc vào đâyGrafana (datasource và dashboard log), Alertmanager (nhận cảnh báo log-based từ Loki ruler), Prometheus (scrape metrics của Loki và Alloy)

Phiên bản: 2.0 | Ngày cập nhật: 2026-10-15 (chuyển tác nhân thu log từ Promtail sang Grafana Alloy; Loki 3.7.8; Alloy 1.20.1; Ubuntu Server 24.04 LTS)
Cluster: HOATRANHUB (PVE 9.2.20) | Tác giả: HoatranLabs

Vì sao bài này dùng Alloy chứ không phải Promtail: tài liệu Loki ghi Promtail đã hết vòng đời (EOL) từ ngày 02/03/2026 — không còn hỗ trợ thương mại hay cập nhật, mọi phát triển tiếp theo nằm ở Grafana Alloy (tài liệu Loki); ghi chú phát hành Loki 3.7 còn nêu Promtail bị gỡ khỏi mã nguồn Loki từ 3.7.3. Bài giữ NGUYÊN các nhãn log (job, host, env, container, status) nên mọi truy vấn LogQL, dashboard và rule cũ vẫn dùng được. Người đang chạy Promtail xem mục 7 (bảng ánh xạ, alloy convert, cách gỡ).

Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15; cập nhật bài ngày 2026-10-15):

Thành phầnPhiên bảnGhi chú
Hệ điều hành VM235 và các VM cài AlloyUbuntu Server 24.04 LTS "Noble Numbat" (bản point mới nhất 24.04.5)Hỗ trợ chuẩn tới 04/2029. Gói mặc định: Linux 6.8, systemd 255, UFW. Chi tiết cài OS ở bài của từng VM
Loki3.7.8 (image grafana/loki:3.7.8, ghim; phát hành 2026-09-17)Bản stable mới nhất của dòng 3.x trên github.com/grafana/loki/releases ngày 2026-10-15 (cùng ngày còn có 3.6.17 cho dòng cũ). Tag đã kiểm tồn tại trên Docker Hub (amd64, arm64, armv7). Image distroless: không có shell, wget, curl. Từ 3.7.7 có bản sửa lỗi aws-chunked khi dùng S3 không phải AWS (mục 6)
Grafana Alloy1.20.1 (gói apt alloy=1.20.1-1, kho apt.grafana.com suite stable; phát hành 2026-09-28)Bản stable mới nhất trên github.com/grafana/alloy/releases; 1.21.0-rc.0 (2026-10-14) là pre-release nên không dùng. Gói .deb khoảng 166 MB. Dịch vụ alloy.service chạy bằng user alloy
PromtailKhông dùng nữa (EOL 2026-03-02)Thay bằng Alloy; mục 7 hướng dẫn chuyển cấu hình và gỡ
Docker Engine + Compose plugin (VM235 và các host Docker)Theo bài 15: repo download.docker.com, suite noble (bản mới nhất đã thấy 29.9.1)Bài này không cài Docker; chỉ thêm service vào compose có sẵn. Alloy 1.20.1 đọc /var/run/docker.sock bằng thư viện moby/moby/client v0.6.0 (theo go.mod của Alloy); chạy loki.source.docker với Docker 29 cần kiểm lại trên máy thật
Grafana (VM236)Image grafana/grafana:latest theo bài 15Logs Drilldown (menu Drilldown → Logs) cần Loki 3.2 trở lên; trang tài liệu Grafana ngày 2026-10-15 ghi yêu cầu Grafana 13.2 trở lên — bài 15 chưa ghim phiên bản nên cần kiểm lại bản đang chạy
proxmox-backup-client-staticGói từ repo pbs-client, suite trixieBản liên kết tĩnh, không phụ thuộc glibc của noble; chạy trên noble cần kiểm lại trên máy thật

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
prometheus (Prometheus + Alertmanager) · VM23510.11.45.3545 (MGMT) · node2Máy chủ của bài — VM235 hiện có (bài 15), thêm container Loki cổng 3100 và Alloy (systemd) cổng 12345; Loki ruler gửi alert sang Alertmanager, Prometheus scrape Loki và Alloy.
node2 (Proxmox VE)10.11.45.21145 (MGMT) · cluster HOATRANHUBNode Proxmox chứa VM235; nâng RAM VM lên tối thiểu 12 GB (khuyến nghị 16 GB) bằng qm set 235 --memory 16384 rồi restart.
grafana (Grafana + Uptime Kuma + Gotify) · VM23610.11.45.3645 (MGMT) · node2Thêm datasource Loki (file provisioning loki.yaml, URL cổng 3100), dashboard Lab Logs và tra log qua Explore hoặc Drilldown (bài 15).
ops01 (Ansible/OpenTofu + bastion) · VM29010.11.45.2045 (MGMT) · node2Chạy install-alloy.sh hoặc playbook Ansible để cài Alloy hàng loạt lên các VM Ubuntu 24.04 (bài 07).
wazuh-siem (Wazuh SIEM) · VM28010.11.45.2545 (MGMT) · node1Cài Alloy (systemd) đẩy syslog, auth và log container Docker về Loki cổng 3100; Prometheus scrape Alloy cổng 12345 (bài 17).
mailu (Mailu Mail Server) · VM24610.11.35.4635 (DMZ) · node2Cài Alloy (host Docker thu log container bằng loki.source.docker); nhận email cảnh báo Loki từ Alertmanager qua smarthost cổng 587 STARTTLS (bài 16).
pihole (Pi-hole DNS) · VM24710.11.45.5345 (MGMT) · node3Cài Alloy; bản ghi loki.hoatranlabs.local (tạo ở bài 12) cho phép truy cập Loki bằng tên thay vì IP.
step-ca (step-CA PKI) · VM24210.11.25.4225 (SEC) · node1Cài Alloy; tùy chọn cấp chứng chỉ TLS cho API Loki (loki.hoatranlabs.local) bằng step ca certificate (bài 13).
authentik (Authentik SSO) · VM23410.11.25.4025 (SEC) · node1Cài Alloy; host Docker nên thu log container bằng loki.source.docker (bài 14).
gitea (Gitea + Actions) · VM24010.11.45.4045 (MGMT) · node2Cài Alloy đẩy log về Loki; Prometheus scrape Alloy cổng 12345 (bài 22).
vault (HashiCorp Vault) · VM26910.11.25.1025 (SEC) · node1Cài Alloy đẩy log về Loki; Prometheus scrape Alloy cổng 12345 (bài 34).
thehive (TheHive + Cortex) · VM27010.11.25.1125 (SEC) · node2Cài Alloy đẩy log về Loki; Prometheus scrape Alloy cổng 12345 (bài 35).
s3 (SeaweedFS S3 Object Storage) · VM26810.11.85.1085 (STORAGE) · node1Tùy chọn backend S3 cho Loki: bucket loki và tài khoản dịch vụ riêng tại s3.hoatranlabs.local khi log vượt đĩa dữ liệu 30 GB của VM235 hoặc cần HA (bài 32).
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4Nhận backup file-level cấu hình Loki (/opt/loki/config) bằng proxmox-backup-client, token vm-backup@pbs!prometheus (bài 04).
syno-primary (Synology NAS)10.11.45.1645 (MGMT) · NASNAS chứa datastore syno-primary — đích lưu bản backup cấu hình Loki; dữ liệu log không backup vì retention 14 ngày (bài 04).

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local.

Thông tin Stack VM235 (mở rộng)

Thông sốGiá trị
VMID235 (đã có)
Hostnameprometheus
IP10.11.45.35/24
Gateway10.11.45.1
VLAN45 (VLAN_MGMT)
Thêm vào stackLoki :3100 (container loki), Alloy :12345 (dịch vụ systemd trên host)
Storage Loki/opt/loki/data (local FS trên đĩa xdisk 30 GB, pool HDD vm-bulk, mount riêng; retention 14 ngày, log container 7 ngày, log auth 90 ngày)
Tùy chọn sauSeaweedFS S3 s3.hoatranlabs.local, bucket loki (bài 32, mục 6 của bài này)
01

Mở rộng Stack VM235 Hiện Có

SSH vào VM235 và kiểm tra stack hiện tại · Tạo thư mục và cấu hình Loki · Cập nhật docker-compose.yml — Thêm Loki

1.1 SSH vào VM235 và kiểm tra stack hiện tại

ssh [email protected]
sudo -i                # các lệnh trong mục 1 chạy bằng root
cd /opt/prometheus     # thư mục compose của VM235 (bài 15)
docker compose ps

Xác nhận Prometheus (:9090) và Alertmanager (:9093) đang chạy bình thường (Grafana :3000 chạy riêng trên VM236) trước khi tiếp tục.

Chuẩn bị đĩa dữ liệu cho Loki. VM235 dựng từ bài 07 có xdisk 30 GB (scsi1 trên pool HDD vm-bulk, thường là /dev/sdb, còn trống): log Loki ghi tuần tự theo chunk nên hợp với HDD, còn đĩa hệ điều hành disk 40 GB trên SSD dành cho hệ điều hành, Docker và TSDB Prometheus (≤ 8 GB, bài 15). Retention 14 ngày (retention_period: 336h, mục 1.2) ước tính khoảng 12 GB trên 30 GB (bài 07 mục 8.6; cần đo lại bằng du -sh /opt/loki/data). Loki chỉ giới hạn theo thời gian, không theo dung lượng, nên đĩa đầy là lỗi ghi; rule LokiDataDiskFilling (mục 4.3) cảnh báo khi đĩa dùng trên 80%. Nếu VM235 dựng từ ISO theo bài 15 và chưa có đĩa này, thêm trên node2 (VM đang chạy cũng được):

# Trên node2 (VM235 nằm ở node2): thêm đĩa dữ liệu 30 GB trên pool HDD (thin provisioning)
qm set 235 --scsi1 vm-bulk:30,discard=on

Định dạng và gắn đĩa vào /opt/loki/data (theo bài 07 mục 8.5). Chỉ chạy mkfs khi lsblk cho thấy /dev/sdb là đĩa 30 GB còn trống (cột FSTYPE trống); nhầm đĩa là mất dữ liệu:

lsblk -o NAME,SIZE,FSTYPE,MOUNTPOINT   # đĩa mới thường là sdb
mkfs.ext4 -m 0 -L loki /dev/sdb
mkdir -p /opt/loki/data
echo "UUID=$(blkid -s UUID -o value /dev/sdb) /opt/loki/data ext4 defaults,noatime,nofail 0 2" >> /etc/fstab
systemctl daemon-reload && mount -a && df -h /opt/loki/data

Chỉ nới đĩa khi đo thấy thật sự cần (qm resize chỉ tăng, không giảm). Đĩa dữ liệu Loki:

# Trên node2: thêm 20 GiB cho đĩa dữ liệu (VM đang chạy cũng được)
qm resize 235 scsi1 +20G
# Trong VM235: mở rộng ext4 đặt thẳng trên /dev/sdb (không có phân vùng)
resize2fs /dev/sdb
df -h /opt/loki/data

Đĩa hệ điều hành scsi0 (SSD) nới tương tự: qm resize 235 scsi0 +10G trên node2, rồi trong VM235 (kiểm lsblk trước): VM dựng từ template bài 07 (cloud image, không LVM) chạy growpart /dev/sda 1 và resize2fs /dev/sda1; VM cài từ ISO với LVM (volume group ubuntu-vg) dùng khối lệnh sau thay cho hai lệnh đó:

apt install -y cloud-guest-utils
lsblk                                  # xác định partition LVM (thường là sda3); nếu chưa thấy dung lượng mới:
                                       # echo 1 > /sys/class/block/sda/device/rescan
growpart /dev/sda 3
pvresize /dev/sda3
lvextend -r -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
df -h /

Sau khi chạy Loki, theo dõi du -sh /opt/loki/data và df -h /opt/loki/data (mục 5 #7); nếu log tăng nhanh thì giảm retention_period (ví dụ 168h = 7 ngày) hoặc chuyển sang S3 (mục 6).

1.2 Tạo thư mục và cấu hình Loki

mkdir -p /opt/loki/config/rules/fake /opt/loki/data
# "fake" là tên tenant mặc định khi auth_enabled: false; file rule của ruler đặt trong thư mục này (mục 4.2)
chown -R 10001:10001 /opt/loki/data  # Loki chạy với UID 10001

Tạo file cấu hình Loki (schema v13 + chỉ mục TSDB là bắt buộc từ Loki 3.0; compactor bật retention; ruler đọc rule từ thư mục cấu hình):

cat > /opt/loki/config/loki.yaml << 'EOF'
auth_enabled: false

server:
  http_listen_port: 3100
  grpc_listen_port: 9096
  log_level: info

common:
  instance_addr: 127.0.0.1
  path_prefix: /loki
  storage:
    filesystem:
      chunks_directory: /loki/chunks
      rules_directory: /etc/loki/rules
  replication_factor: 1
  ring:
    kvstore:
      store: inmemory

query_range:
  results_cache:
    cache:
      embedded_cache:
        enabled: true
        max_size_mb: 100

schema_config:
  configs:
    - from: 2024-01-01
      store: tsdb
      object_store: filesystem
      schema: v13
      index:
        prefix: index_
        period: 24h              # retention chỉ hoạt động khi chu kỳ index là 24h

# Cần cho Logs Drilldown (patterns). allow_structured_metadata, volume_enabled,
# discover_log_levels mặc định đã là true ở Loki 3.x nên không phải khai báo lại
pattern_ingester:
  enabled: true

ruler:
  alertmanager_url: http://alertmanager:9093
  storage:
    type: local
    local:
      directory: /etc/loki/rules
  rule_path: /loki/rules-temp
  ring:
    kvstore:
      store: inmemory
  enable_api: true

limits_config:
  retention_period: 336h         # 14 ngày cho mọi stream (đĩa dữ liệu 30 GB, bài 07 mục 8.6)
  retention_stream:
    - selector: '{job="auth"}'
      priority: 2
      period: 2160h              # log đăng nhập giữ 90 ngày
    - selector: '{job="docker-containers"}'
      priority: 1
      period: 168h               # log container giữ 7 ngày (khối lượng lớn nhất)
  max_query_length: 2161h        # đủ để truy vấn log auth 90 ngày (mặc định chỉ 30 ngày)
  ingestion_rate_mb: 16
  ingestion_burst_size_mb: 32
  max_entries_limit_per_query: 50000
  reject_old_samples: true
  reject_old_samples_max_age: 168h

compactor:
  working_directory: /loki/compactor
  compaction_interval: 10m
  retention_enabled: true
  retention_delete_delay: 2h
  retention_delete_worker_count: 150
  delete_request_store: filesystem   # bắt buộc khi retention_enabled; đổi thành s3 nếu chuyển hẳn sang S3 (mục 6)

analytics:
  reporting_enabled: false
EOF

Các điểm khác cấu hình Loki 3.3 của bài cũ: delete_request_store phải khai báo tường minh khi bật retention (ghi chú nâng cấp 3.0); retention_stream cho phép giữ log auth lâu hơn log container; max_query_length mặc định chỉ 30 ngày nên phải nới khi có stream giữ 90 ngày. Kiểm tra cú pháp trước khi chạy bằng cờ -verify-config của Loki (Loki in "config is valid" rồi thoát; nếu bản image không nhận cờ này thì bỏ qua bước và xem docker logs loki sau khi chạy — cần kiểm lại trên máy thật):

docker run --rm -v /opt/loki/config:/etc/loki:ro grafana/loki:3.7.8 -config.file=/etc/loki/loki.yaml -verify-config

1.3 Cập nhật docker-compose.yml — Thêm Loki

Backup file hiện tại trước:

cp /opt/prometheus/docker-compose.yml /opt/prometheus/docker-compose.yml.bak-$(date +%Y%m%d)

Thêm service loki vào docker-compose.yml hiện có (append vào section services:):

# === LOKI LOG AGGREGATION ===
  loki:
    image: grafana/loki:3.7.8
    container_name: loki
    restart: unless-stopped
    ports:
      - "3100:3100"
    volumes:
      # Mount cả thư mục config (loki.yaml, rules/, và loki.crt/loki.key nếu bật TLS ở mục 4.4)
      - /opt/loki/config:/etc/loki:ro
      - /opt/loki/data:/loki
      # Root CA step-CA (file có sẵn trên VM235 từ bài 15): để Loki tin cậy HTTPS tới SeaweedFS S3 s3.hoatranlabs.local (mục 6)
      - /usr/local/share/ca-certificates/hoatranlabs-root.crt:/etc/ssl/certs/hoatranlabs-root.crt:ro
    command: -config.file=/etc/loki/loki.yaml
    user: "10001:10001"
    networks:
      - monitoring
    healthcheck:
      # Image distroless (không có shell, wget, curl) nên không dùng được CMD-SHELL wget như trước:
      # dùng lệnh health tích hợp trong binary loki (mặc định gọi http://localhost:3100/ready, thành công khi HTTP 200)
      test: ["CMD", "/usr/bin/loki", "-health"]
      interval: 30s
      timeout: 10s
      retries: 3
      start_period: 30s

Không còn container thu log trong compose: Alloy chạy dưới dạng dịch vụ systemd trên host VM235 và được cài ở mục 2 bằng cùng script với các VM khác.

1.4 Khởi động Loki

cd /opt/prometheus
docker compose config -q                 # kiểm tra cú pháp compose, im lặng nếu hợp lệ
docker compose up -d loki
docker compose ps loki                   # sau start_period phải là "healthy"
docker compose logs -f loki --tail=50

Kiểm tra Loki ready:

curl -s http://localhost:3100/ready
# Expected: ready (15 giây đầu có thể báo "Ingester not ready: waiting for 15s after being ready")
curl -s http://localhost:3100/metrics | grep loki_build_info
# Expected: loki_build_info{...,version="3.7.8"} 1
Terminal trên VM235: docker compose ps cho thấy container loki ở trạng thái healthy; curl localhost:3100/ready trả 'ready' và loki_build_info hiện version 3.7.8.
Terminal trên VM235: docker compose ps cho thấy container loki ở trạng thái healthy; curl localhost:3100/ready trả 'ready' và loki_build_info hiện version 3.7.8.
02

Cài đặt Alloy trên VM235 và các VM còn lại

Kho apt Grafana (deb822) và phiên bản gói · Script cài đặt hàng loạt install-alloy.sh · Chạy script trên từng VM hoặc hàng loạt

Alloy là bản phân phối OpenTelemetry Collector của Grafana, thay thế Promtail. Mỗi VM chạy một dịch vụ alloy đọc log cục bộ rồi đẩy về Loki. Thiết kế của bài: một tệp /etc/alloy/config.alloy giống hệt nhau trên mọi VM (tên máy lấy từ constants.hostname, URL Loki lấy từ biến LOKI_PUSH_URL trong /etc/default/alloy), chỉ thêm khối Docker hoặc Nginx khi VM có Docker hoặc Nginx.

Làm trên VM235 trước (đã có Loki), rồi lặp lại cho VM280, VM246, VM247, VM242, VM234, VM240, VM269, VM270 (và VM khác nếu cần). Các VM chạy Ubuntu Server 24.04. Hai nguồn syslog và auth.log đọc file do rsyslog ghi: nếu ls /var/log/syslog /var/log/auth.log báo không có file thì chạy apt install -y rsyslog trước (script ở mục 2.2 tự làm việc này).

2.1 Kho apt Grafana (deb822) và phiên bản gói

Kho apt.grafana.com dùng suite stable, component main, không gắn với codename Ubuntu nên dùng được cho noble (24.04). Trang cài đặt chính thức dùng tệp .list một dòng; bài dùng dạng deb822 .sources với Signed-By trỏ tới khóa ASCII-armored (apt 2.7 của Ubuntu 24.04 đọc trực tiếp, không cần gpg --dearmor, không dùng apt-key):

apt-get install -y wget ca-certificates
install -d -m 0755 /etc/apt/keyrings
wget -q -O /etc/apt/keyrings/grafana.asc https://apt.grafana.com/gpg-full.key
chmod 644 /etc/apt/keyrings/grafana.asc

cat > /etc/apt/sources.list.d/grafana.sources << 'EOF'
Types: deb
URIs: https://apt.grafana.com
Suites: stable
Components: main
Signed-By: /etc/apt/keyrings/grafana.asc
EOF

apt-get update
apt-cache policy alloy | head -4          # Candidate: 1.20.1-1 (bản mới nhất trong Packages ngày 2026-10-15)

Ghim phiên bản khi cài bằng apt-get install -y alloy=1.20.1-1; nâng cấp sau này chỉ cần đổi số bản. VM không ra được Internet: tải alloy-1.20.1-1.amd64.deb (đường dẫn pool/main/a/alloy/ trong kho) ở máy có mạng, scp sang VM rồi apt install ./alloy-1.20.1-1.amd64.deb.

2.2 Script cài đặt hàng loạt install-alloy.sh

Lưu thành install-alloy.sh (trên ops01 hoặc máy quản trị), chạy bằng root trên từng VM. Script chạy lại nhiều lần được; mỗi lần chạy ghi đè /etc/alloy/config.alloy và /etc/default/alloy.

#!/bin/bash
# install-alloy.sh — cài Grafana Alloy và đẩy log về Loki (bài 33). Chạy bằng root trên Ubuntu Server 24.04.
set -euo pipefail

ALLOY_VERSION="${ALLOY_VERSION:-1.20.1-1}"                                  # phiên bản gói trong kho apt.grafana.com
LOKI_PUSH_URL="${LOKI_PUSH_URL:-http://10.11.45.35:3100/loki/api/v1/push}"  # VM235; ngay trên VM235 dùng http://127.0.0.1:3100/loki/api/v1/push
PROM_IP="${PROM_IP:-10.11.45.35}"                                           # Prometheus scrape Alloy tại cổng 12345

[ "$(id -u)" -eq 0 ] || { echo "Chạy bằng root (sudo -i)"; exit 1; }

# 1) Kho apt Grafana (deb822 + Signed-By, không dùng apt-key) và gói alloy
apt-get update -qq
apt-get install -y -qq wget ca-certificates
install -d -m 0755 /etc/apt/keyrings
wget -q -O /etc/apt/keyrings/grafana.asc https://apt.grafana.com/gpg-full.key
chmod 644 /etc/apt/keyrings/grafana.asc
cat > /etc/apt/sources.list.d/grafana.sources << 'EOF'
Types: deb
URIs: https://apt.grafana.com
Suites: stable
Components: main
Signed-By: /etc/apt/keyrings/grafana.asc
EOF
apt-get update -qq
apt-get install -y -qq "alloy=${ALLOY_VERSION}"

# 2) Nguồn file syslog/auth.log do rsyslog ghi
[ -f /var/log/syslog ] || apt-get install -y -qq rsyslog

# 3) Quyền đọc log cho user alloy: adm (syslog, auth.log, nginx), systemd-journal (journald)
usermod -aG adm,systemd-journal alloy
HAS_DOCKER=0
if command -v docker >/dev/null 2>&1 && [ -S /var/run/docker.sock ]; then
  HAS_DOCKER=1
  usermod -aG docker alloy      # nhóm docker tương đương quyền root trên host: chỉ thêm trên VM cần thu log container
fi
HAS_NGINX=0
[ -d /var/log/nginx ] && HAS_NGINX=1

# 4) /etc/alloy/config.alloy — phần chung cho mọi VM
cat > /etc/alloy/config.alloy << 'EOF'
// Grafana Alloy 1.20.x — thu log về Loki (bài 33). Cấu hình giống nhau trên mọi VM:
// tên máy lấy từ constants.hostname, URL Loki lấy từ biến LOKI_PUSH_URL trong /etc/default/alloy.
// Kiểm tra cú pháp: alloy validate /etc/alloy/config.alloy   ·   nạp lại: systemctl reload alloy

logging {
  level  = "warn"
  format = "logfmt"
}

// ---- Đích: Loki trên VM235 ----
loki.write "lab" {
  endpoint {
    url                 = sys.env("LOKI_PUSH_URL")
    min_backoff_period  = "500ms"
    max_backoff_period  = "5m"
    max_backoff_retries = 10
  }
}

// ---- Nhãn chung cho mọi dòng log: host và env ----
loki.process "default" {
  stage.static_labels {
    values = {
      host = constants.hostname,
      env  = "production",
    }
  }

  forward_to = [loki.write.lab.receiver]
}

// ---- File log: /var/log/syslog (job=syslog) và /var/log/auth.log (job=auth), do rsyslog ghi ----
local.file_match "system" {
  path_targets = [
    {"__path__" = "/var/log/syslog",   "job" = "syslog"},
    {"__path__" = "/var/log/auth.log", "job" = "auth"},
  ]
}

// tail_from_end: khi chưa có vị trí đã lưu thì chỉ đọc dòng mới (đặt ALLOY_TAIL_FROM_END=true lúc cài để
// không nạp lại file cũ khi chuyển từ Promtail, mục 7.3); mặc định false = đọc từ đầu file
loki.source.file "system" {
  targets       = local.file_match.system.targets
  tail_from_end = sys.env("ALLOY_TAIL_FROM_END") == "true"
  forward_to    = [loki.process.system.receiver]
}

// Bỏ dòng ồn trước khi gửi: phiên cron mở/đóng mỗi phút
loki.process "system" {
  stage.drop {
    expression          = `CRON\[\d+\]: pam_unix\(cron:session\)`
    drop_counter_reason = "cron_session"
  }

  forward_to = [loki.process.default.receiver]
}

// ---- journald: chỉ mức lỗi (priority 0-3 = emerg, alert, crit, err), kèm nhãn unit và level ----
// File syslog đã chứa gần như mọi thứ journald có, nên chỉ lấy mức lỗi để tránh gửi trùng
loki.relabel "journal" {
  forward_to = []

  rule {
    source_labels = ["__journal_priority"]
    regex         = "[0-3]"
    action        = "keep"
  }

  rule {
    source_labels = ["__journal__systemd_unit"]
    target_label  = "unit"
  }

  rule {
    source_labels = ["__journal_priority_keyword"]
    target_label  = "level"
  }
}

loki.source.journal "errors" {
  relabel_rules = loki.relabel.journal.rules
  labels        = {job = "journal"}
  forward_to    = [loki.process.default.receiver]
}
EOF

if [ "$HAS_DOCKER" -eq 1 ]; then
cat >> /etc/alloy/config.alloy << 'EOF'

// ---- Docker: log container (job=docker-containers). Chỉ thêm khi VM có Docker ----
discovery.docker "local" {
  host             = "unix:///var/run/docker.sock"
  refresh_interval = "10s"

  filter {
    name   = "status"
    values = ["running"]
  }
}

loki.relabel "docker" {
  forward_to = []

  rule {
    source_labels = ["__meta_docker_container_name"]
    regex         = "/(.*)"
    target_label  = "container"
  }

  // Nhãn của Docker Compose nằm trong container label (dấu "." đổi thành "_")
  rule {
    source_labels = ["__meta_docker_container_label_com_docker_compose_service"]
    target_label  = "service"
  }

  rule {
    source_labels = ["__meta_docker_container_label_com_docker_compose_project"]
    target_label  = "compose_project"
  }
}

// loki.source.docker đọc log qua Docker API nên dòng log đã là văn bản thuần, không cần stage.docker
loki.source.docker "local" {
  host             = "unix:///var/run/docker.sock"
  targets          = discovery.docker.local.targets
  refresh_interval = "10s"
  labels           = {job = "docker-containers"}
  relabel_rules    = loki.relabel.docker.rules
  forward_to       = [loki.process.default.receiver]
}
EOF
fi

if [ "$HAS_NGINX" -eq 1 ]; then
cat >> /etc/alloy/config.alloy << 'EOF'

// ---- Nginx cài trên host: /var/log/nginx/*.log (job=nginx) ----
local.file_match "nginx" {
  path_targets = [{"__path__" = "/var/log/nginx/*.log", "job" = "nginx"}]
}

loki.source.file "nginx" {
  targets       = local.file_match.nginx.targets
  tail_from_end = sys.env("ALLOY_TAIL_FROM_END") == "true"
  forward_to    = [loki.process.nginx.receiver]
}

loki.process "nginx" {
  stage.regex {
    expression = `^(?P<remote_addr>\S+) .+ \[(?P<time_local>[^\]]+)\] "(?P<request>[^"]*)" (?P<status>\d+) (?P<body_bytes_sent>\d+)`
  }

  // Chỉ đặt nhãn cho status (ít giá trị, dùng cho rule NginxHighError5xx ở mục 4.2).
  // Không đặt remote_addr làm nhãn: IP client có vô số giá trị, sinh quá nhiều stream trong Loki;
  // cần lọc theo IP thì dùng line filter, ví dụ |= "192.0.2.10".
  stage.labels {
    values = {status = ""}
  }

  forward_to = [loki.process.default.receiver]
}
EOF
fi
chmod 644 /etc/alloy/config.alloy

# 5) /etc/default/alloy — biến môi trường của alloy.service
#    Giao diện/metrics của Alloy nghe cổng 12345 (mặc định chỉ 127.0.0.1); mở ra mọi địa chỉ để Prometheus scrape,
#    rồi giới hạn nguồn bằng UFW ở bước 7 (và FortiGate). Tắt pprof và báo cáo sử dụng ẩn danh.
cat > /etc/default/alloy << EOF
CONFIG_FILE="/etc/alloy/config.alloy"
CUSTOM_ARGS="--server.http.listen-addr=0.0.0.0:12345 --server.http.enable-pprof=false --disable-reporting"
RESTART_ON_UPGRADE=true
LOKI_PUSH_URL="${LOKI_PUSH_URL}"
ALLOY_TAIL_FROM_END="${ALLOY_TAIL_FROM_END:-false}"
EOF

# 6) Kiểm tra cú pháp rồi bật dịch vụ (restart để nhận nhóm adm/systemd-journal/docker mới)
LOKI_PUSH_URL="${LOKI_PUSH_URL}" ALLOY_TAIL_FROM_END="${ALLOY_TAIL_FROM_END:-false}" alloy validate /etc/alloy/config.alloy
systemctl enable alloy
systemctl restart alloy

# 7) UFW (nếu đang bật): chỉ Prometheus được vào cổng 12345
if ufw status 2>/dev/null | grep -q '^Status: active'; then
  ufw allow from "${PROM_IP}" to any port 12345 proto tcp comment 'Prometheus scrape Alloy'
fi

sleep 3
systemctl is-active alloy
curl -fsS http://127.0.0.1:12345/-/ready   || echo "(Alloy chưa ready — xem: journalctl -u alloy -n 50)"
curl -fsS http://127.0.0.1:12345/-/healthy || echo "(có component chưa healthy — xem Alloy UI, mục 2.4)"

Lưu ý: trên VM235 Alloy gửi tới Loki ngay trên máy (cổng 3100 đã publish); trên các VM khác gửi qua mạng tới 10.11.45.35:3100. Dùng IP thay vì loki.hoatranlabs.local cho tác nhân thu log để việc đẩy log không phụ thuộc DNS đúng lúc sự cố; muốn dùng tên thì đổi LOKI_PUSH_URL trong /etc/default/alloy (record loki.hoatranlabs.local ở mục 4.1).

Terminal trên VM agent sau khi chạy install-alloy.sh: systemctl status alloy --no-pager báo 'active (running)', ExecStart /usr/lib/alloy/alloy-wrapper; /-/ready trả 'Alloy is ready.'
Terminal trên VM agent sau khi chạy install-alloy.sh: systemctl status alloy --no-pager báo 'active (running)', ExecStart /usr/lib/alloy/alloy-wrapper; /-/ready trả 'Alloy is ready.'

2.3 Chạy script trên từng VM hoặc hàng loạt

Một VM (ví dụ VM235, Loki cùng máy):

scp install-alloy.sh [email protected]:/tmp/
ssh [email protected] 'sudo LOKI_PUSH_URL=http://127.0.0.1:3100/loki/api/v1/push bash /tmp/install-alloy.sh'

Hàng loạt từ ops01 (bài 07; sysadmin có sudo không hỏi mật khẩu theo template):

# VM235 trước (đích Loki là chính nó)
ssh [email protected] 'sudo LOKI_PUSH_URL=http://127.0.0.1:3100/loki/api/v1/push bash -s' < install-alloy.sh

# 8 VM trọng yếu
for h in wazuh-siem mailu pihole step-ca authentik gitea vault thehive; do
  echo "=== $h ==="
  ssh -o StrictHostKeyChecking=accept-new sysadmin@$h.hoatranlabs.local 'sudo bash -s' < install-alloy.sh
done

Hoặc bằng Ansible từ ops01 (inventory csv_inventory.py của bài 07 đặt tên host theo cột name của vms.csv). Lưu install-alloy.sh vào ~/lab-iac/ansible/files/ và playbook sau thành ~/lab-iac/ansible/playbooks/alloy.yml:

# Chạy: cd ~/lab-iac/ansible && ansible-playbook playbooks/alloy.yml
# Thử một VM: ansible-playbook playbooks/alloy.yml -e alloy_hosts=mailu
- name: Cài Grafana Alloy và đẩy log về Loki
  hosts: "{{ alloy_hosts | default('prometheus,wazuh-siem,mailu,pihole,step-ca,authentik,gitea,vault,thehive') }}"
  become: true
  gather_facts: false
  vars:
    loki_url: "{{ 'http://127.0.0.1:3100/loki/api/v1/push' if inventory_hostname == 'prometheus' else 'http://10.11.45.35:3100/loki/api/v1/push' }}"
  tasks:
    - name: Chạy install-alloy.sh (chạy lại an toàn)
      ansible.builtin.script: "{{ playbook_dir }}/../files/install-alloy.sh"
      environment:
        LOKI_PUSH_URL: "{{ loki_url }}"

    - name: Chờ Alloy ready
      ansible.builtin.uri:
        url: http://127.0.0.1:12345/-/ready
      register: alloy_ready
      until: alloy_ready.status == 200
      retries: 10
      delay: 3

Playbook dùng lại đúng script nên cấu hình trên mọi VM luôn đồng nhất; chưa chạy thử trên máy thật.

2.4 Alloy UI và kiểm tra sức khoẻ

Mặc định giao diện web của Alloy (danh sách component và tình trạng của chúng, đồ thị, dữ liệu debug) chỉ nghe 127.0.0.1:12345. Trong bài, cổng 12345 được mở ra mọi địa chỉ (để Prometheus scrape /metrics) nhưng UFW chỉ cho 10.11.45.35 vào, pprof tắt. UI của Alloy không có xác thực và POST /-/reload có thể nạp lại cấu hình, vì vậy đừng mở cổng này ra ngoài Prometheus. Muốn xem UI từ máy quản trị, đi qua đường hầm SSH:

ssh -L 12345:127.0.0.1:12345 [email protected]
# rồi mở http://localhost:12345 trên máy quản trị: trang Home liệt kê component và trạng thái Healthy/Unhealthy
Trình duyệt mở http://localhost:12345 qua đường hầm SSH: trang Home của Alloy UI liệt kê các component (local.file_match.system, loki.source.file.system, loki.source.journal.errors, loki.write.lab...) đều ở trạng thái Healthy.
Trình duyệt mở http://localhost:12345 qua đường hầm SSH: trang Home của Alloy UI liệt kê các component (local.file_match.system, loki.source.file.system, loki.source.journal.errors, loki.write.lab...) đều ở trạng thái Healthy.

Các endpoint kiểm tra sức khoẻ (đã đối chiếu tài liệu Alloy):

EndpointÝ nghĩa
/-/ready200 "Alloy is ready." khi đã nạp xong cấu hình ban đầu; 503 nếu chưa
/-/healthy200 khi mọi component khỏe; 500 kèm lỗi nếu có component lỗi (không dùng làm liveness probe vì khởi động lại không sửa được lỗi cấu hình/phụ thuộc)
/metricsMetrics của chính Alloy và các component, định dạng Prometheus
POST /-/reloadNạp lại cấu hình từ đĩa (cũng có thể systemctl reload alloy, gửi SIGHUP); nếu cấu hình mới lỗi, Alloy giữ cấu hình cũ

Các biểu thức PromQL dùng để theo dõi sức khoẻ (chạy trong Prometheus sau khi thêm job alloy ở mục 4.3):

up{job="alloy"} == 0                                                       # Alloy không scrape được
alloy_component_controller_running_components{health_type!="healthy"} > 0   # có component không khỏe
increase(loki_write_dropped_entries_total[10m]) > 0                        # Alloy bỏ log vì Loki không nhận
rate(loki_write_sent_entries_total[5m])                                    # số dòng log gửi đi mỗi giây

Tên nhãn health_type lấy theo tài liệu metrics của Alloy; giá trị cụ thể cần kiểm lại trên máy thật.

03

Cấu hình Grafana Datasource & Dashboard

Thêm Loki datasource vào Grafana · Dashboard "Lab Logs" và Logs Drilldown

3.1 Thêm Loki datasource vào Grafana

Truy cập Grafana tại http://10.11.45.36:3000 → Connections → Data sources → Add new data source → Loki

URL: http://10.11.45.35:3100
Maximum lines: 5000
Grafana → Connections → Data sources → Loki: URL http://10.11.45.35:3100, Maximum lines 5000, thông báo 'Data source successfully connected'.
Grafana → Connections → Data sources → Loki: URL http://10.11.45.35:3100, Maximum lines 5000, thông báo 'Data source successfully connected'.

Hoặc dùng Grafana provisioning trên VM236 (tự động, khuyến nghị; thư mục provisioning đã được mount vào container ở bài 15). uid: loki cố định để dashboard ở mục 3.2 tham chiếu được:

cat > /opt/grafana-stack/grafana/provisioning/datasources/loki.yaml << 'EOF'
apiVersion: 1
datasources:
  - name: Loki
    uid: loki
    type: loki
    access: proxy
    url: http://10.11.45.35:3100
    isDefault: false
    editable: false
    jsonData:
      maxLines: 5000
      timeout: 60
EOF
cd /opt/grafana-stack && docker compose restart grafana

3.2 Dashboard "Lab Logs" và Logs Drilldown

Dashboard ID 13639 của bản bài cũ ("Logs / App") được viết cho nhãn app của Kubernetes nên không khớp nhãn của bài này. Thay vào đó provisioning một dashboard nhỏ dùng đúng các nhãn host, job, env, container: một provider đọc thư mục JSON, rồi tệp dashboard (cùng thư mục provisioning đã mount ở bài 15).

mkdir -p /opt/grafana-stack/grafana/provisioning/dashboards/json
cat > /opt/grafana-stack/grafana/provisioning/dashboards/loki-logs.yaml << 'EOF'
apiVersion: 1
providers:
  - name: lab-logs
    folder: Logs
    type: file
    allowUiUpdates: true
    options:
      path: /etc/grafana/provisioning/dashboards/json
EOF

cat > /opt/grafana-stack/grafana/provisioning/dashboards/json/lab-logs.json << 'EOF'
{
  "uid": "lab-logs",
  "title": "Lab Logs (Loki)",
  "tags": ["loki", "logs"],
  "schemaVersion": 39,
  "time": {"from": "now-6h", "to": "now"},
  "refresh": "1m",
  "templating": {
    "list": [
      {
        "name": "host", "label": "Host", "type": "query",
        "datasource": {"type": "loki", "uid": "loki"},
        "query": {"label": "host", "stream": "", "type": 1, "refId": "LokiVariableQueryEditor-VariableQuery"},
        "refresh": 2, "includeAll": true, "multi": true, "allValue": ".+"
      },
      {"name": "search", "label": "Tìm chuỗi", "type": "textbox", "query": ""}
    ]
  },
  "panels": [
    {
      "id": 1, "type": "timeseries", "title": "Số dòng log mỗi giây theo host",
      "gridPos": {"x": 0, "y": 0, "w": 12, "h": 8},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A", "legendFormat": "{{host}}",
        "expr": "sum by (host) (rate({env=\"production\", host=~\"$host\"}[$__interval]))"}]
    },
    {
      "id": 2, "type": "timeseries", "title": "Đăng nhập SSH thất bại theo host",
      "gridPos": {"x": 12, "y": 0, "w": 12, "h": 8},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A", "legendFormat": "{{host}}",
        "expr": "sum by (host) (count_over_time({job=\"auth\", host=~\"$host\"} |= \"Failed password\" [$__interval]))"}]
    },
    {
      "id": 3, "type": "logs", "title": "Lỗi từ journald (priority 0-3)",
      "gridPos": {"x": 0, "y": 8, "w": 24, "h": 8},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A", "expr": "{job=\"journal\", host=~\"$host\"}"}]
    },
    {
      "id": 4, "type": "logs", "title": "Container: panic / fatal / segfault",
      "gridPos": {"x": 0, "y": 16, "w": 24, "h": 8},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A", "expr": "{job=\"docker-containers\", host=~\"$host\"} |~ \"(?i)(panic|fatal|segfault)\""}]
    },
    {
      "id": 5, "type": "logs", "title": "Tìm log theo ô Tìm chuỗi",
      "gridPos": {"x": 0, "y": 24, "w": 24, "h": 10},
      "datasource": {"type": "loki", "uid": "loki"},
      "targets": [{"refId": "A", "expr": "{host=~\"$host\"} |= \"$search\""}]
    }
  ]
}
EOF

cd /opt/grafana-stack && docker compose restart grafana

Dashboard xuất hiện trong thư mục Logs sau khi Grafana khởi động lại. Biến host lấy từ nhãn host của Loki; nếu Grafana hiển thị biến trống, mở Dashboard settings → Variables và chọn lại truy vấn nhãn host (định dạng truy vấn biến Loki thay đổi theo bản Grafana, cần kiểm lại trên máy thật).

Grafana → Dashboards → thư mục Logs → 'Lab Logs (Loki)': các panel số dòng log mỗi giây theo host, đăng nhập SSH thất bại, lỗi journald, container panic/fatal và ô tìm chuỗi đều có dữ liệu.
Grafana → Dashboards → thư mục Logs → 'Lab Logs (Loki)': các panel số dòng log mỗi giây theo host, đăng nhập SSH thất bại, lỗi journald, container panic/fatal và ô tìm chuỗi đều có dữ liệu.

Cách nhanh nhất để khám phá log mới là Drilldown → Logs (Logs Drilldown) của Grafana: duyệt theo nhãn, mức log, mẫu dòng log mà không cần viết LogQL. Loki đã bật sẵn các tùy chọn nó cần ở mục 1.2 (pattern_ingester, và mặc định volume_enabled, allow_structured_metadata, discover_log_levels).

Grafana → Drilldown → Logs (Logs Drilldown): chọn datasource Loki, danh sách dịch vụ/nhãn và biểu đồ khối lượng log theo mức log.
Grafana → Drilldown → Logs (Logs Drilldown): chọn datasource Loki, danh sách dịch vụ/nhãn và biểu đồ khối lượng log theo mức log.

Truy vấn LogQL mẫu (dùng trong Explore, dashboard hoặc rule):

# Tất cả log lỗi (log syslog/auth là văn bản thường, không phải JSON nên không dùng `| json`):
{env="production"} |= "error" | line_format "{{.host}} | {{__line__}}"

# SSH brute-force: số lần "Failed password" theo IP nguồn trong 5 phút, chỉ lấy IP > 5 lần
# (hàm count_over_time bao ngoài, khoảng thời gian [5m] đặt ở cuối pipeline, so sánh > 5 đặt sau cùng):
sum by (src_ip) (count_over_time({job="auth"} |= "Failed password" | regexp `from (?P<src_ip>\S+)` [5m])) > 5

# Log container báo lỗi nặng (panic/fatal/segfault; nhãn job đặt trong khối loki.source.docker ở mục 2.2;
# "container started/died" là sự kiện Docker daemon, không có trong log container):
{job="docker-containers"} |~ "(?i)(panic|fatal|segfault)"

# Lưu lượng log theo host (dòng/giây) và 5xx của Nginx host:
sum by (host) (rate({env="production"}[5m]))
sum by (host) (rate({job="nginx", status=~"5.."}[5m]))

# Lỗi journald theo service (nhãn unit) trong 1 giờ:
sum by (host, unit) (count_over_time({job="journal"}[1h]))
Grafana Explore → datasource Loki: truy vấn SSH brute-force (sum by (src_ip) (count_over_time({job="auth"} |= "Failed password" | regexp ... [5m])) > 5) trả về số lần đăng nhập SSH thất bại theo IP nguồn; cần vài lần thử sai mật khẩu để có dữ liệu.
Grafana Explore → datasource Loki: truy vấn SSH brute-force (sum by (src_ip) (count_over_time({job="auth"} |= "Failed password" | regexp ... [5m])) > 5) trả về số lần đăng nhập SSH thất bại theo IP nguồn; cần vài lần thử sai mật khẩu để có dữ liệu.

Loki 3.x tự gán nhãn service_name (lấy từ danh sách nhãn như service, container, job...) và siêu dữ liệu có cấu trúc detected_level cho từng dòng; bạn có thể thấy chúng trong Explore và lọc bằng | detected_level="error" (tên trường cần kiểm lại trên máy thật).

04

Tích hợp với hạ tầng

Pi-hole DNS · Alert Rules — Gửi email qua Mailu · Prometheus Monitoring (Loki và Alloy)

4.1 Pi-hole DNS

# Không cần DNS record riêng — Alloy đẩy log tới IP nội bộ (10.11.45.35:3100)
# Nếu muốn dùng domain: record loki.hoatranlabs.local → 10.11.45.35 đã có trong bảng VLAN_MGMT / script
# add_dns_records.sh của bài 12. Nếu chưa có, thêm trong Pi-hole Admin (http://10.11.45.53/admin)
# → Settings → Local DNS Records (Pi-hole chạy Docker, không dùng lệnh pihole -a trên host):
loki.hoatranlabs.local → 10.11.45.35

4.2 Alert Rules — Gửi email qua Mailu

Tạo Loki alert rule file. Ruler đọc thư mục /etc/loki/rules/<tenant>/ (tức /opt/loki/config/rules/fake/ trên host) và tự nạp lại định kỳ, không cần restart:

cat > /opt/loki/config/rules/fake/alert-rules.yaml << 'EOF'
groups:
  - name: security-alerts
    rules:
      - alert: SSHBruteForce
        expr: |
          sum by (host) (
            count_over_time({job="auth"} |= "Failed password" [5m])
          ) > 10
        for: 2m
        labels:
          severity: critical
          team: security
          source: loki
        annotations:
          summary: "SSH brute force detected on {{ $labels.host }}"
          description: "More than 10 failed SSH attempts in 5 minutes"

      # Chuỗi "container died/started" là sự kiện của Docker daemon, không nằm trong stdout/stderr của container
      # nên Alloy không thu được. Rule dưới đây bắt dấu hiệu container lỗi nặng/lặp lại ngay trong log của nó.
      - alert: ContainerPanicFatal
        expr: |
          sum by (container) (
            count_over_time({job="docker-containers"} |~ "(?i)(panic|fatal|segfault)" [10m])
          ) > 3
        for: 1m
        labels:
          severity: warning
          source: loki
        annotations:
          summary: "Container {{ $labels.container }} ghi nhiều log panic/fatal/segfault (có thể đang crash-loop)"

      # status là nhãn do stage.regex + stage.labels của loki.process "nginx" ở mục 2.2 trích từ access log (combined format)
      - alert: NginxHighError5xx
        expr: |
          sum by (host) (
            count_over_time({job="nginx", status=~"5.."} [5m])
          ) > 20
        for: 3m
        labels:
          severity: warning
          source: loki
        annotations:
          summary: "High 5xx rate on {{ $labels.host }}"

      # Lỗi mức err trở lên từ journald (nhãn unit do loki.relabel "journal" ở mục 2.2)
      - alert: SystemdUnitErrors
        expr: |
          sum by (host, unit) (
            count_over_time({job="journal"} [10m])
          ) > 20
        for: 5m
        labels:
          severity: warning
          source: loki
        annotations:
          summary: "Unit {{ $labels.unit }} trên {{ $labels.host }} ghi nhiều log lỗi (priority 0-3)"
EOF

Kiểm tra ruler đã nạp rule (đợi khoảng 1 phút sau khi tạo file):

curl -s http://10.11.45.35:3100/prometheus/api/v1/rules | python3 -m json.tool | head -30

Cấu hình Alertmanager để route Loki alerts → Mailu. SMTP (smarthost, from, tài khoản [email protected], STARTTLS) đã khai báo ở khối global: của alertmanager.yml trong bài 15 nên receiver chỉ cần địa chỉ nhận:

# Thêm vào /opt/prometheus/alertmanager/alertmanager.yml trên VM235 (bài 15; container `alertmanager`,
# receiver mặc định là `default`): thêm receiver `loki-email` vào mục `receivers:` và thêm `routes:`
# vào khối `route:` đã có. Route khớp nhãn source="loki" đã gắn trong các alert rule ở trên.
receivers:
  - name: 'loki-email'
    email_configs:
      - to: '[email protected]'
        send_resolved: true
        tls_config:
          ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
        headers:
          Subject: '[LOKI] {{ .CommonLabels.alertname }} - {{ .CommonLabels.severity }}'

route:
  receiver: 'default'
  routes:
    - matchers:
        - source="loki"
      receiver: 'loki-email'

# Nạp lại cấu hình Alertmanager (như bài 15):
# cd /opt/prometheus && docker compose restart alertmanager

Ruler còn hỗ trợ recording rule và remote_write ngược về Prometheus (Prometheus của bài 15 đã bật --web.enable-remote-write-receiver); không dùng trong bài này.

Mailu webmail (admin@hoatranlabs.local): email từ alerts@hoatranlabs.local, tiêu đề '[LOKI] SSHBruteForce - critical' khi alert SSHBruteForce được kích hoạt.
Mailu webmail ([email protected]): email từ [email protected], tiêu đề '[LOKI] SSHBruteForce - critical' khi alert SSHBruteForce được kích hoạt.

4.3 Prometheus Monitoring (Loki và Alloy)

# Thêm vào /opt/prometheus/prometheus.yml trên VM235 (mục scrape_configs là mục cuối của file), rồi nạp lại:
#   curl -X POST http://10.11.45.35:9090/-/reload
  - job_name: 'loki'
    static_configs:
      - targets: ['10.11.45.35:3100']
    metrics_path: /metrics

  - job_name: 'alloy'
    metrics_path: /metrics
    static_configs:
      - targets: ['10.11.45.35:12345']   # alloy trên VM235 (prometheus)
      # Thêm các VM khác khi cài Alloy (cùng danh sách với mục 2 và checklist):
      - targets: ['10.11.45.25:12345']   # VM280 wazuh-siem
      - targets: ['10.11.35.46:12345']   # VM246 mailu
      - targets: ['10.11.45.53:12345']   # VM247 pihole
      - targets: ['10.11.25.42:12345']   # VM242 step-ca
      - targets: ['10.11.25.40:12345']   # VM234 authentik
      - targets: ['10.11.45.40:12345']   # VM240 gitea
      - targets: ['10.11.25.10:12345']   # VM269 vault
      - targets: ['10.11.25.11:12345']   # VM270 thehive

Prometheus chạy trong container nên khi scrape 10.11.45.35:12345 (Alloy của chính VM235) lưu lượng đi từ mạng Docker monitoring vào cổng của host. Nếu VM235 bật UFW, thêm ufw allow from 172.16.0.0/12 to any port 12345 proto tcp (dải mạng Docker; cần kiểm lại trên máy thật).

Prometheus → Status → Targets: job 'loki' (10.11.45.35:3100) và job 'alloy' (các target :12345 của VM đã cài Alloy) ở trạng thái UP, không có lỗi scrape.
Prometheus → Status → Targets: job 'loki' (10.11.45.35:3100) và job 'alloy' (các target :12345 của VM đã cài Alloy) ở trạng thái UP, không có lỗi scrape.

Rule cảnh báo cho chính Loki và Alloy (đặt vào thư mục rule của bài 15 rồi nạp lại Prometheus):

cat > /opt/prometheus/rules/loki-alloy.yml << 'EOF'
groups:
  - name: loki-alloy
    rules:
      - alert: LokiDown
        expr: up{job="loki"} == 0
        for: 3m
        labels:
          severity: critical
        annotations:
          summary: "Loki trên {{ $labels.instance }} không phản hồi"

      - alert: AlloyDown
        expr: up{job="alloy"} == 0
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "Không scrape được Alloy trên {{ $labels.instance }} (VM tắt, dịch vụ alloy dừng hoặc bị chặn cổng 12345)"

      - alert: AlloyComponentUnhealthy
        expr: alloy_component_controller_running_components{health_type!="healthy"} > 0
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "Alloy trên {{ $labels.instance }} có component không khỏe (mở Alloy UI, mục 2.4)"

      - alert: AlloyDroppingLogs
        expr: increase(loki_write_dropped_entries_total[10m]) > 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "Alloy trên {{ $labels.instance }} đang bỏ log vì không gửi được tới Loki"

      - alert: LokiDataDiskFilling
        expr: |
          (1 - node_filesystem_avail_bytes{instance="10.11.45.35:9100", mountpoint="/opt/loki/data"}
             / node_filesystem_size_bytes{instance="10.11.45.35:9100", mountpoint="/opt/loki/data"}) > 0.80
        for: 15m
        labels:
          severity: warning
        annotations:
          summary: "Đĩa dữ liệu Loki (/opt/loki/data) dùng trên 80%: giảm retention_period hoặc nới đĩa (mục 1.1)"
EOF
curl -X POST http://10.11.45.35:9090/-/reload

Các rule này đi qua route mặc định default của Alertmanager (email qua Mailu). Rule LokiDataDiskFilling dựa vào nhãn mountpoint="/opt/loki/data" của node_exporter chạy trong container (nếu không thấy, kiểm node_filesystem_size_bytes trong Prometheus; cần kiểm lại trên máy thật). Rule firewall FortiGate cần có (bổ sung vào bảng ở bài 15, Bước 9):

NguồnĐíchCổngMục đích
8 VM chạy Alloy10.11.45.353100/tcpAlloy đẩy log vào Loki
10.11.45.36 (Grafana)10.11.45.353100/tcpGrafana truy vấn Loki
10.11.45.358 VM chạy Alloy12345/tcpPrometheus scrape Alloy

Cổng Docker đã publish (như 3100 của Loki) đi vòng qua UFW của host, nên việc chặn/mở 3100 làm ở FortiGate (hoặc chuỗi DOCKER-USER), không làm bằng ufw.

4.4 step-CA — TLS cho Loki API (tùy chọn)

# Trên VM235, lấy cert từ step-CA (VM242)
step ca certificate loki.hoatranlabs.local \
  /opt/loki/config/loki.crt \
  /opt/loki/config/loki.key \
  --ca-url https://step-ca.hoatranlabs.local:9000 \
  --root /usr/local/share/ca-certificates/hoatranlabs-root.crt

# Container Loki chạy UID 10001 nên phải đọc được cert/key
chown 10001:10001 /opt/loki/config/loki.crt /opt/loki/config/loki.key

Thư mục /opt/loki/config được mount vào container thành /etc/loki (compose mục 1.3) nên container thấy loki.crt/loki.key ở /etc/loki/. Cập nhật loki.yaml để enable TLS:

server:
  http_tls_config:
    cert_file: /etc/loki/loki.crt
    key_file: /etc/loki/loki.key

Áp dụng bằng cd /opt/prometheus && docker compose up -d loki. Lưu ý: khi Loki phục vụ HTTPS thì mọi client phải đổi sang https://loki.hoatranlabs.local:3100 (cert chỉ có SAN loki.hoatranlabs.local, không dùng IP) và tin cậy root CA: LOKI_PUSH_URL trong /etc/default/alloy của mọi VM (rồi systemctl restart alloy; VM đã cài root CA ở bài 13 thì Alloy tin cậy sẵn qua kho chứng chỉ hệ thống), datasource Grafana (mục 3.1), job loki của Prometheus (mục 4.3: thêm scheme: https và tls_config.ca_file), và healthcheck trong compose (mục 1.3: đổi lệnh thành ["CMD", "/usr/bin/loki", "-health", "-health.url=https://loki.hoatranlabs.local:3100/ready"]; cách loki -health xử lý chứng chỉ cần kiểm lại trên máy thật).

4.5 PBS Backup — Không cần backup Loki data

Log là dữ liệu tạm thời (retention 14 ngày; log container 7 ngày, riêng auth 90 ngày). Chỉ backup config (gồm cả thư mục rules/). Cấu hình Alloy tái tạo được bằng install-alloy.sh nên không cần backup từng VM:

# Cài proxmox-backup-client (bản liên kết tĩnh) từ repository client-only công khai của Proxmox.
# Suite trixie của repo pbs-client có gói proxmox-backup-client-static (chỉ phụ thuộc qrencode), không phụ thuộc
# glibc của Ubuntu 24.04; lệnh sử dụng vẫn là proxmox-backup-client. Nguồn dạng deb822 + Signed-By (không dùng apt-key).
# Chạy trên Ubuntu 24.04 (noble): cần kiểm lại trên máy thật.
wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg \
  -O /usr/share/keyrings/proxmox-archive-keyring.gpg
cat > /etc/apt/sources.list.d/pbs-client.sources << 'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pbs-client
Suites: trixie
Components: main
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt update && apt install -y proxmox-backup-client-static

# Backup config Loki vào PBS (file-level từ trong VM235, hostname prometheus)
# API token vm-backup@pbs!prometheus + namespace vm-prometheus (tạo theo bài 04, mục 5.7);
# PBS_PASSWORD là secret của token đó
export PBS_PASSWORD="<TOKEN_SECRET>"
proxmox-backup-client backup \
  loki-config.pxar:/opt/loki/config \
  --repository "vm-backup@[email protected]:syno-primary" \
  --ns vm-prometheus
05

Kiểm tra & Xác minh

# 1. Loki health
curl -s http://10.11.45.35:3100/ready
curl -s http://10.11.45.35:3100/loki/api/v1/labels | python3 -m json.tool

# 2. Push test log thủ công
curl -s -X POST http://10.11.45.35:3100/loki/api/v1/push \
  -H "Content-Type: application/json" \
  -d '{"streams":[{"stream":{"job":"test","host":"manual"},"values":[["'$(date +%s%N)'","test log entry from curl"]]}]}'

# 3. Query log vừa push
curl -s "http://10.11.45.35:3100/loki/api/v1/query_range" \
  --data-urlencode 'query={job="test"}' \
  --data-urlencode "start=$(date -d '5 minutes ago' +%s)000000000" \
  --data-urlencode "end=$(date +%s)000000000" | python3 -m json.tool

# 4. Kiểm tra Alloy agent đang ship log (chạy trên VM agent)
systemctl status alloy --no-pager
curl -fsS http://localhost:12345/-/ready
curl -fsS http://localhost:12345/-/healthy
curl -s http://localhost:12345/metrics | grep -E '^(loki_write_sent_entries_total|loki_source_file_read_lines_total)'
journalctl -u alloy -n 30 --no-pager

# 5. Kiểm tra trong Grafana (Explore → Loki → {host="<vm-name>"})
echo "Mở http://10.11.45.36:3000 → Explore → chọn Loki datasource"
echo 'Query: {job="syslog"} | last 1h'

# 6. Kiểm tra container Loki trên VM235 (image distroless: không có shell trong container)
docker compose -f /opt/prometheus/docker-compose.yml ps loki
docker logs loki --tail=20

# 7. Dung lượng data Loki (đĩa dữ liệu 30 GB, mount riêng)
du -sh /opt/loki/data/
df -h /opt/loki/data

# 8. Ruler đã nạp rule
curl -s http://10.11.45.35:3100/prometheus/api/v1/rules | python3 -m json.tool | head -20
Terminal: /ready trả 'ready', /labels liệt kê nhãn job/host/env, và query_range trả dòng 'test log entry from curl' vừa push.
Terminal: /ready trả 'ready', /labels liệt kê nhãn job/host/env, và query_range trả dòng 'test log entry from curl' vừa push.
06

Tùy chọn: Lưu trữ log trên SeaweedFS S3

Khi dữ liệu log không còn vừa đĩa dữ liệu 30 GB của VM235 (hoặc cần HA), chuyển sang object storage S3 của lab: SeaweedFS (bài 32), host s3 (s3.hoatranlabs.local, 10.11.85.10, VLAN 85). Bài 32 tạo bucket loki và một access key riêng cho Loki chỉ có quyền trên bucket đó (tên bucket và tài khoản khớp bài 32). Phần việc ở bài này là cấu hình Loki.

Điều kiện về phiên bản. Từ Loki 3.6 client S3 dùng AWS SDK v2. Issue grafana/loki#24206 ghi các bản 3.6.11 đến 3.6.15 và 3.7.0 đến 3.7.6 gửi PutObject kèm checksum SHA-256 theo kiểu aws-chunked: một số máy chủ S3 không phải AWS từ chối (lỗi 501/400), một số lưu sai nội dung mà không báo lỗi; bản sửa có trong 3.6.16 và 3.7.7. Bài ghim 3.7.8 nên đã có bản sửa; không hạ xuống 3.7.0–3.7.6 khi dùng S3. SeaweedFS không được nêu trong issue, nên việc ghi và đọc chunk/index giữa Loki 3.7.8 và SeaweedFS cần kiểm lại trên máy thật (xem log docker logs loki ngay sau khi đổi).

Khóa truy cập không để trong loki.yaml (tệp này được backup lên PBS): đặt vào tệp môi trường, Loki thay ${...} khi chạy với cờ -config.expand-env=true.

install -m 600 /dev/null /opt/loki/loki.env
cat > /opt/loki/loki.env << 'EOF'
LOKI_S3_ACCESS_KEY=<ACCESS_KEY của tài khoản dịch vụ loki trên SeaweedFS>
LOKI_S3_SECRET_KEY=<SECRET_KEY của tài khoản dịch vụ loki trên SeaweedFS>
EOF

Trong compose (mục 1.3), service loki thêm env_file và cờ expand-env:

env_file:
      - /opt/loki/loki.env
    command: -config.file=/etc/loki/loki.yaml -config.expand-env=true

Cập nhật /opt/loki/config/loki.yaml. Cách giữ log cũ (khuyến nghị): thêm khối storage_config.aws và một dòng schema mới bắt đầu từ ngày CHƯA tới; log trước ngày đó vẫn đọc từ đĩa cục bộ, log từ ngày đó ghi vào S3:

# Loki gọi https://s3.hoatranlabs.local (cert step-CA) nên tin cậy root CA nhờ file đã mount ở compose mục 1.3
# (/usr/local/share/ca-certificates/hoatranlabs-root.crt -> /etc/ssl/certs/hoatranlabs-root.crt trong container).
# Nếu S3 API của bài 32 không chạy ở cổng 443 thì ghi cả cổng: endpoint: s3.hoatranlabs.local:<cổng>
storage_config:
  aws:
    endpoint: s3.hoatranlabs.local
    region: us-east-1                      # SeaweedFS không dùng region thật; giá trị tùy ý
    bucketnames: loki
    access_key_id: ${LOKI_S3_ACCESS_KEY}
    secret_access_key: ${LOKI_S3_SECRET_KEY}
    s3forcepathstyle: true                 # lab không có DNS wildcard cho kiểu virtual-hosted
    insecure: false
    http_config:
      ca_file: /etc/ssl/certs/hoatranlabs-root.crt

schema_config:
  configs:
    - from: 2024-01-01                     # giữ nguyên dòng cũ: dữ liệu đã có nằm trên đĩa
      store: tsdb
      object_store: filesystem
      schema: v13
      index:
        prefix: index_
        period: 24h
    - from: 2026-11-01                     # ĐỔI thành ngày mai (hoặc muộn hơn) tính từ lúc áp dụng
      store: tsdb
      object_store: s3
      schema: v13
      index:
        prefix: index_
        period: 24h

Áp dụng: cd /opt/prometheus && docker compose up -d loki. Giữ delete_request_store: filesystem trong compactor cho tới khi log trên đĩa hết hạn retention (tối đa 90 ngày với auth); sau đó có thể đổi thành s3 và xóa dòng schema cũ khi không còn dữ liệu cũ cần đọc (hành vi retention khi chạy hai store cùng lúc cần kiểm lại trên máy thật).

Cách bỏ log cũ (đơn giản): nếu không cần giữ log trên đĩa, thay khối common.storage.filesystem bằng common.storage.s3 cùng các khóa như storage_config.aws ở trên, đổi object_store: filesystem thành s3 trong dòng schema duy nhất và delete_request_store: s3 trong compactor; log cũ trong /opt/loki/data sẽ không còn truy vấn được.

Kiểm tra: docker logs loki --tail=50 không còn lỗi S3, bucket loki trên SeaweedFS xuất hiện đối tượng sau vài phút (cách liệt kê đối tượng xem bài 32), và truy vấn log mới trong Grafana Explore vẫn trả dữ liệu.

07

Di chuyển từ Promtail sang Alloy

Bảng ánh xạ Promtail → Alloy · Chuyển cấu hình bằng alloy convert · Chuyển sang Alloy mà không nạp trùng log

Dành cho hệ thống đang chạy Promtail (bản bài cũ dùng Promtail 3.3.2). Với hệ thống mới dựng theo bài này thì bỏ qua mục này.

7.1 Bảng ánh xạ Promtail → Alloy

PromtailAlloy
server.http_listen_port: 9080 (UI và metrics)Cờ --server.http.listen-addr=...:12345 trong CUSTOM_ARGS của /etc/default/alloy
server.grpc_listen_port: 0Không có tương đương
positions.filenameTự lưu trong --storage.path (/var/lib/alloy/data), mỗi component một thư mục
clients[].url, backoff_configloki.write với khối endpoint (url, min_backoff_period, max_backoff_period, max_backoff_retries)
scrape_configs[].static_configs + __path__local.file_match (hoặc khối file_match của loki.source.file) + loki.source.file
labels: của static_configsKhóa phụ trong từng phần tử path_targets, ví dụ "job" = "syslog"
journal:loki.source.journal + loki.relabel (qua relabel_rules)
docker_sd_configsdiscovery.docker + loki.source.docker
relabel_configsloki.relabel (log) hoặc discovery.relabel (target), mỗi quy tắc là một khối rule
pipeline_stages: regex, labels, drop, match, static_labels, docker, cri, multiline, timestamp, json...loki.process với các khối stage.regex, stage.labels, stage.drop, stage.match, stage.static_labels...
Metrics promtail_sent_entries_total, promtail_read_lines_total, promtail_dropped_entries_totalloki_write_sent_entries_total, loki_source_file_read_lines_total, loki_write_dropped_entries_total
Web UI cổng 9080Alloy UI cổng 12345 (mục 2.4)
Cờ dòng lệnh (ví dụ -max-line-size) và biến môi trườngKhông tự chuyển: tự kiểm tra và đặt lại thủ công

Khác biệt cần nhớ: tên metrics đổi nên phải sửa cảnh báo và dashboard dựa trên promtail_*; log của Alloy khác định dạng log Promtail; vị trí file positions khác.

7.2 Chuyển cấu hình bằng alloy convert

Alloy có bộ chuyển đổi cấu hình Promtail. Chạy trên một VM đang có Promtail (đã cài alloy ở mục 2.1), ghi kết quả ra tệp tạm để xem trước chứ không ghi đè /etc/alloy/config.alloy:

alloy convert --source-format=promtail \
  --report=/tmp/promtail-convert-report.txt \
  --output=/tmp/config.alloy.converted \
  /etc/promtail/config.yaml

less /tmp/promtail-convert-report.txt          # cảnh báo: tính năng không chuyển được, cờ/biến môi trường bị bỏ
alloy validate /tmp/config.alloy.converted
Terminal trên VM đang chạy Promtail: alloy convert --source-format=promtail tạo /tmp/config.alloy.converted và báo cáo; alloy validate trả về không lỗi.
Terminal trên VM đang chạy Promtail: alloy convert --source-format=promtail tạo /tmp/config.alloy.converted và báo cáo; alloy validate trả về không lỗi.

Thêm --bypass-errors để có bản chuyển "tốt nhất có thể" khi bộ chuyển gặp lỗi không nghiêm trọng (tài liệu cảnh báo cần thử kỹ trước khi dùng thật). Chạy thử không cần lưu tệp: alloy run --config.format=promtail /etc/promtail/config.yaml (cờ --config.bypass-conversion-errors bỏ qua lỗi chuyển đổi, không dùng cho môi trường thật). Kết quả chuyển đổi là cấu hình đúng chức năng nhưng dài và đặt tên component theo quy tắc riêng; với lab này nên dùng cấu hình chuẩn của mục 2.2 và chỉ dùng alloy convert để đối chiếu hoặc khi Promtail có cấu hình tùy biến riêng.

7.3 Chuyển sang Alloy mà không nạp trùng log

Alloy không dùng file positions của Promtail. Nếu bật Alloy khi Promtail còn chạy, hoặc để Alloy đọc lại file từ đầu, log trong /var/log/syslog và auth.log sẽ vào Loki hai lần. Trình tự an toàn trên mỗi VM:

  1. Dừng Promtail trước: systemctl disable --now promtail (trên VM235: docker compose stop promtail-local).
  2. Chạy script với biến ALLOY_TAIL_FROM_END=true để Alloy chỉ đọc dòng mới ở lần đầu (thuộc tính tail_from_end của loki.source.file, chỉ có tác dụng khi chưa có vị trí đã lưu): sudo ALLOY_TAIL_FROM_END=true bash install-alloy.sh. Giữ giá trị true về sau cũng không sao vì Alloy đã có vị trí của chính nó.
  3. Cách khác: đặt legacy_positions_file = "/var/lib/promtail/positions.yaml" trong loki.source.file để dùng lại vị trí của Promtail. Tài liệu Alloy mô tả thuộc tính này cho file positions của Grafana Agent Static Mode; việc nó đọc được file positions của Promtail (và việc alloy convert tự điền thuộc tính này) cần kiểm lại trên máy thật, nên ưu tiên tail_from_end.
  4. Xác minh ở mục 5 (#4 và Explore) rồi mới gỡ Promtail (mục 7.4).

7.4 Gỡ Promtail

Trên các VM cài Promtail bằng binary (script cũ):

systemctl disable --now promtail
rm -f /etc/systemd/system/promtail.service /usr/local/bin/promtail
systemctl daemon-reload
# Sau khi đã xác nhận Alloy đẩy log bình thường:
rm -rf /etc/promtail /var/lib/promtail
userdel promtail

Trên VM235 (container promtail-local):

cd /opt/prometheus
docker compose rm -sf promtail-local
# Xóa khối service promtail-local khỏi docker-compose.yml (sửa tay), rồi:
rm -f /opt/loki/promtail-local.yaml
docker image rm grafana/promtail:3.3.2

Dọn các chỗ tham chiếu Promtail còn lại:

  • Prometheus: xóa job promtail (cổng 9080) khỏi prometheus.yml, thêm job alloy (mục 4.3), nạp lại (curl -X POST http://10.11.45.35:9090/-/reload).
  • Firewall: đổi rule cổng 9080 thành 12345 (mục 4.3); với host bật UFW, xóa rule 9080 cũ bằng ufw status numbered rồi ufw delete <số>.
  • Grafana và cảnh báo: truy vấn LogQL và rule vẫn giữ nguyên vì nhãn không đổi; chỉ dashboard/cảnh báo dựa trên metrics promtail_* cần đổi sang loki_write_* (bảng 7.1).
  • Docker: nhóm docker của user promtail biến mất cùng userdel; user alloy được thêm vào nhóm docker bởi script ở mục 2.2.
08

Troubleshooting

Vấn đềNguyên nhânGiải pháp
Loki container không startPermission /opt/loki/data hoặc lỗi cấu hìnhchown -R 10001:10001 /opt/loki/data; docker logs loki; kiểm cú pháp bằng -verify-config (mục 1.2). Image distroless nên docker exec loki sh không chạy được
Loki thoát ngay, log báo thiếu delete_request_storeBật retention mà không khai báo nơi lưu yêu cầu xóaThêm delete_request_store: filesystem vào compactor (mục 1.2)
Container loki không bao giờ healthyHealthcheck bản cũ dùng wget nhưng image không cóDùng ["CMD", "/usr/bin/loki", "-health"] (mục 1.3); bật TLS thì thêm -health.url (mục 4.4)
Loki lỗi ghi no space left on deviceĐĩa dữ liệu /opt/loki/data (30 GB) đầy; retention_period chỉ giới hạn theo thời giandf -h /opt/loki/data; giảm retention_period rồi chờ compactor xoá (retention_delete_delay); nới đĩa (mục 1.1) hoặc chuyển S3 (mục 6)
Alloy không đẩy log, journal báo dial tcp 10.11.45.35:3100: i/o timeout hoặc connection refusedFirewall giữa VLAN chặn 3100 hoặc Loki chưa chạyTừ VM agent chạy curl -s http://10.11.45.35:3100/ready; mở rule 3100 trên FortiGate (mục 4.3). Cổng Docker publish đi vòng qua UFW của host
alloy validate hoặc systemctl reload alloy báo lỗi cú phápSửa tay config.alloy saialloy validate /etc/alloy/config.alloy; khi nạp lại lỗi, Alloy giữ cấu hình cũ chạy tiếp (xem journalctl -u alloy)
Alloy: permission denied khi đọc /var/log/auth.logUser alloy thiếu nhóm admusermod -aG adm alloy && systemctl restart alloy (restart mới nhận nhóm mới)
Không có log journal dù component khỏeThiếu nhóm systemd-journal: component chạy không báo lỗi nhưng không đọc được gìusermod -aG systemd-journal alloy && systemctl restart alloy
Không có log container; permission denied ... docker.sockUser alloy chưa vào nhóm docker (hoặc VM cài Docker sau khi chạy script)Chạy lại install-alloy.sh hoặc usermod -aG docker alloy && systemctl restart alloy
Không có file /var/log/syslog hoặc auth.logVM không cài rsyslogapt install -y rsyslog rồi systemctl restart alloy
Không mở được Alloy UI từ máy quản trịCổng 12345 chỉ cho Prometheus (UFW) hoặc mặc định chỉ nghe localhostDùng đường hầm SSH (mục 2.4); không mở UFW cho cả mạng
Prometheus báo target alloy DOWNUFW/FortiGate chặn 12345 hoặc CUSTOM_ARGS còn nghe 127.0.0.1grep CUSTOM_ARGS /etc/default/alloy; ss -ltn phải thấy 0.0.0.0:12345 ở trạng thái LISTEN
HTTP 429 Ingestion rate limit exceededVượt giới hạn nạp logTăng ingestion_rate_mb và ingestion_burst_size_mb trong loki.yaml; Alloy tự thử lại khi gặp 429
maximum active stream limit exceeded / Loki ngốn RAMQuá nhiều stream do nhãn có quá nhiều giá trị (ví dụ đặt IP client làm nhãn); max_global_streams_per_user mặc định 5000Bỏ nhãn có số giá trị lớn khỏi stage.labels (lọc bằng line filter thay vì nhãn); chỉ tăng giới hạn khi cần
Dòng log bị từ chối entry too far behind / quá cũreject_old_samples_max_age: 168h từ chối log cũ hơn 7 ngàyDùng tail_from_end = true hoặc nới reject_old_samples_max_age nếu thật sự cần nạp log cũ
Log cũ hơn 14 ngày vẫn cònCompactor chưa chạy hoặc stream thuộc retention_stream dài hơn (auth 90 ngày)Kiểm compactor (retention_enabled: true) và retention_stream; docker compose restart loki; chờ retention_delete_delay
Grafana không thấy LokiDatasource URL saiDùng http://10.11.45.35:3100 (Grafana ở VM236, khác host với Loki nên không dùng tên service loki)
Alert không gửi emailSai alertmanager_url trong loki.yaml hoặc thiếu route source="loki"Verify alertmanager_url: http://alertmanager:9093; curl -s http://10.11.45.35:3100/prometheus/api/v1/rules; xem route ở mục 4.2
Loki với S3: lỗi 501 / 400 / dữ liệu hỏngLoki 3.6.11–3.6.15 hoặc 3.7.0–3.7.6 gửi checksum aws-chunkedDùng Loki 3.7.7 trở lên (bài ghim 3.7.8); xem mục 6

Checklist triển khai

  • Backup docker-compose.yml VM235 trước khi sửa
  • Đĩa dữ liệu Loki (xdisk 30 GB, /dev/sdb) đã định dạng và gắn tại /opt/loki/data (df -h /opt/loki/data)
  • Thư mục /opt/loki/data tạo với owner 10001:10001; loki.yaml qua -verify-config
  • Loki container healthy, /ready trả về ready, loki_build_info báo 3.7.8
  • Kho apt.grafana.com dạng deb822 .sources (Signed-By), apt-cache policy alloy thấy 1.20.1-1
  • Alloy trên VM235 chạy (/-/ready OK) và log VM235 xuất hiện trong Loki
  • Grafana datasource Loki (uid loki) thêm thành công
  • Dashboard "Lab Logs" hiển thị trong thư mục Logs; Drilldown → Logs mở được
  • Alloy cài trên VM280, VM246, VM247, VM242, VM234, VM240, VM269, VM270
  • UFW/FortiGate: cổng 12345 chỉ mở cho 10.11.45.35, cổng 3100 mở cho VM agent và VM236
  • Test query log từ Grafana Explore
  • Alert rule SSHBruteForce active trong Loki ruler
  • Alertmanager route email hoạt động (test bằng cách trigger manually)
  • Prometheus scrape Loki và Alloy thành công; rule loki-alloy.yml đã nạp
  • Không còn Promtail (service, container, job Prometheus, rule firewall 9080) nếu trước đó đã cài
  • PBS backup config Loki

Tài liệu tham khảo

Zalo