Loki + Alloy Log Aggregation
Tập trung log toàn bộ VM — hoàn thiện Grafana observability stack.
Bối cảnh & Lý do triển khai
Hạ tầng hiện có 30 VM chạy độc lập, mỗi VM lưu log riêng trong /var/log/. Khi xảy ra sự cố (tấn công, lỗi service, crash), team phải SSH vào từng máy đọc log thủ công — mất thời gian và dễ bỏ sót. Grafana Loki cung cấp trung tâm thu thập log cho toàn bộ hạ tầng, tích hợp trực tiếp với Grafana đang chạy trên VM236, cho phép tương quan log với metrics trong cùng dashboard.
Loki được triển khai trên VM235 hiện có (cùng stack docker compose với Prometheus và Alertmanager của bài 15; Grafana chạy riêng trên VM236) để tận dụng tài nguyên và không tốn VMID/IP mới. Phía các VM, tác nhân thu log là Grafana Alloy (dịch vụ systemd alloy), thay cho Promtail đã hết vòng đời.
qm set 235 --memory 16384 rồi restart VM. Về đĩa, theo kế hoạch dung lượng của bài 07 (mục 8.4–8.6; tổng 800 GB SSD + 1 TB HDD, thin provisioning), VM235 có disk 40 GB trên SSD vm-ceph (hệ điều hành, Docker, TSDB Prometheus 15 ngày ≤ 8 GB ở bài 15) và đĩa dữ liệu xdisk 30 GB trên HDD vm-bulk, gắn riêng tại /opt/loki/data cho Loki (mục 1.1), nên không phải nới đĩa hệ điều hành; chỉ nới bằng qm resize khi đo thấy thật sự cần. Alloy được cài trên VM235 và 8 VM trọng yếu (mục 2: Wazuh, Mailu, Pi-hole, step-CA, Authentik, Gitea, Vault, TheHive); gói .deb của Alloy chiếm khoảng 545 MiB đĩa sau khi cài (Installed-Size 558175 KiB trong kho apt), VM khác muốn đẩy log thì cài tương tự bằng cùng script. Mức RAM và CPU thực tế của Alloy trên từng VM cần đo trên máy thật.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong doanh nghiệp | Tập trung log từ các VM trọng yếu (mở rộng thêm VM khi cần): syslog, auth.log, journald, container Docker, Nginx; tra cứu và cảnh báo bằng LogQL |
| Tác dụng chính | Tra cứu log gần thời gian thực, tương quan với metrics Prometheus trong Grafana, cảnh báo dựa trên log (Loki ruler gửi sang Alertmanager) |
| Nếu không triển khai | Debug sự cố phải SSH từng VM, không có audit trail tập trung |
| Các service phụ thuộc vào đây | Grafana (datasource và dashboard log), Alertmanager (nhận cảnh báo log-based từ Loki ruler), Prometheus (scrape metrics của Loki và Alloy) |
Phiên bản: 2.0 | Ngày cập nhật: 2026-10-15 (chuyển tác nhân thu log từ Promtail sang Grafana Alloy; Loki 3.7.8; Alloy 1.20.1; Ubuntu Server 24.04 LTS)
Cluster: HOATRANHUB (PVE 9.2.20) | Tác giả: HoatranLabs
job, host, env, container, status) nên mọi truy vấn LogQL, dashboard và rule cũ vẫn dùng được. Người đang chạy Promtail xem mục 7 (bảng ánh xạ, alloy convert, cách gỡ).
Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15; cập nhật bài ngày 2026-10-15):
| Thành phần | Phiên bản | Ghi chú |
|---|---|---|
| Hệ điều hành VM235 và các VM cài Alloy | Ubuntu Server 24.04 LTS "Noble Numbat" (bản point mới nhất 24.04.5) | Hỗ trợ chuẩn tới 04/2029. Gói mặc định: Linux 6.8, systemd 255, UFW. Chi tiết cài OS ở bài của từng VM |
| Loki | 3.7.8 (image grafana/loki:3.7.8, ghim; phát hành 2026-09-17) | Bản stable mới nhất của dòng 3.x trên github.com/grafana/loki/releases ngày 2026-10-15 (cùng ngày còn có 3.6.17 cho dòng cũ). Tag đã kiểm tồn tại trên Docker Hub (amd64, arm64, armv7). Image distroless: không có shell, wget, curl. Từ 3.7.7 có bản sửa lỗi aws-chunked khi dùng S3 không phải AWS (mục 6) |
| Grafana Alloy | 1.20.1 (gói apt alloy=1.20.1-1, kho apt.grafana.com suite stable; phát hành 2026-09-28) | Bản stable mới nhất trên github.com/grafana/alloy/releases; 1.21.0-rc.0 (2026-10-14) là pre-release nên không dùng. Gói .deb khoảng 166 MB. Dịch vụ alloy.service chạy bằng user alloy |
| Promtail | Không dùng nữa (EOL 2026-03-02) | Thay bằng Alloy; mục 7 hướng dẫn chuyển cấu hình và gỡ |
| Docker Engine + Compose plugin (VM235 và các host Docker) | Theo bài 15: repo download.docker.com, suite noble (bản mới nhất đã thấy 29.9.1) | Bài này không cài Docker; chỉ thêm service vào compose có sẵn. Alloy 1.20.1 đọc /var/run/docker.sock bằng thư viện moby/moby/client v0.6.0 (theo go.mod của Alloy); chạy loki.source.docker với Docker 29 cần kiểm lại trên máy thật |
| Grafana (VM236) | Image grafana/grafana:latest theo bài 15 | Logs Drilldown (menu Drilldown → Logs) cần Loki 3.2 trở lên; trang tài liệu Grafana ngày 2026-10-15 ghi yêu cầu Grafana 13.2 trở lên — bài 15 chưa ghim phiên bản nên cần kiểm lại bản đang chạy |
| proxmox-backup-client-static | Gói từ repo pbs-client, suite trixie | Bản liên kết tĩnh, không phụ thuộc glibc của noble; chạy trên noble cần kiểm lại trên máy thật |
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| prometheus (Prometheus + Alertmanager) · VM235 | 10.11.45.35 | 45 (MGMT) · node2 | Máy chủ của bài — VM235 hiện có (bài 15), thêm container Loki cổng 3100 và Alloy (systemd) cổng 12345; Loki ruler gửi alert sang Alertmanager, Prometheus scrape Loki và Alloy. |
| node2 (Proxmox VE) | 10.11.45.211 | 45 (MGMT) · cluster HOATRANHUB | Node Proxmox chứa VM235; nâng RAM VM lên tối thiểu 12 GB (khuyến nghị 16 GB) bằng qm set 235 --memory 16384 rồi restart. |
| grafana (Grafana + Uptime Kuma + Gotify) · VM236 | 10.11.45.36 | 45 (MGMT) · node2 | Thêm datasource Loki (file provisioning loki.yaml, URL cổng 3100), dashboard Lab Logs và tra log qua Explore hoặc Drilldown (bài 15). |
| ops01 (Ansible/OpenTofu + bastion) · VM290 | 10.11.45.20 | 45 (MGMT) · node2 | Chạy install-alloy.sh hoặc playbook Ansible để cài Alloy hàng loạt lên các VM Ubuntu 24.04 (bài 07). |
| wazuh-siem (Wazuh SIEM) · VM280 | 10.11.45.25 | 45 (MGMT) · node1 | Cài Alloy (systemd) đẩy syslog, auth và log container Docker về Loki cổng 3100; Prometheus scrape Alloy cổng 12345 (bài 17). |
| mailu (Mailu Mail Server) · VM246 | 10.11.35.46 | 35 (DMZ) · node2 | Cài Alloy (host Docker thu log container bằng loki.source.docker); nhận email cảnh báo Loki từ Alertmanager qua smarthost cổng 587 STARTTLS (bài 16). |
| pihole (Pi-hole DNS) · VM247 | 10.11.45.53 | 45 (MGMT) · node3 | Cài Alloy; bản ghi loki.hoatranlabs.local (tạo ở bài 12) cho phép truy cập Loki bằng tên thay vì IP. |
| step-ca (step-CA PKI) · VM242 | 10.11.25.42 | 25 (SEC) · node1 | Cài Alloy; tùy chọn cấp chứng chỉ TLS cho API Loki (loki.hoatranlabs.local) bằng step ca certificate (bài 13). |
| authentik (Authentik SSO) · VM234 | 10.11.25.40 | 25 (SEC) · node1 | Cài Alloy; host Docker nên thu log container bằng loki.source.docker (bài 14). |
| gitea (Gitea + Actions) · VM240 | 10.11.45.40 | 45 (MGMT) · node2 | Cài Alloy đẩy log về Loki; Prometheus scrape Alloy cổng 12345 (bài 22). |
| vault (HashiCorp Vault) · VM269 | 10.11.25.10 | 25 (SEC) · node1 | Cài Alloy đẩy log về Loki; Prometheus scrape Alloy cổng 12345 (bài 34). |
| thehive (TheHive + Cortex) · VM270 | 10.11.25.11 | 25 (SEC) · node2 | Cài Alloy đẩy log về Loki; Prometheus scrape Alloy cổng 12345 (bài 35). |
| s3 (SeaweedFS S3 Object Storage) · VM268 | 10.11.85.10 | 85 (STORAGE) · node1 | Tùy chọn backend S3 cho Loki: bucket loki và tài khoản dịch vụ riêng tại s3.hoatranlabs.local khi log vượt đĩa dữ liệu 30 GB của VM235 hoặc cần HA (bài 32). |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Nhận backup file-level cấu hình Loki (/opt/loki/config) bằng proxmox-backup-client, token vm-backup@pbs!prometheus (bài 04). |
| syno-primary (Synology NAS) | 10.11.45.16 | 45 (MGMT) · NAS | NAS chứa datastore syno-primary — đích lưu bản backup cấu hình Loki; dữ liệu log không backup vì retention 14 ngày (bài 04). |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local.
Thông tin Stack VM235 (mở rộng)
| Thông số | Giá trị |
|---|---|
| VMID | 235 (đã có) |
| Hostname | prometheus |
| IP | 10.11.45.35/24 |
| Gateway | 10.11.45.1 |
| VLAN | 45 (VLAN_MGMT) |
| Thêm vào stack | Loki :3100 (container loki), Alloy :12345 (dịch vụ systemd trên host) |
| Storage Loki | /opt/loki/data (local FS trên đĩa xdisk 30 GB, pool HDD vm-bulk, mount riêng; retention 14 ngày, log container 7 ngày, log auth 90 ngày) |
| Tùy chọn sau | SeaweedFS S3 s3.hoatranlabs.local, bucket loki (bài 32, mục 6 của bài này) |
Mở rộng Stack VM235 Hiện Có
SSH vào VM235 và kiểm tra stack hiện tại · Tạo thư mục và cấu hình Loki · Cập nhật docker-compose.yml — Thêm Loki
1.1 SSH vào VM235 và kiểm tra stack hiện tại
ssh [email protected]
sudo -i # các lệnh trong mục 1 chạy bằng root
cd /opt/prometheus # thư mục compose của VM235 (bài 15)
docker compose ps
Xác nhận Prometheus (:9090) và Alertmanager (:9093) đang chạy bình thường (Grafana :3000 chạy riêng trên VM236) trước khi tiếp tục.
Chuẩn bị đĩa dữ liệu cho Loki. VM235 dựng từ bài 07 có xdisk 30 GB (scsi1 trên pool HDD vm-bulk, thường là /dev/sdb, còn trống): log Loki ghi tuần tự theo chunk nên hợp với HDD, còn đĩa hệ điều hành disk 40 GB trên SSD dành cho hệ điều hành, Docker và TSDB Prometheus (≤ 8 GB, bài 15). Retention 14 ngày (retention_period: 336h, mục 1.2) ước tính khoảng 12 GB trên 30 GB (bài 07 mục 8.6; cần đo lại bằng du -sh /opt/loki/data). Loki chỉ giới hạn theo thời gian, không theo dung lượng, nên đĩa đầy là lỗi ghi; rule LokiDataDiskFilling (mục 4.3) cảnh báo khi đĩa dùng trên 80%. Nếu VM235 dựng từ ISO theo bài 15 và chưa có đĩa này, thêm trên node2 (VM đang chạy cũng được):
# Trên node2 (VM235 nằm ở node2): thêm đĩa dữ liệu 30 GB trên pool HDD (thin provisioning)
qm set 235 --scsi1 vm-bulk:30,discard=on
Định dạng và gắn đĩa vào /opt/loki/data (theo bài 07 mục 8.5). Chỉ chạy mkfs khi lsblk cho thấy /dev/sdb là đĩa 30 GB còn trống (cột FSTYPE trống); nhầm đĩa là mất dữ liệu:
lsblk -o NAME,SIZE,FSTYPE,MOUNTPOINT # đĩa mới thường là sdb
mkfs.ext4 -m 0 -L loki /dev/sdb
mkdir -p /opt/loki/data
echo "UUID=$(blkid -s UUID -o value /dev/sdb) /opt/loki/data ext4 defaults,noatime,nofail 0 2" >> /etc/fstab
systemctl daemon-reload && mount -a && df -h /opt/loki/data
Chỉ nới đĩa khi đo thấy thật sự cần (qm resize chỉ tăng, không giảm). Đĩa dữ liệu Loki:
# Trên node2: thêm 20 GiB cho đĩa dữ liệu (VM đang chạy cũng được)
qm resize 235 scsi1 +20G
# Trong VM235: mở rộng ext4 đặt thẳng trên /dev/sdb (không có phân vùng)
resize2fs /dev/sdb
df -h /opt/loki/data
Đĩa hệ điều hành scsi0 (SSD) nới tương tự: qm resize 235 scsi0 +10G trên node2, rồi trong VM235 (kiểm lsblk trước): VM dựng từ template bài 07 (cloud image, không LVM) chạy growpart /dev/sda 1 và resize2fs /dev/sda1; VM cài từ ISO với LVM (volume group ubuntu-vg) dùng khối lệnh sau thay cho hai lệnh đó:
apt install -y cloud-guest-utils
lsblk # xác định partition LVM (thường là sda3); nếu chưa thấy dung lượng mới:
# echo 1 > /sys/class/block/sda/device/rescan
growpart /dev/sda 3
pvresize /dev/sda3
lvextend -r -l +100%FREE /dev/ubuntu-vg/ubuntu-lv
df -h /
Sau khi chạy Loki, theo dõi du -sh /opt/loki/data và df -h /opt/loki/data (mục 5 #7); nếu log tăng nhanh thì giảm retention_period (ví dụ 168h = 7 ngày) hoặc chuyển sang S3 (mục 6).
1.2 Tạo thư mục và cấu hình Loki
mkdir -p /opt/loki/config/rules/fake /opt/loki/data
# "fake" là tên tenant mặc định khi auth_enabled: false; file rule của ruler đặt trong thư mục này (mục 4.2)
chown -R 10001:10001 /opt/loki/data # Loki chạy với UID 10001
Tạo file cấu hình Loki (schema v13 + chỉ mục TSDB là bắt buộc từ Loki 3.0; compactor bật retention; ruler đọc rule từ thư mục cấu hình):
cat > /opt/loki/config/loki.yaml << 'EOF'
auth_enabled: false
server:
http_listen_port: 3100
grpc_listen_port: 9096
log_level: info
common:
instance_addr: 127.0.0.1
path_prefix: /loki
storage:
filesystem:
chunks_directory: /loki/chunks
rules_directory: /etc/loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemory
query_range:
results_cache:
cache:
embedded_cache:
enabled: true
max_size_mb: 100
schema_config:
configs:
- from: 2024-01-01
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h # retention chỉ hoạt động khi chu kỳ index là 24h
# Cần cho Logs Drilldown (patterns). allow_structured_metadata, volume_enabled,
# discover_log_levels mặc định đã là true ở Loki 3.x nên không phải khai báo lại
pattern_ingester:
enabled: true
ruler:
alertmanager_url: http://alertmanager:9093
storage:
type: local
local:
directory: /etc/loki/rules
rule_path: /loki/rules-temp
ring:
kvstore:
store: inmemory
enable_api: true
limits_config:
retention_period: 336h # 14 ngày cho mọi stream (đĩa dữ liệu 30 GB, bài 07 mục 8.6)
retention_stream:
- selector: '{job="auth"}'
priority: 2
period: 2160h # log đăng nhập giữ 90 ngày
- selector: '{job="docker-containers"}'
priority: 1
period: 168h # log container giữ 7 ngày (khối lượng lớn nhất)
max_query_length: 2161h # đủ để truy vấn log auth 90 ngày (mặc định chỉ 30 ngày)
ingestion_rate_mb: 16
ingestion_burst_size_mb: 32
max_entries_limit_per_query: 50000
reject_old_samples: true
reject_old_samples_max_age: 168h
compactor:
working_directory: /loki/compactor
compaction_interval: 10m
retention_enabled: true
retention_delete_delay: 2h
retention_delete_worker_count: 150
delete_request_store: filesystem # bắt buộc khi retention_enabled; đổi thành s3 nếu chuyển hẳn sang S3 (mục 6)
analytics:
reporting_enabled: false
EOF
Các điểm khác cấu hình Loki 3.3 của bài cũ: delete_request_store phải khai báo tường minh khi bật retention (ghi chú nâng cấp 3.0); retention_stream cho phép giữ log auth lâu hơn log container; max_query_length mặc định chỉ 30 ngày nên phải nới khi có stream giữ 90 ngày. Kiểm tra cú pháp trước khi chạy bằng cờ -verify-config của Loki (Loki in "config is valid" rồi thoát; nếu bản image không nhận cờ này thì bỏ qua bước và xem docker logs loki sau khi chạy — cần kiểm lại trên máy thật):
docker run --rm -v /opt/loki/config:/etc/loki:ro grafana/loki:3.7.8 -config.file=/etc/loki/loki.yaml -verify-config
1.3 Cập nhật docker-compose.yml — Thêm Loki
Backup file hiện tại trước:
cp /opt/prometheus/docker-compose.yml /opt/prometheus/docker-compose.yml.bak-$(date +%Y%m%d)
Thêm service loki vào docker-compose.yml hiện có (append vào section services:):
# === LOKI LOG AGGREGATION ===
loki:
image: grafana/loki:3.7.8
container_name: loki
restart: unless-stopped
ports:
- "3100:3100"
volumes:
# Mount cả thư mục config (loki.yaml, rules/, và loki.crt/loki.key nếu bật TLS ở mục 4.4)
- /opt/loki/config:/etc/loki:ro
- /opt/loki/data:/loki
# Root CA step-CA (file có sẵn trên VM235 từ bài 15): để Loki tin cậy HTTPS tới SeaweedFS S3 s3.hoatranlabs.local (mục 6)
- /usr/local/share/ca-certificates/hoatranlabs-root.crt:/etc/ssl/certs/hoatranlabs-root.crt:ro
command: -config.file=/etc/loki/loki.yaml
user: "10001:10001"
networks:
- monitoring
healthcheck:
# Image distroless (không có shell, wget, curl) nên không dùng được CMD-SHELL wget như trước:
# dùng lệnh health tích hợp trong binary loki (mặc định gọi http://localhost:3100/ready, thành công khi HTTP 200)
test: ["CMD", "/usr/bin/loki", "-health"]
interval: 30s
timeout: 10s
retries: 3
start_period: 30s
Không còn container thu log trong compose: Alloy chạy dưới dạng dịch vụ systemd trên host VM235 và được cài ở mục 2 bằng cùng script với các VM khác.
1.4 Khởi động Loki
cd /opt/prometheus
docker compose config -q # kiểm tra cú pháp compose, im lặng nếu hợp lệ
docker compose up -d loki
docker compose ps loki # sau start_period phải là "healthy"
docker compose logs -f loki --tail=50
Kiểm tra Loki ready:
curl -s http://localhost:3100/ready
# Expected: ready (15 giây đầu có thể báo "Ingester not ready: waiting for 15s after being ready")
curl -s http://localhost:3100/metrics | grep loki_build_info
# Expected: loki_build_info{...,version="3.7.8"} 1
Cài đặt Alloy trên VM235 và các VM còn lại
Kho apt Grafana (deb822) và phiên bản gói · Script cài đặt hàng loạt install-alloy.sh · Chạy script trên từng VM hoặc hàng loạt
Alloy là bản phân phối OpenTelemetry Collector của Grafana, thay thế Promtail. Mỗi VM chạy một dịch vụ alloy đọc log cục bộ rồi đẩy về Loki. Thiết kế của bài: một tệp /etc/alloy/config.alloy giống hệt nhau trên mọi VM (tên máy lấy từ constants.hostname, URL Loki lấy từ biến LOKI_PUSH_URL trong /etc/default/alloy), chỉ thêm khối Docker hoặc Nginx khi VM có Docker hoặc Nginx.
Làm trên VM235 trước (đã có Loki), rồi lặp lại cho VM280, VM246, VM247, VM242, VM234, VM240, VM269, VM270 (và VM khác nếu cần). Các VM chạy Ubuntu Server 24.04. Hai nguồn syslog và auth.log đọc file do rsyslog ghi: nếu ls /var/log/syslog /var/log/auth.log báo không có file thì chạy apt install -y rsyslog trước (script ở mục 2.2 tự làm việc này).
2.1 Kho apt Grafana (deb822) và phiên bản gói
Kho apt.grafana.com dùng suite stable, component main, không gắn với codename Ubuntu nên dùng được cho noble (24.04). Trang cài đặt chính thức dùng tệp .list một dòng; bài dùng dạng deb822 .sources với Signed-By trỏ tới khóa ASCII-armored (apt 2.7 của Ubuntu 24.04 đọc trực tiếp, không cần gpg --dearmor, không dùng apt-key):
apt-get install -y wget ca-certificates
install -d -m 0755 /etc/apt/keyrings
wget -q -O /etc/apt/keyrings/grafana.asc https://apt.grafana.com/gpg-full.key
chmod 644 /etc/apt/keyrings/grafana.asc
cat > /etc/apt/sources.list.d/grafana.sources << 'EOF'
Types: deb
URIs: https://apt.grafana.com
Suites: stable
Components: main
Signed-By: /etc/apt/keyrings/grafana.asc
EOF
apt-get update
apt-cache policy alloy | head -4 # Candidate: 1.20.1-1 (bản mới nhất trong Packages ngày 2026-10-15)
Ghim phiên bản khi cài bằng apt-get install -y alloy=1.20.1-1; nâng cấp sau này chỉ cần đổi số bản. VM không ra được Internet: tải alloy-1.20.1-1.amd64.deb (đường dẫn pool/main/a/alloy/ trong kho) ở máy có mạng, scp sang VM rồi apt install ./alloy-1.20.1-1.amd64.deb.
2.2 Script cài đặt hàng loạt install-alloy.sh
Lưu thành install-alloy.sh (trên ops01 hoặc máy quản trị), chạy bằng root trên từng VM. Script chạy lại nhiều lần được; mỗi lần chạy ghi đè /etc/alloy/config.alloy và /etc/default/alloy.
#!/bin/bash
# install-alloy.sh — cài Grafana Alloy và đẩy log về Loki (bài 33). Chạy bằng root trên Ubuntu Server 24.04.
set -euo pipefail
ALLOY_VERSION="${ALLOY_VERSION:-1.20.1-1}" # phiên bản gói trong kho apt.grafana.com
LOKI_PUSH_URL="${LOKI_PUSH_URL:-http://10.11.45.35:3100/loki/api/v1/push}" # VM235; ngay trên VM235 dùng http://127.0.0.1:3100/loki/api/v1/push
PROM_IP="${PROM_IP:-10.11.45.35}" # Prometheus scrape Alloy tại cổng 12345
[ "$(id -u)" -eq 0 ] || { echo "Chạy bằng root (sudo -i)"; exit 1; }
# 1) Kho apt Grafana (deb822 + Signed-By, không dùng apt-key) và gói alloy
apt-get update -qq
apt-get install -y -qq wget ca-certificates
install -d -m 0755 /etc/apt/keyrings
wget -q -O /etc/apt/keyrings/grafana.asc https://apt.grafana.com/gpg-full.key
chmod 644 /etc/apt/keyrings/grafana.asc
cat > /etc/apt/sources.list.d/grafana.sources << 'EOF'
Types: deb
URIs: https://apt.grafana.com
Suites: stable
Components: main
Signed-By: /etc/apt/keyrings/grafana.asc
EOF
apt-get update -qq
apt-get install -y -qq "alloy=${ALLOY_VERSION}"
# 2) Nguồn file syslog/auth.log do rsyslog ghi
[ -f /var/log/syslog ] || apt-get install -y -qq rsyslog
# 3) Quyền đọc log cho user alloy: adm (syslog, auth.log, nginx), systemd-journal (journald)
usermod -aG adm,systemd-journal alloy
HAS_DOCKER=0
if command -v docker >/dev/null 2>&1 && [ -S /var/run/docker.sock ]; then
HAS_DOCKER=1
usermod -aG docker alloy # nhóm docker tương đương quyền root trên host: chỉ thêm trên VM cần thu log container
fi
HAS_NGINX=0
[ -d /var/log/nginx ] && HAS_NGINX=1
# 4) /etc/alloy/config.alloy — phần chung cho mọi VM
cat > /etc/alloy/config.alloy << 'EOF'
// Grafana Alloy 1.20.x — thu log về Loki (bài 33). Cấu hình giống nhau trên mọi VM:
// tên máy lấy từ constants.hostname, URL Loki lấy từ biến LOKI_PUSH_URL trong /etc/default/alloy.
// Kiểm tra cú pháp: alloy validate /etc/alloy/config.alloy · nạp lại: systemctl reload alloy
logging {
level = "warn"
format = "logfmt"
}
// ---- Đích: Loki trên VM235 ----
loki.write "lab" {
endpoint {
url = sys.env("LOKI_PUSH_URL")
min_backoff_period = "500ms"
max_backoff_period = "5m"
max_backoff_retries = 10
}
}
// ---- Nhãn chung cho mọi dòng log: host và env ----
loki.process "default" {
stage.static_labels {
values = {
host = constants.hostname,
env = "production",
}
}
forward_to = [loki.write.lab.receiver]
}
// ---- File log: /var/log/syslog (job=syslog) và /var/log/auth.log (job=auth), do rsyslog ghi ----
local.file_match "system" {
path_targets = [
{"__path__" = "/var/log/syslog", "job" = "syslog"},
{"__path__" = "/var/log/auth.log", "job" = "auth"},
]
}
// tail_from_end: khi chưa có vị trí đã lưu thì chỉ đọc dòng mới (đặt ALLOY_TAIL_FROM_END=true lúc cài để
// không nạp lại file cũ khi chuyển từ Promtail, mục 7.3); mặc định false = đọc từ đầu file
loki.source.file "system" {
targets = local.file_match.system.targets
tail_from_end = sys.env("ALLOY_TAIL_FROM_END") == "true"
forward_to = [loki.process.system.receiver]
}
// Bỏ dòng ồn trước khi gửi: phiên cron mở/đóng mỗi phút
loki.process "system" {
stage.drop {
expression = `CRON\[\d+\]: pam_unix\(cron:session\)`
drop_counter_reason = "cron_session"
}
forward_to = [loki.process.default.receiver]
}
// ---- journald: chỉ mức lỗi (priority 0-3 = emerg, alert, crit, err), kèm nhãn unit và level ----
// File syslog đã chứa gần như mọi thứ journald có, nên chỉ lấy mức lỗi để tránh gửi trùng
loki.relabel "journal" {
forward_to = []
rule {
source_labels = ["__journal_priority"]
regex = "[0-3]"
action = "keep"
}
rule {
source_labels = ["__journal__systemd_unit"]
target_label = "unit"
}
rule {
source_labels = ["__journal_priority_keyword"]
target_label = "level"
}
}
loki.source.journal "errors" {
relabel_rules = loki.relabel.journal.rules
labels = {job = "journal"}
forward_to = [loki.process.default.receiver]
}
EOF
if [ "$HAS_DOCKER" -eq 1 ]; then
cat >> /etc/alloy/config.alloy << 'EOF'
// ---- Docker: log container (job=docker-containers). Chỉ thêm khi VM có Docker ----
discovery.docker "local" {
host = "unix:///var/run/docker.sock"
refresh_interval = "10s"
filter {
name = "status"
values = ["running"]
}
}
loki.relabel "docker" {
forward_to = []
rule {
source_labels = ["__meta_docker_container_name"]
regex = "/(.*)"
target_label = "container"
}
// Nhãn của Docker Compose nằm trong container label (dấu "." đổi thành "_")
rule {
source_labels = ["__meta_docker_container_label_com_docker_compose_service"]
target_label = "service"
}
rule {
source_labels = ["__meta_docker_container_label_com_docker_compose_project"]
target_label = "compose_project"
}
}
// loki.source.docker đọc log qua Docker API nên dòng log đã là văn bản thuần, không cần stage.docker
loki.source.docker "local" {
host = "unix:///var/run/docker.sock"
targets = discovery.docker.local.targets
refresh_interval = "10s"
labels = {job = "docker-containers"}
relabel_rules = loki.relabel.docker.rules
forward_to = [loki.process.default.receiver]
}
EOF
fi
if [ "$HAS_NGINX" -eq 1 ]; then
cat >> /etc/alloy/config.alloy << 'EOF'
// ---- Nginx cài trên host: /var/log/nginx/*.log (job=nginx) ----
local.file_match "nginx" {
path_targets = [{"__path__" = "/var/log/nginx/*.log", "job" = "nginx"}]
}
loki.source.file "nginx" {
targets = local.file_match.nginx.targets
tail_from_end = sys.env("ALLOY_TAIL_FROM_END") == "true"
forward_to = [loki.process.nginx.receiver]
}
loki.process "nginx" {
stage.regex {
expression = `^(?P<remote_addr>\S+) .+ \[(?P<time_local>[^\]]+)\] "(?P<request>[^"]*)" (?P<status>\d+) (?P<body_bytes_sent>\d+)`
}
// Chỉ đặt nhãn cho status (ít giá trị, dùng cho rule NginxHighError5xx ở mục 4.2).
// Không đặt remote_addr làm nhãn: IP client có vô số giá trị, sinh quá nhiều stream trong Loki;
// cần lọc theo IP thì dùng line filter, ví dụ |= "192.0.2.10".
stage.labels {
values = {status = ""}
}
forward_to = [loki.process.default.receiver]
}
EOF
fi
chmod 644 /etc/alloy/config.alloy
# 5) /etc/default/alloy — biến môi trường của alloy.service
# Giao diện/metrics của Alloy nghe cổng 12345 (mặc định chỉ 127.0.0.1); mở ra mọi địa chỉ để Prometheus scrape,
# rồi giới hạn nguồn bằng UFW ở bước 7 (và FortiGate). Tắt pprof và báo cáo sử dụng ẩn danh.
cat > /etc/default/alloy << EOF
CONFIG_FILE="/etc/alloy/config.alloy"
CUSTOM_ARGS="--server.http.listen-addr=0.0.0.0:12345 --server.http.enable-pprof=false --disable-reporting"
RESTART_ON_UPGRADE=true
LOKI_PUSH_URL="${LOKI_PUSH_URL}"
ALLOY_TAIL_FROM_END="${ALLOY_TAIL_FROM_END:-false}"
EOF
# 6) Kiểm tra cú pháp rồi bật dịch vụ (restart để nhận nhóm adm/systemd-journal/docker mới)
LOKI_PUSH_URL="${LOKI_PUSH_URL}" ALLOY_TAIL_FROM_END="${ALLOY_TAIL_FROM_END:-false}" alloy validate /etc/alloy/config.alloy
systemctl enable alloy
systemctl restart alloy
# 7) UFW (nếu đang bật): chỉ Prometheus được vào cổng 12345
if ufw status 2>/dev/null | grep -q '^Status: active'; then
ufw allow from "${PROM_IP}" to any port 12345 proto tcp comment 'Prometheus scrape Alloy'
fi
sleep 3
systemctl is-active alloy
curl -fsS http://127.0.0.1:12345/-/ready || echo "(Alloy chưa ready — xem: journalctl -u alloy -n 50)"
curl -fsS http://127.0.0.1:12345/-/healthy || echo "(có component chưa healthy — xem Alloy UI, mục 2.4)"
Lưu ý: trên VM235 Alloy gửi tới Loki ngay trên máy (cổng 3100 đã publish); trên các VM khác gửi qua mạng tới 10.11.45.35:3100. Dùng IP thay vì loki.hoatranlabs.local cho tác nhân thu log để việc đẩy log không phụ thuộc DNS đúng lúc sự cố; muốn dùng tên thì đổi LOKI_PUSH_URL trong /etc/default/alloy (record loki.hoatranlabs.local ở mục 4.1).
2.3 Chạy script trên từng VM hoặc hàng loạt
Một VM (ví dụ VM235, Loki cùng máy):
scp install-alloy.sh [email protected]:/tmp/
ssh [email protected] 'sudo LOKI_PUSH_URL=http://127.0.0.1:3100/loki/api/v1/push bash /tmp/install-alloy.sh'
Hàng loạt từ ops01 (bài 07; sysadmin có sudo không hỏi mật khẩu theo template):
# VM235 trước (đích Loki là chính nó)
ssh [email protected] 'sudo LOKI_PUSH_URL=http://127.0.0.1:3100/loki/api/v1/push bash -s' < install-alloy.sh
# 8 VM trọng yếu
for h in wazuh-siem mailu pihole step-ca authentik gitea vault thehive; do
echo "=== $h ==="
ssh -o StrictHostKeyChecking=accept-new sysadmin@$h.hoatranlabs.local 'sudo bash -s' < install-alloy.sh
done
Hoặc bằng Ansible từ ops01 (inventory csv_inventory.py của bài 07 đặt tên host theo cột name của vms.csv). Lưu install-alloy.sh vào ~/lab-iac/ansible/files/ và playbook sau thành ~/lab-iac/ansible/playbooks/alloy.yml:
# Chạy: cd ~/lab-iac/ansible && ansible-playbook playbooks/alloy.yml
# Thử một VM: ansible-playbook playbooks/alloy.yml -e alloy_hosts=mailu
- name: Cài Grafana Alloy và đẩy log về Loki
hosts: "{{ alloy_hosts | default('prometheus,wazuh-siem,mailu,pihole,step-ca,authentik,gitea,vault,thehive') }}"
become: true
gather_facts: false
vars:
loki_url: "{{ 'http://127.0.0.1:3100/loki/api/v1/push' if inventory_hostname == 'prometheus' else 'http://10.11.45.35:3100/loki/api/v1/push' }}"
tasks:
- name: Chạy install-alloy.sh (chạy lại an toàn)
ansible.builtin.script: "{{ playbook_dir }}/../files/install-alloy.sh"
environment:
LOKI_PUSH_URL: "{{ loki_url }}"
- name: Chờ Alloy ready
ansible.builtin.uri:
url: http://127.0.0.1:12345/-/ready
register: alloy_ready
until: alloy_ready.status == 200
retries: 10
delay: 3
Playbook dùng lại đúng script nên cấu hình trên mọi VM luôn đồng nhất; chưa chạy thử trên máy thật.
2.4 Alloy UI và kiểm tra sức khoẻ
Mặc định giao diện web của Alloy (danh sách component và tình trạng của chúng, đồ thị, dữ liệu debug) chỉ nghe 127.0.0.1:12345. Trong bài, cổng 12345 được mở ra mọi địa chỉ (để Prometheus scrape /metrics) nhưng UFW chỉ cho 10.11.45.35 vào, pprof tắt. UI của Alloy không có xác thực và POST /-/reload có thể nạp lại cấu hình, vì vậy đừng mở cổng này ra ngoài Prometheus. Muốn xem UI từ máy quản trị, đi qua đường hầm SSH:
ssh -L 12345:127.0.0.1:12345 [email protected]
# rồi mở http://localhost:12345 trên máy quản trị: trang Home liệt kê component và trạng thái Healthy/Unhealthy
Các endpoint kiểm tra sức khoẻ (đã đối chiếu tài liệu Alloy):
| Endpoint | Ý nghĩa |
|---|---|
/-/ready | 200 "Alloy is ready." khi đã nạp xong cấu hình ban đầu; 503 nếu chưa |
/-/healthy | 200 khi mọi component khỏe; 500 kèm lỗi nếu có component lỗi (không dùng làm liveness probe vì khởi động lại không sửa được lỗi cấu hình/phụ thuộc) |
/metrics | Metrics của chính Alloy và các component, định dạng Prometheus |
POST /-/reload | Nạp lại cấu hình từ đĩa (cũng có thể systemctl reload alloy, gửi SIGHUP); nếu cấu hình mới lỗi, Alloy giữ cấu hình cũ |
Các biểu thức PromQL dùng để theo dõi sức khoẻ (chạy trong Prometheus sau khi thêm job alloy ở mục 4.3):
up{job="alloy"} == 0 # Alloy không scrape được
alloy_component_controller_running_components{health_type!="healthy"} > 0 # có component không khỏe
increase(loki_write_dropped_entries_total[10m]) > 0 # Alloy bỏ log vì Loki không nhận
rate(loki_write_sent_entries_total[5m]) # số dòng log gửi đi mỗi giây
Tên nhãn health_type lấy theo tài liệu metrics của Alloy; giá trị cụ thể cần kiểm lại trên máy thật.
Cấu hình Grafana Datasource & Dashboard
Thêm Loki datasource vào Grafana · Dashboard "Lab Logs" và Logs Drilldown
3.1 Thêm Loki datasource vào Grafana
Truy cập Grafana tại http://10.11.45.36:3000 → Connections → Data sources → Add new data source → Loki
URL: http://10.11.45.35:3100
Maximum lines: 5000
Hoặc dùng Grafana provisioning trên VM236 (tự động, khuyến nghị; thư mục provisioning đã được mount vào container ở bài 15). uid: loki cố định để dashboard ở mục 3.2 tham chiếu được:
cat > /opt/grafana-stack/grafana/provisioning/datasources/loki.yaml << 'EOF'
apiVersion: 1
datasources:
- name: Loki
uid: loki
type: loki
access: proxy
url: http://10.11.45.35:3100
isDefault: false
editable: false
jsonData:
maxLines: 5000
timeout: 60
EOF
cd /opt/grafana-stack && docker compose restart grafana
3.2 Dashboard "Lab Logs" và Logs Drilldown
Dashboard ID 13639 của bản bài cũ ("Logs / App") được viết cho nhãn app của Kubernetes nên không khớp nhãn của bài này. Thay vào đó provisioning một dashboard nhỏ dùng đúng các nhãn host, job, env, container: một provider đọc thư mục JSON, rồi tệp dashboard (cùng thư mục provisioning đã mount ở bài 15).
mkdir -p /opt/grafana-stack/grafana/provisioning/dashboards/json
cat > /opt/grafana-stack/grafana/provisioning/dashboards/loki-logs.yaml << 'EOF'
apiVersion: 1
providers:
- name: lab-logs
folder: Logs
type: file
allowUiUpdates: true
options:
path: /etc/grafana/provisioning/dashboards/json
EOF
cat > /opt/grafana-stack/grafana/provisioning/dashboards/json/lab-logs.json << 'EOF'
{
"uid": "lab-logs",
"title": "Lab Logs (Loki)",
"tags": ["loki", "logs"],
"schemaVersion": 39,
"time": {"from": "now-6h", "to": "now"},
"refresh": "1m",
"templating": {
"list": [
{
"name": "host", "label": "Host", "type": "query",
"datasource": {"type": "loki", "uid": "loki"},
"query": {"label": "host", "stream": "", "type": 1, "refId": "LokiVariableQueryEditor-VariableQuery"},
"refresh": 2, "includeAll": true, "multi": true, "allValue": ".+"
},
{"name": "search", "label": "Tìm chuỗi", "type": "textbox", "query": ""}
]
},
"panels": [
{
"id": 1, "type": "timeseries", "title": "Số dòng log mỗi giây theo host",
"gridPos": {"x": 0, "y": 0, "w": 12, "h": 8},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A", "legendFormat": "{{host}}",
"expr": "sum by (host) (rate({env=\"production\", host=~\"$host\"}[$__interval]))"}]
},
{
"id": 2, "type": "timeseries", "title": "Đăng nhập SSH thất bại theo host",
"gridPos": {"x": 12, "y": 0, "w": 12, "h": 8},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A", "legendFormat": "{{host}}",
"expr": "sum by (host) (count_over_time({job=\"auth\", host=~\"$host\"} |= \"Failed password\" [$__interval]))"}]
},
{
"id": 3, "type": "logs", "title": "Lỗi từ journald (priority 0-3)",
"gridPos": {"x": 0, "y": 8, "w": 24, "h": 8},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A", "expr": "{job=\"journal\", host=~\"$host\"}"}]
},
{
"id": 4, "type": "logs", "title": "Container: panic / fatal / segfault",
"gridPos": {"x": 0, "y": 16, "w": 24, "h": 8},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A", "expr": "{job=\"docker-containers\", host=~\"$host\"} |~ \"(?i)(panic|fatal|segfault)\""}]
},
{
"id": 5, "type": "logs", "title": "Tìm log theo ô Tìm chuỗi",
"gridPos": {"x": 0, "y": 24, "w": 24, "h": 10},
"datasource": {"type": "loki", "uid": "loki"},
"targets": [{"refId": "A", "expr": "{host=~\"$host\"} |= \"$search\""}]
}
]
}
EOF
cd /opt/grafana-stack && docker compose restart grafana
Dashboard xuất hiện trong thư mục Logs sau khi Grafana khởi động lại. Biến host lấy từ nhãn host của Loki; nếu Grafana hiển thị biến trống, mở Dashboard settings → Variables và chọn lại truy vấn nhãn host (định dạng truy vấn biến Loki thay đổi theo bản Grafana, cần kiểm lại trên máy thật).
Cách nhanh nhất để khám phá log mới là Drilldown → Logs (Logs Drilldown) của Grafana: duyệt theo nhãn, mức log, mẫu dòng log mà không cần viết LogQL. Loki đã bật sẵn các tùy chọn nó cần ở mục 1.2 (pattern_ingester, và mặc định volume_enabled, allow_structured_metadata, discover_log_levels).
Truy vấn LogQL mẫu (dùng trong Explore, dashboard hoặc rule):
# Tất cả log lỗi (log syslog/auth là văn bản thường, không phải JSON nên không dùng `| json`):
{env="production"} |= "error" | line_format "{{.host}} | {{__line__}}"
# SSH brute-force: số lần "Failed password" theo IP nguồn trong 5 phút, chỉ lấy IP > 5 lần
# (hàm count_over_time bao ngoài, khoảng thời gian [5m] đặt ở cuối pipeline, so sánh > 5 đặt sau cùng):
sum by (src_ip) (count_over_time({job="auth"} |= "Failed password" | regexp `from (?P<src_ip>\S+)` [5m])) > 5
# Log container báo lỗi nặng (panic/fatal/segfault; nhãn job đặt trong khối loki.source.docker ở mục 2.2;
# "container started/died" là sự kiện Docker daemon, không có trong log container):
{job="docker-containers"} |~ "(?i)(panic|fatal|segfault)"
# Lưu lượng log theo host (dòng/giây) và 5xx của Nginx host:
sum by (host) (rate({env="production"}[5m]))
sum by (host) (rate({job="nginx", status=~"5.."}[5m]))
# Lỗi journald theo service (nhãn unit) trong 1 giờ:
sum by (host, unit) (count_over_time({job="journal"}[1h]))
Loki 3.x tự gán nhãn service_name (lấy từ danh sách nhãn như service, container, job...) và siêu dữ liệu có cấu trúc detected_level cho từng dòng; bạn có thể thấy chúng trong Explore và lọc bằng | detected_level="error" (tên trường cần kiểm lại trên máy thật).
Tích hợp với hạ tầng
Pi-hole DNS · Alert Rules — Gửi email qua Mailu · Prometheus Monitoring (Loki và Alloy)
4.1 Pi-hole DNS
# Không cần DNS record riêng — Alloy đẩy log tới IP nội bộ (10.11.45.35:3100)
# Nếu muốn dùng domain: record loki.hoatranlabs.local → 10.11.45.35 đã có trong bảng VLAN_MGMT / script
# add_dns_records.sh của bài 12. Nếu chưa có, thêm trong Pi-hole Admin (http://10.11.45.53/admin)
# → Settings → Local DNS Records (Pi-hole chạy Docker, không dùng lệnh pihole -a trên host):
loki.hoatranlabs.local → 10.11.45.35
4.2 Alert Rules — Gửi email qua Mailu
Tạo Loki alert rule file. Ruler đọc thư mục /etc/loki/rules/<tenant>/ (tức /opt/loki/config/rules/fake/ trên host) và tự nạp lại định kỳ, không cần restart:
cat > /opt/loki/config/rules/fake/alert-rules.yaml << 'EOF'
groups:
- name: security-alerts
rules:
- alert: SSHBruteForce
expr: |
sum by (host) (
count_over_time({job="auth"} |= "Failed password" [5m])
) > 10
for: 2m
labels:
severity: critical
team: security
source: loki
annotations:
summary: "SSH brute force detected on {{ $labels.host }}"
description: "More than 10 failed SSH attempts in 5 minutes"
# Chuỗi "container died/started" là sự kiện của Docker daemon, không nằm trong stdout/stderr của container
# nên Alloy không thu được. Rule dưới đây bắt dấu hiệu container lỗi nặng/lặp lại ngay trong log của nó.
- alert: ContainerPanicFatal
expr: |
sum by (container) (
count_over_time({job="docker-containers"} |~ "(?i)(panic|fatal|segfault)" [10m])
) > 3
for: 1m
labels:
severity: warning
source: loki
annotations:
summary: "Container {{ $labels.container }} ghi nhiều log panic/fatal/segfault (có thể đang crash-loop)"
# status là nhãn do stage.regex + stage.labels của loki.process "nginx" ở mục 2.2 trích từ access log (combined format)
- alert: NginxHighError5xx
expr: |
sum by (host) (
count_over_time({job="nginx", status=~"5.."} [5m])
) > 20
for: 3m
labels:
severity: warning
source: loki
annotations:
summary: "High 5xx rate on {{ $labels.host }}"
# Lỗi mức err trở lên từ journald (nhãn unit do loki.relabel "journal" ở mục 2.2)
- alert: SystemdUnitErrors
expr: |
sum by (host, unit) (
count_over_time({job="journal"} [10m])
) > 20
for: 5m
labels:
severity: warning
source: loki
annotations:
summary: "Unit {{ $labels.unit }} trên {{ $labels.host }} ghi nhiều log lỗi (priority 0-3)"
EOF
Kiểm tra ruler đã nạp rule (đợi khoảng 1 phút sau khi tạo file):
curl -s http://10.11.45.35:3100/prometheus/api/v1/rules | python3 -m json.tool | head -30
Cấu hình Alertmanager để route Loki alerts → Mailu. SMTP (smarthost, from, tài khoản [email protected], STARTTLS) đã khai báo ở khối global: của alertmanager.yml trong bài 15 nên receiver chỉ cần địa chỉ nhận:
# Thêm vào /opt/prometheus/alertmanager/alertmanager.yml trên VM235 (bài 15; container `alertmanager`,
# receiver mặc định là `default`): thêm receiver `loki-email` vào mục `receivers:` và thêm `routes:`
# vào khối `route:` đã có. Route khớp nhãn source="loki" đã gắn trong các alert rule ở trên.
receivers:
- name: 'loki-email'
email_configs:
- to: '[email protected]'
send_resolved: true
tls_config:
ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
headers:
Subject: '[LOKI] {{ .CommonLabels.alertname }} - {{ .CommonLabels.severity }}'
route:
receiver: 'default'
routes:
- matchers:
- source="loki"
receiver: 'loki-email'
# Nạp lại cấu hình Alertmanager (như bài 15):
# cd /opt/prometheus && docker compose restart alertmanager
Ruler còn hỗ trợ recording rule và remote_write ngược về Prometheus (Prometheus của bài 15 đã bật --web.enable-remote-write-receiver); không dùng trong bài này.
4.3 Prometheus Monitoring (Loki và Alloy)
# Thêm vào /opt/prometheus/prometheus.yml trên VM235 (mục scrape_configs là mục cuối của file), rồi nạp lại:
# curl -X POST http://10.11.45.35:9090/-/reload
- job_name: 'loki'
static_configs:
- targets: ['10.11.45.35:3100']
metrics_path: /metrics
- job_name: 'alloy'
metrics_path: /metrics
static_configs:
- targets: ['10.11.45.35:12345'] # alloy trên VM235 (prometheus)
# Thêm các VM khác khi cài Alloy (cùng danh sách với mục 2 và checklist):
- targets: ['10.11.45.25:12345'] # VM280 wazuh-siem
- targets: ['10.11.35.46:12345'] # VM246 mailu
- targets: ['10.11.45.53:12345'] # VM247 pihole
- targets: ['10.11.25.42:12345'] # VM242 step-ca
- targets: ['10.11.25.40:12345'] # VM234 authentik
- targets: ['10.11.45.40:12345'] # VM240 gitea
- targets: ['10.11.25.10:12345'] # VM269 vault
- targets: ['10.11.25.11:12345'] # VM270 thehive
Prometheus chạy trong container nên khi scrape 10.11.45.35:12345 (Alloy của chính VM235) lưu lượng đi từ mạng Docker monitoring vào cổng của host. Nếu VM235 bật UFW, thêm ufw allow from 172.16.0.0/12 to any port 12345 proto tcp (dải mạng Docker; cần kiểm lại trên máy thật).
Rule cảnh báo cho chính Loki và Alloy (đặt vào thư mục rule của bài 15 rồi nạp lại Prometheus):
cat > /opt/prometheus/rules/loki-alloy.yml << 'EOF'
groups:
- name: loki-alloy
rules:
- alert: LokiDown
expr: up{job="loki"} == 0
for: 3m
labels:
severity: critical
annotations:
summary: "Loki trên {{ $labels.instance }} không phản hồi"
- alert: AlloyDown
expr: up{job="alloy"} == 0
for: 5m
labels:
severity: warning
annotations:
summary: "Không scrape được Alloy trên {{ $labels.instance }} (VM tắt, dịch vụ alloy dừng hoặc bị chặn cổng 12345)"
- alert: AlloyComponentUnhealthy
expr: alloy_component_controller_running_components{health_type!="healthy"} > 0
for: 10m
labels:
severity: warning
annotations:
summary: "Alloy trên {{ $labels.instance }} có component không khỏe (mở Alloy UI, mục 2.4)"
- alert: AlloyDroppingLogs
expr: increase(loki_write_dropped_entries_total[10m]) > 0
for: 1m
labels:
severity: critical
annotations:
summary: "Alloy trên {{ $labels.instance }} đang bỏ log vì không gửi được tới Loki"
- alert: LokiDataDiskFilling
expr: |
(1 - node_filesystem_avail_bytes{instance="10.11.45.35:9100", mountpoint="/opt/loki/data"}
/ node_filesystem_size_bytes{instance="10.11.45.35:9100", mountpoint="/opt/loki/data"}) > 0.80
for: 15m
labels:
severity: warning
annotations:
summary: "Đĩa dữ liệu Loki (/opt/loki/data) dùng trên 80%: giảm retention_period hoặc nới đĩa (mục 1.1)"
EOF
curl -X POST http://10.11.45.35:9090/-/reload
Các rule này đi qua route mặc định default của Alertmanager (email qua Mailu). Rule LokiDataDiskFilling dựa vào nhãn mountpoint="/opt/loki/data" của node_exporter chạy trong container (nếu không thấy, kiểm node_filesystem_size_bytes trong Prometheus; cần kiểm lại trên máy thật). Rule firewall FortiGate cần có (bổ sung vào bảng ở bài 15, Bước 9):
| Nguồn | Đích | Cổng | Mục đích |
|---|---|---|---|
| 8 VM chạy Alloy | 10.11.45.35 | 3100/tcp | Alloy đẩy log vào Loki |
| 10.11.45.36 (Grafana) | 10.11.45.35 | 3100/tcp | Grafana truy vấn Loki |
| 10.11.45.35 | 8 VM chạy Alloy | 12345/tcp | Prometheus scrape Alloy |
Cổng Docker đã publish (như 3100 của Loki) đi vòng qua UFW của host, nên việc chặn/mở 3100 làm ở FortiGate (hoặc chuỗi DOCKER-USER), không làm bằng ufw.
4.4 step-CA — TLS cho Loki API (tùy chọn)
# Trên VM235, lấy cert từ step-CA (VM242)
step ca certificate loki.hoatranlabs.local \
/opt/loki/config/loki.crt \
/opt/loki/config/loki.key \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--root /usr/local/share/ca-certificates/hoatranlabs-root.crt
# Container Loki chạy UID 10001 nên phải đọc được cert/key
chown 10001:10001 /opt/loki/config/loki.crt /opt/loki/config/loki.key
Thư mục /opt/loki/config được mount vào container thành /etc/loki (compose mục 1.3) nên container thấy loki.crt/loki.key ở /etc/loki/. Cập nhật loki.yaml để enable TLS:
server:
http_tls_config:
cert_file: /etc/loki/loki.crt
key_file: /etc/loki/loki.key
Áp dụng bằng cd /opt/prometheus && docker compose up -d loki. Lưu ý: khi Loki phục vụ HTTPS thì mọi client phải đổi sang https://loki.hoatranlabs.local:3100 (cert chỉ có SAN loki.hoatranlabs.local, không dùng IP) và tin cậy root CA: LOKI_PUSH_URL trong /etc/default/alloy của mọi VM (rồi systemctl restart alloy; VM đã cài root CA ở bài 13 thì Alloy tin cậy sẵn qua kho chứng chỉ hệ thống), datasource Grafana (mục 3.1), job loki của Prometheus (mục 4.3: thêm scheme: https và tls_config.ca_file), và healthcheck trong compose (mục 1.3: đổi lệnh thành ["CMD", "/usr/bin/loki", "-health", "-health.url=https://loki.hoatranlabs.local:3100/ready"]; cách loki -health xử lý chứng chỉ cần kiểm lại trên máy thật).
4.5 PBS Backup — Không cần backup Loki data
Log là dữ liệu tạm thời (retention 14 ngày; log container 7 ngày, riêng auth 90 ngày). Chỉ backup config (gồm cả thư mục rules/). Cấu hình Alloy tái tạo được bằng install-alloy.sh nên không cần backup từng VM:
# Cài proxmox-backup-client (bản liên kết tĩnh) từ repository client-only công khai của Proxmox.
# Suite trixie của repo pbs-client có gói proxmox-backup-client-static (chỉ phụ thuộc qrencode), không phụ thuộc
# glibc của Ubuntu 24.04; lệnh sử dụng vẫn là proxmox-backup-client. Nguồn dạng deb822 + Signed-By (không dùng apt-key).
# Chạy trên Ubuntu 24.04 (noble): cần kiểm lại trên máy thật.
wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg \
-O /usr/share/keyrings/proxmox-archive-keyring.gpg
cat > /etc/apt/sources.list.d/pbs-client.sources << 'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pbs-client
Suites: trixie
Components: main
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt update && apt install -y proxmox-backup-client-static
# Backup config Loki vào PBS (file-level từ trong VM235, hostname prometheus)
# API token vm-backup@pbs!prometheus + namespace vm-prometheus (tạo theo bài 04, mục 5.7);
# PBS_PASSWORD là secret của token đó
export PBS_PASSWORD="<TOKEN_SECRET>"
proxmox-backup-client backup \
loki-config.pxar:/opt/loki/config \
--repository "vm-backup@[email protected]:syno-primary" \
--ns vm-prometheus
Kiểm tra & Xác minh
# 1. Loki health
curl -s http://10.11.45.35:3100/ready
curl -s http://10.11.45.35:3100/loki/api/v1/labels | python3 -m json.tool
# 2. Push test log thủ công
curl -s -X POST http://10.11.45.35:3100/loki/api/v1/push \
-H "Content-Type: application/json" \
-d '{"streams":[{"stream":{"job":"test","host":"manual"},"values":[["'$(date +%s%N)'","test log entry from curl"]]}]}'
# 3. Query log vừa push
curl -s "http://10.11.45.35:3100/loki/api/v1/query_range" \
--data-urlencode 'query={job="test"}' \
--data-urlencode "start=$(date -d '5 minutes ago' +%s)000000000" \
--data-urlencode "end=$(date +%s)000000000" | python3 -m json.tool
# 4. Kiểm tra Alloy agent đang ship log (chạy trên VM agent)
systemctl status alloy --no-pager
curl -fsS http://localhost:12345/-/ready
curl -fsS http://localhost:12345/-/healthy
curl -s http://localhost:12345/metrics | grep -E '^(loki_write_sent_entries_total|loki_source_file_read_lines_total)'
journalctl -u alloy -n 30 --no-pager
# 5. Kiểm tra trong Grafana (Explore → Loki → {host="<vm-name>"})
echo "Mở http://10.11.45.36:3000 → Explore → chọn Loki datasource"
echo 'Query: {job="syslog"} | last 1h'
# 6. Kiểm tra container Loki trên VM235 (image distroless: không có shell trong container)
docker compose -f /opt/prometheus/docker-compose.yml ps loki
docker logs loki --tail=20
# 7. Dung lượng data Loki (đĩa dữ liệu 30 GB, mount riêng)
du -sh /opt/loki/data/
df -h /opt/loki/data
# 8. Ruler đã nạp rule
curl -s http://10.11.45.35:3100/prometheus/api/v1/rules | python3 -m json.tool | head -20
Tùy chọn: Lưu trữ log trên SeaweedFS S3
Khi dữ liệu log không còn vừa đĩa dữ liệu 30 GB của VM235 (hoặc cần HA), chuyển sang object storage S3 của lab: SeaweedFS (bài 32), host s3 (s3.hoatranlabs.local, 10.11.85.10, VLAN 85). Bài 32 tạo bucket loki và một access key riêng cho Loki chỉ có quyền trên bucket đó (tên bucket và tài khoản khớp bài 32). Phần việc ở bài này là cấu hình Loki.
Điều kiện về phiên bản. Từ Loki 3.6 client S3 dùng AWS SDK v2. Issue grafana/loki#24206 ghi các bản 3.6.11 đến 3.6.15 và 3.7.0 đến 3.7.6 gửi PutObject kèm checksum SHA-256 theo kiểu aws-chunked: một số máy chủ S3 không phải AWS từ chối (lỗi 501/400), một số lưu sai nội dung mà không báo lỗi; bản sửa có trong 3.6.16 và 3.7.7. Bài ghim 3.7.8 nên đã có bản sửa; không hạ xuống 3.7.0–3.7.6 khi dùng S3. SeaweedFS không được nêu trong issue, nên việc ghi và đọc chunk/index giữa Loki 3.7.8 và SeaweedFS cần kiểm lại trên máy thật (xem log docker logs loki ngay sau khi đổi).
Khóa truy cập không để trong loki.yaml (tệp này được backup lên PBS): đặt vào tệp môi trường, Loki thay ${...} khi chạy với cờ -config.expand-env=true.
install -m 600 /dev/null /opt/loki/loki.env
cat > /opt/loki/loki.env << 'EOF'
LOKI_S3_ACCESS_KEY=<ACCESS_KEY của tài khoản dịch vụ loki trên SeaweedFS>
LOKI_S3_SECRET_KEY=<SECRET_KEY của tài khoản dịch vụ loki trên SeaweedFS>
EOF
Trong compose (mục 1.3), service loki thêm env_file và cờ expand-env:
env_file:
- /opt/loki/loki.env
command: -config.file=/etc/loki/loki.yaml -config.expand-env=true
Cập nhật /opt/loki/config/loki.yaml. Cách giữ log cũ (khuyến nghị): thêm khối storage_config.aws và một dòng schema mới bắt đầu từ ngày CHƯA tới; log trước ngày đó vẫn đọc từ đĩa cục bộ, log từ ngày đó ghi vào S3:
# Loki gọi https://s3.hoatranlabs.local (cert step-CA) nên tin cậy root CA nhờ file đã mount ở compose mục 1.3
# (/usr/local/share/ca-certificates/hoatranlabs-root.crt -> /etc/ssl/certs/hoatranlabs-root.crt trong container).
# Nếu S3 API của bài 32 không chạy ở cổng 443 thì ghi cả cổng: endpoint: s3.hoatranlabs.local:<cổng>
storage_config:
aws:
endpoint: s3.hoatranlabs.local
region: us-east-1 # SeaweedFS không dùng region thật; giá trị tùy ý
bucketnames: loki
access_key_id: ${LOKI_S3_ACCESS_KEY}
secret_access_key: ${LOKI_S3_SECRET_KEY}
s3forcepathstyle: true # lab không có DNS wildcard cho kiểu virtual-hosted
insecure: false
http_config:
ca_file: /etc/ssl/certs/hoatranlabs-root.crt
schema_config:
configs:
- from: 2024-01-01 # giữ nguyên dòng cũ: dữ liệu đã có nằm trên đĩa
store: tsdb
object_store: filesystem
schema: v13
index:
prefix: index_
period: 24h
- from: 2026-11-01 # ĐỔI thành ngày mai (hoặc muộn hơn) tính từ lúc áp dụng
store: tsdb
object_store: s3
schema: v13
index:
prefix: index_
period: 24h
Áp dụng: cd /opt/prometheus && docker compose up -d loki. Giữ delete_request_store: filesystem trong compactor cho tới khi log trên đĩa hết hạn retention (tối đa 90 ngày với auth); sau đó có thể đổi thành s3 và xóa dòng schema cũ khi không còn dữ liệu cũ cần đọc (hành vi retention khi chạy hai store cùng lúc cần kiểm lại trên máy thật).
Cách bỏ log cũ (đơn giản): nếu không cần giữ log trên đĩa, thay khối common.storage.filesystem bằng common.storage.s3 cùng các khóa như storage_config.aws ở trên, đổi object_store: filesystem thành s3 trong dòng schema duy nhất và delete_request_store: s3 trong compactor; log cũ trong /opt/loki/data sẽ không còn truy vấn được.
Kiểm tra: docker logs loki --tail=50 không còn lỗi S3, bucket loki trên SeaweedFS xuất hiện đối tượng sau vài phút (cách liệt kê đối tượng xem bài 32), và truy vấn log mới trong Grafana Explore vẫn trả dữ liệu.
Di chuyển từ Promtail sang Alloy
Bảng ánh xạ Promtail → Alloy · Chuyển cấu hình bằng alloy convert · Chuyển sang Alloy mà không nạp trùng log
Dành cho hệ thống đang chạy Promtail (bản bài cũ dùng Promtail 3.3.2). Với hệ thống mới dựng theo bài này thì bỏ qua mục này.
7.1 Bảng ánh xạ Promtail → Alloy
| Promtail | Alloy |
|---|---|
server.http_listen_port: 9080 (UI và metrics) | Cờ --server.http.listen-addr=...:12345 trong CUSTOM_ARGS của /etc/default/alloy |
server.grpc_listen_port: 0 | Không có tương đương |
positions.filename | Tự lưu trong --storage.path (/var/lib/alloy/data), mỗi component một thư mục |
clients[].url, backoff_config | loki.write với khối endpoint (url, min_backoff_period, max_backoff_period, max_backoff_retries) |
scrape_configs[].static_configs + __path__ | local.file_match (hoặc khối file_match của loki.source.file) + loki.source.file |
labels: của static_configs | Khóa phụ trong từng phần tử path_targets, ví dụ "job" = "syslog" |
journal: | loki.source.journal + loki.relabel (qua relabel_rules) |
docker_sd_configs | discovery.docker + loki.source.docker |
relabel_configs | loki.relabel (log) hoặc discovery.relabel (target), mỗi quy tắc là một khối rule |
pipeline_stages: regex, labels, drop, match, static_labels, docker, cri, multiline, timestamp, json... | loki.process với các khối stage.regex, stage.labels, stage.drop, stage.match, stage.static_labels... |
Metrics promtail_sent_entries_total, promtail_read_lines_total, promtail_dropped_entries_total | loki_write_sent_entries_total, loki_source_file_read_lines_total, loki_write_dropped_entries_total |
| Web UI cổng 9080 | Alloy UI cổng 12345 (mục 2.4) |
Cờ dòng lệnh (ví dụ -max-line-size) và biến môi trường | Không tự chuyển: tự kiểm tra và đặt lại thủ công |
Khác biệt cần nhớ: tên metrics đổi nên phải sửa cảnh báo và dashboard dựa trên promtail_*; log của Alloy khác định dạng log Promtail; vị trí file positions khác.
7.2 Chuyển cấu hình bằng alloy convert
Alloy có bộ chuyển đổi cấu hình Promtail. Chạy trên một VM đang có Promtail (đã cài alloy ở mục 2.1), ghi kết quả ra tệp tạm để xem trước chứ không ghi đè /etc/alloy/config.alloy:
alloy convert --source-format=promtail \
--report=/tmp/promtail-convert-report.txt \
--output=/tmp/config.alloy.converted \
/etc/promtail/config.yaml
less /tmp/promtail-convert-report.txt # cảnh báo: tính năng không chuyển được, cờ/biến môi trường bị bỏ
alloy validate /tmp/config.alloy.converted
Thêm --bypass-errors để có bản chuyển "tốt nhất có thể" khi bộ chuyển gặp lỗi không nghiêm trọng (tài liệu cảnh báo cần thử kỹ trước khi dùng thật). Chạy thử không cần lưu tệp: alloy run --config.format=promtail /etc/promtail/config.yaml (cờ --config.bypass-conversion-errors bỏ qua lỗi chuyển đổi, không dùng cho môi trường thật). Kết quả chuyển đổi là cấu hình đúng chức năng nhưng dài và đặt tên component theo quy tắc riêng; với lab này nên dùng cấu hình chuẩn của mục 2.2 và chỉ dùng alloy convert để đối chiếu hoặc khi Promtail có cấu hình tùy biến riêng.
7.3 Chuyển sang Alloy mà không nạp trùng log
Alloy không dùng file positions của Promtail. Nếu bật Alloy khi Promtail còn chạy, hoặc để Alloy đọc lại file từ đầu, log trong /var/log/syslog và auth.log sẽ vào Loki hai lần. Trình tự an toàn trên mỗi VM:
- Dừng Promtail trước:
systemctl disable --now promtail(trên VM235:docker compose stop promtail-local). - Chạy script với biến
ALLOY_TAIL_FROM_END=trueđể Alloy chỉ đọc dòng mới ở lần đầu (thuộc tínhtail_from_endcủaloki.source.file, chỉ có tác dụng khi chưa có vị trí đã lưu):sudo ALLOY_TAIL_FROM_END=true bash install-alloy.sh. Giữ giá trịtruevề sau cũng không sao vì Alloy đã có vị trí của chính nó. - Cách khác: đặt
legacy_positions_file = "/var/lib/promtail/positions.yaml"trongloki.source.fileđể dùng lại vị trí của Promtail. Tài liệu Alloy mô tả thuộc tính này cho file positions của Grafana Agent Static Mode; việc nó đọc được file positions của Promtail (và việcalloy converttự điền thuộc tính này) cần kiểm lại trên máy thật, nên ưu tiêntail_from_end. - Xác minh ở mục 5 (#4 và Explore) rồi mới gỡ Promtail (mục 7.4).
7.4 Gỡ Promtail
Trên các VM cài Promtail bằng binary (script cũ):
systemctl disable --now promtail
rm -f /etc/systemd/system/promtail.service /usr/local/bin/promtail
systemctl daemon-reload
# Sau khi đã xác nhận Alloy đẩy log bình thường:
rm -rf /etc/promtail /var/lib/promtail
userdel promtail
Trên VM235 (container promtail-local):
cd /opt/prometheus
docker compose rm -sf promtail-local
# Xóa khối service promtail-local khỏi docker-compose.yml (sửa tay), rồi:
rm -f /opt/loki/promtail-local.yaml
docker image rm grafana/promtail:3.3.2
Dọn các chỗ tham chiếu Promtail còn lại:
- Prometheus: xóa job
promtail(cổng 9080) khỏiprometheus.yml, thêm joballoy(mục 4.3), nạp lại (curl -X POST http://10.11.45.35:9090/-/reload). - Firewall: đổi rule cổng 9080 thành 12345 (mục 4.3); với host bật UFW, xóa rule 9080 cũ bằng
ufw status numberedrồiufw delete <số>. - Grafana và cảnh báo: truy vấn LogQL và rule vẫn giữ nguyên vì nhãn không đổi; chỉ dashboard/cảnh báo dựa trên metrics
promtail_*cần đổi sangloki_write_*(bảng 7.1). - Docker: nhóm
dockercủa userpromtailbiến mất cùnguserdel; useralloyđược thêm vào nhómdockerbởi script ở mục 2.2.
Troubleshooting
| Vấn đề | Nguyên nhân | Giải pháp |
|---|---|---|
| Loki container không start | Permission /opt/loki/data hoặc lỗi cấu hình | chown -R 10001:10001 /opt/loki/data; docker logs loki; kiểm cú pháp bằng -verify-config (mục 1.2). Image distroless nên docker exec loki sh không chạy được |
Loki thoát ngay, log báo thiếu delete_request_store | Bật retention mà không khai báo nơi lưu yêu cầu xóa | Thêm delete_request_store: filesystem vào compactor (mục 1.2) |
Container loki không bao giờ healthy | Healthcheck bản cũ dùng wget nhưng image không có | Dùng ["CMD", "/usr/bin/loki", "-health"] (mục 1.3); bật TLS thì thêm -health.url (mục 4.4) |
Loki lỗi ghi no space left on device | Đĩa dữ liệu /opt/loki/data (30 GB) đầy; retention_period chỉ giới hạn theo thời gian | df -h /opt/loki/data; giảm retention_period rồi chờ compactor xoá (retention_delete_delay); nới đĩa (mục 1.1) hoặc chuyển S3 (mục 6) |
Alloy không đẩy log, journal báo dial tcp 10.11.45.35:3100: i/o timeout hoặc connection refused | Firewall giữa VLAN chặn 3100 hoặc Loki chưa chạy | Từ VM agent chạy curl -s http://10.11.45.35:3100/ready; mở rule 3100 trên FortiGate (mục 4.3). Cổng Docker publish đi vòng qua UFW của host |
alloy validate hoặc systemctl reload alloy báo lỗi cú pháp | Sửa tay config.alloy sai | alloy validate /etc/alloy/config.alloy; khi nạp lại lỗi, Alloy giữ cấu hình cũ chạy tiếp (xem journalctl -u alloy) |
Alloy: permission denied khi đọc /var/log/auth.log | User alloy thiếu nhóm adm | usermod -aG adm alloy && systemctl restart alloy (restart mới nhận nhóm mới) |
| Không có log journal dù component khỏe | Thiếu nhóm systemd-journal: component chạy không báo lỗi nhưng không đọc được gì | usermod -aG systemd-journal alloy && systemctl restart alloy |
Không có log container; permission denied ... docker.sock | User alloy chưa vào nhóm docker (hoặc VM cài Docker sau khi chạy script) | Chạy lại install-alloy.sh hoặc usermod -aG docker alloy && systemctl restart alloy |
Không có file /var/log/syslog hoặc auth.log | VM không cài rsyslog | apt install -y rsyslog rồi systemctl restart alloy |
| Không mở được Alloy UI từ máy quản trị | Cổng 12345 chỉ cho Prometheus (UFW) hoặc mặc định chỉ nghe localhost | Dùng đường hầm SSH (mục 2.4); không mở UFW cho cả mạng |
Prometheus báo target alloy DOWN | UFW/FortiGate chặn 12345 hoặc CUSTOM_ARGS còn nghe 127.0.0.1 | grep CUSTOM_ARGS /etc/default/alloy; ss -ltn phải thấy 0.0.0.0:12345 ở trạng thái LISTEN |
HTTP 429 Ingestion rate limit exceeded | Vượt giới hạn nạp log | Tăng ingestion_rate_mb và ingestion_burst_size_mb trong loki.yaml; Alloy tự thử lại khi gặp 429 |
maximum active stream limit exceeded / Loki ngốn RAM | Quá nhiều stream do nhãn có quá nhiều giá trị (ví dụ đặt IP client làm nhãn); max_global_streams_per_user mặc định 5000 | Bỏ nhãn có số giá trị lớn khỏi stage.labels (lọc bằng line filter thay vì nhãn); chỉ tăng giới hạn khi cần |
Dòng log bị từ chối entry too far behind / quá cũ | reject_old_samples_max_age: 168h từ chối log cũ hơn 7 ngày | Dùng tail_from_end = true hoặc nới reject_old_samples_max_age nếu thật sự cần nạp log cũ |
| Log cũ hơn 14 ngày vẫn còn | Compactor chưa chạy hoặc stream thuộc retention_stream dài hơn (auth 90 ngày) | Kiểm compactor (retention_enabled: true) và retention_stream; docker compose restart loki; chờ retention_delete_delay |
| Grafana không thấy Loki | Datasource URL sai | Dùng http://10.11.45.35:3100 (Grafana ở VM236, khác host với Loki nên không dùng tên service loki) |
| Alert không gửi email | Sai alertmanager_url trong loki.yaml hoặc thiếu route source="loki" | Verify alertmanager_url: http://alertmanager:9093; curl -s http://10.11.45.35:3100/prometheus/api/v1/rules; xem route ở mục 4.2 |
| Loki với S3: lỗi 501 / 400 / dữ liệu hỏng | Loki 3.6.11–3.6.15 hoặc 3.7.0–3.7.6 gửi checksum aws-chunked | Dùng Loki 3.7.7 trở lên (bài ghim 3.7.8); xem mục 6 |
Checklist triển khai
- Backup docker-compose.yml VM235 trước khi sửa
- Đĩa dữ liệu Loki (
xdisk30 GB,/dev/sdb) đã định dạng và gắn tại/opt/loki/data(df -h /opt/loki/data) - Thư mục
/opt/loki/datatạo với owner10001:10001;loki.yamlqua-verify-config - Loki container
healthy,/readytrả vềready,loki_build_infobáo 3.7.8 - Kho
apt.grafana.comdạng deb822.sources(Signed-By),apt-cache policy alloythấy 1.20.1-1 - Alloy trên VM235 chạy (
/-/readyOK) và log VM235 xuất hiện trong Loki - Grafana datasource Loki (uid
loki) thêm thành công - Dashboard "Lab Logs" hiển thị trong thư mục Logs; Drilldown → Logs mở được
- Alloy cài trên VM280, VM246, VM247, VM242, VM234, VM240, VM269, VM270
- UFW/FortiGate: cổng 12345 chỉ mở cho 10.11.45.35, cổng 3100 mở cho VM agent và VM236
- Test query log từ Grafana Explore
- Alert rule SSHBruteForce active trong Loki ruler
- Alertmanager route email hoạt động (test bằng cách trigger manually)
- Prometheus scrape Loki và Alloy thành công; rule
loki-alloy.ymlđã nạp - Không còn Promtail (service, container, job Prometheus, rule firewall 9080) nếu trước đó đã cài
- PBS backup config Loki
Tài liệu tham khảo
- Phát hành Loki (bản 3.7.8): https://github.com/grafana/loki/releases
- Phát hành Grafana Alloy (bản 1.20.1): https://github.com/grafana/alloy/releases
- Ghi chú nâng cấp Loki 3.x (schema v13/TSDB,
delete_request_store): https://grafana.com/docs/loki/latest/setup/upgrade/ - Cài Loki bằng Docker: https://grafana.com/docs/loki/latest/setup/install/docker/
- Retention và compactor: https://grafana.com/docs/loki/latest/operations/storage/retention/
- Cảnh báo (ruler): https://grafana.com/docs/loki/latest/alert/
- Cấu hình Loki (limits, s3_storage_config): https://grafana.com/docs/loki/latest/configure/
- Promtail EOL: https://grafana.com/docs/loki/latest/send-data/promtail/
- Lệnh
loki -health(health.gotại tag v3.7.8): https://github.com/grafana/loki/blob/v3.7.8/cmd/loki/health.go - Issue S3
aws-chunked(3.6.11–3.6.15, 3.7.0–3.7.6): https://github.com/grafana/loki/issues/24206 - Cài Alloy trên Linux: https://grafana.com/docs/alloy/latest/set-up/install/linux/
- Cấu hình Alloy trên Linux (
/etc/default/alloy,CUSTOM_ARGS): https://grafana.com/docs/alloy/latest/configure/linux/ - Chuyển từ Promtail sang Alloy (
alloy convert): https://grafana.com/docs/alloy/latest/set-up/migrate/from-promtail/ - Component
loki.source.file: https://grafana.com/docs/alloy/latest/reference/components/loki/loki.source.file/ - Component
loki.source.journal: https://grafana.com/docs/alloy/latest/reference/components/loki/loki.source.journal/ - Component
loki.source.docker: https://grafana.com/docs/alloy/latest/reference/components/loki/loki.source.docker/ - Component
loki.process,loki.relabel,loki.write: https://grafana.com/docs/alloy/latest/reference/components/loki/ - Endpoint HTTP của Alloy (
/-/ready,/-/healthy,/metrics): https://grafana.com/docs/alloy/latest/reference/http/ - Logs Drilldown (điều kiện Loki/Grafana): https://grafana.com/docs/grafana/latest/explore/simplified-exploration/logs/access/
- Ubuntu Server 24.04 LTS: https://releases.ubuntu.com/24.04/