VM Template + Cloud-Init
Dựng template Ubuntu 24.04 cloud-init, clone nhanh 30 VM đồng bộ và tự động hóa ở quy mô lớn.
Bối cảnh & Lý do triển khai
Cài Ubuntu từ ISO cho từng máy ảo (chọn ngôn ngữ, đặt mạng, tạo user, cài SSH, cập nhật gói…) mất 15–30 phút mỗi VM và mỗi lần mỗi khác: quên một bước, gõ nhầm IP, thiếu qemu-guest-agent. Với 30 VM dịch vụ của series đó là hơn một ngày thao tác tay, và sau mỗi sự cố (bài 11) lại phải làm lại. Bài này chuyển sang cách làm của doanh nghiệp: một VM "mẫu" đã cập nhật và cài sẵn gói nền được chuyển thành template; mỗi VM mới chỉ là một bản clone cộng vài tham số cloud-init (hostname, user, khoá SSH, IP, DNS) — vài chục giây thay vì vài chục phút. Cuối bài, tạo máy quản trị ops01 (Ansible, OpenTofu, proxmoxer) để dựng VM hàng loạt và mở rộng từ 1 node tới hàng trăm node mà không tốn subscription.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong DN | "Golden image" thống nhất (cùng phiên bản OS, gói nền, tài khoản quản trị); dựng, nhân bản và dựng lại VM trong vài chục giây; hạ tầng dưới dạng mã (IaC) cho nhiều cluster |
| Tác dụng chính | Template Ubuntu 24.04 (VMID 9000) và Ubuntu 24.04 + Docker (VMID 9001) trên vm-ceph; cloud-init đặt hostname, user sysadmin, khoá SSH, IP tĩnh, DNS; script create-lab-vms.sh dựng 30 VM theo bảng quy hoạch (đĩa hệ điều hành trên SSD vm-ceph, đĩa dữ liệu lớn trên HDD vm-bulk, kế hoạch dung lượng cho lab 800 GB SSD + 1 TB HDD); máy ops01 (VM290) với Ansible và OpenTofu |
| Nếu không triển khai | Cài tay 30 VM từ ISO: chậm, dễ sai IP/VMID/cấu hình nền, mỗi VM một kiểu, khó dựng lại khi sự cố, không có đường lên tự động hoá quy mô lớn |
| Các service phụ thuộc vào đây | Mọi VM Ubuntu của bài 12–37 (dựng bằng clone thay cho ISO); ops01 phục vụ bài 05/06 (Ansible), bài 08 (API token), bài 11 (dựng lại VM nhanh), bài 22 (kho mã IaC), bài 23 (NetBox làm nguồn dữ liệu tuỳ chọn) |
Ngày cập nhật: 2026-10-15
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| ops01 (Ansible/OpenTofu + bastion) · VM290 | 10.11.45.20 | 45 (MGMT) · node2 | Máy chủ của bài — clone từ template 9000 (Ubuntu 24.04), cài Ansible, OpenTofu, proxmoxer; gọi API PVE bằng token, làm bastion SSH. |
| tpl-ubuntu-2404 (template cloud-init) · VM9000 | — | 45 (MGMT) · cluster HOATRANHUB (vm-ceph) | Template VMID 9000: ảnh Ubuntu 24.04 cloud-init đã cài qemu-guest-agent, chrony; nguồn clone cho ops01 và các VM không dùng Docker. |
| tpl-ubuntu-2404-docker (template + Docker) · VM9001 | — | 45 (MGMT) · cluster HOATRANHUB (vm-ceph) | Template VMID 9001: bản 9000 cộng Docker Engine từ repo noble; nguồn clone cho 17 VM chạy Docker Compose. |
| tpl-lxc-ubuntu-2404 (CT template) · VM9020 | — | 45 (MGMT) · cluster HOATRANHUB (vm-ceph) | CT template 9020 (Bước 11): Ubuntu 24.04 LXC không đặc quyền, nguồn pct clone cho dịch vụ nhẹ. |
| node1 (Proxmox VE) | 10.11.45.210 | 45 (MGMT) · cluster HOATRANHUB | Node giữ cấu hình hai template; chạy lab-bake.sh, create-lab-vms.sh và lưu snippets /var/lib/vz/snippets (đồng bộ sang node khác). |
| node2 (Proxmox VE) | 10.11.45.211 | 45 (MGMT) · cluster HOATRANHUB | Node chứa VM290 ops01; nhận VM clone qua --target; cần user sysadmin + sudo cho Ansible (bài 06). |
| node3 (Proxmox VE) | 10.11.45.212 | 45 (MGMT) · cluster HOATRANHUB | Node nhận VM clone (Pi-hole, K3s, Nexus…) qua --target; cần snippets và user sysadmin + sudo như các node khác. |
| node4 (Proxmox VE) | 10.11.45.213 | 45 (MGMT) · cluster HOATRANHUB | Node cluster chứa pbs01, pdm01; nhận user sysadmin + sudo và snippets; chưa có VM dịch vụ nào trong bảng quy hoạch. |
| pihole (Pi-hole DNS) · VM247 | 10.11.45.53 | 45 (MGMT) · node3 | DNS mặc định của template (10.11.45.53); lúc làm bài này chưa có nên dựng đầu dùng 1.1.1.1/8.8.8.8, chuyển sang Pi-hole sau bài 12. |
| FortiGate (firewall) | 10.100.100.1 | Quản trị 10.100.100.0/24 · thiết bị mạng | Gateway .1 của mỗi VLAN và đường ra Internet để VM build tải ảnh cloud, gói apt và repo Docker. |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Đích backup vzdump (storage pbs-primary): job theo pool-infra/pool-prod cho VM dựng từ template; loại PBS/PDM (bài 04). |
| netbox (NetBox IPAM) · VM245 | 10.11.45.45 | 45 (MGMT) · node2 | Nguồn sự thật tuỳ chọn (bài 23): khai VM planned, làm inventory Ansible và data source OpenTofu. |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Các VM trong bảng vms.csv (30 VM lab + ops01) chỉ được liệt kê ở mục 8; ở đây chỉ kê máy có vai trò riêng trong bài.
Tổng quan
Luồng tổng thể
Proxmox VE không chạy cloud-init "trong" VM mà tạo một ổ CD-ROM nhỏ (cloud-init drive, mặc định ide2) chứa bốn tệp user-data, network-config, meta-data, vendor-data mỗi lần VM khởi động; cloud-init trong VM đọc ổ này (datasource NoCloud) và áp dụng cấu hình. Các trường bạn đặt bằng qm set hoặc tab Cloud-Init của GUI (ciuser, sshkeys, ipconfig0, nameserver, searchdomain, cipassword, ciupgrade) được PVE chuyển thành hai tệp đầu. Điều này được kiểm chứng từ mã nguồn qemu-server (PVE/QemuServer/Cloudinit.pm) ngày 2026-10-15 và là nền tảng cho mọi nội dung dưới đây.
| Thông số | Giá trị |
|---|---|
| Phiên bản PVE | 9.2.x (lab 9.2.20) |
| Quy mô áp dụng | 1 node → hàng trăm node |
| Template tạo ra | VMID 9000 · 9001 (+ CT template 9020, Bước 11) |
| Hệ điều hành guest | Ubuntu 24.04 LTS |
| Storage VM | vm-ceph (SSD, RBD) + vm-bulk (HDD, RBD, mục 8.5) |
| Dung lượng lab | 800 GB SSD + 1 TB HDD, thin provisioning, kế hoạch ở mục 8.4–8.7 (vùng an toàn ≈ 160 GB SSD + 200 GB HDD) |
| Công cụ chính | cloud-init + OpenTofu |
| Máy quản trị | ops01 (VM290) |
| Repo PVE | pve-no-subscription |
| Số VM dựng bằng script | 30 + ops01 |
| Điều kiện tiên quyết | Bài 01–04 |
| Thời gian thực hiện | 2–3 giờ |
| Phương án thay VM | LXC không đặc quyền cho dịch vụ nhẹ (Bước 11) |
Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15 trên trang phát hành, kho gói và tài liệu chính thức):
| Thành phần | Phiên bản dùng trong bài | Ghi chú |
|---|---|---|
| Proxmox VE | 9.2.x (lab: 9.2.20, bài 03) | Lệnh qm, pvesh, pveum theo tài liệu PVE 9.2; qm disk import (bí danh qm importdisk) |
| Ubuntu Server (template, ops01, 30 VM) | 24.04.5 LTS "Noble Numbat" | Ảnh noble-server-cloudimg-amd64.img (597 MB, build 2026-09-26: kernel 6.8.0-142, cloud-init 26.1-0ubuntu1~24.04.1). Ảnh KHÔNG có sẵn qemu-guest-agent và chrony nên template phải cài thêm. Khi cần cài từ ISO: ubuntu-24.04.5-live-server-amd64.iso (2026-09-09) |
| Debian cloud (tuỳ chọn) | 13 "trixie" genericcloud, build 20261001-2618 | cloud-init 25.1.4, kernel 6.12.111 cloud; cũng không có qemu-guest-agent |
| QEMU guest agent | 8.2.2 (gói qemu-guest-agent kho universe của noble) | Cài trong template, VM cần agent=1 |
| Template LXC Ubuntu 24.04 | ubuntu-24.04-standard_24.04-2_amd64.tar.zst | Lấy từ danh mục pveam (aplinfo-pve-9.dat), đối chiếu 2026-10-15; dùng ở Bước 11. Tên đổi khi Proxmox phát hành bản mới: luôn kiểm pveam available --section system |
| Docker Engine | docker-ce 29.9.1, containerd.io 2.4.2, buildx 0.38.0, compose plugin 5.6.0 | Repo download.docker.com/linux/ubuntu suite noble, nguồn deb822 + Signed-By; lệnh docker compose |
| node_exporter | 1.12.1 (giá trị chung của series) | Cài cho ops01 bằng script Bước 5 của bài 15; không nướng vào template để khỏi trùng với VM235/VM236 chạy bằng container |
| Ansible | ansible-core 2.20.x qua pipx | Gói apt noble chỉ có ansible 9.2.0 (core 2.16.3) đã cũ; PyPI mới nhất ansible 14.5.0 (core 2.21.5) nhưng community.proxmox chỉ khẳng định kiểm thử tới core 2.20 nên ghim 2.20 |
| community.proxmox | 2.1.0 | Cần proxmoxer 2.3 trở lên (gói apt python3-proxmoxer của noble là 2.0.1, quá cũ) |
| OpenTofu | 1.13.1 | Cài từ kho apt chính thức của OpenTofu; Terraform 1.6+ cũng dùng được |
| Provider bpg/proxmox | 0.116.1 | Yêu cầu PVE 9.x, TLS 1.3 trên API |
| Provider e-breuninger/netbox (tuỳ chọn) | 5.8.0 | Bảng tương thích ghi NetBox 4.3–4.6.5; NetBox 4.7 của bài 23 cần kiểm lại trên máy thật |
| Proxmox Datacenter Manager | 1.1.7 (tài liệu) | Xem tập trung nhiều cluster (bài 04); không dùng để tạo VM hàng loạt |
Luồng tổng thể
cloud image (.img) vms.csv (một nguồn dữ liệu duy nhất)
│ qm set --scsi0 ...,import-from= │
▼ ├──► create-lab-vms.sh (qm) ← bài này, chạy trên node1
VM build 9000 ──[lab-bake.sh: cập nhật, gói nền, ├──► Ansible (community.proxmox) ← từ ops01
│ dọn dấu vết, tắt máy] └──► OpenTofu (bpg/proxmox) ← từ ops01
▼
TEMPLATE 9000 tpl-ubuntu-2404 ──clone──► ops01 (VM290) và các VM không cần Docker
│ clone đầy đủ + lab-bake.sh --docker
▼
TEMPLATE 9001 tpl-ubuntu-2404-docker ──clone──► VM chạy Docker Compose (Pi-hole, Authentik, Wazuh…)
Quy mô triển khai (1 node → hàng trăm node)
| Quy mô | Template đặt ở đâu | Cách dựng VM | Lưu ý |
|---|---|---|---|
| 1 node standalone | Storage cục bộ của node (LVM-thin hoặc ZFS); linked clone dùng được | Script với LAB_STORAGE trỏ storage cục bộ (LAB_DATA_STORAGE cho đĩa phụ nếu có đĩa HDD riêng) và cột node trong CSV là tên node duy nhất (không cần --target) | Không có HA; snippets không cần đồng bộ; template vẫn nên có bản sao lưu bằng vzdump |
| 2–3 node (có QDevice) | Storage chia sẻ (Ceph, NFS) hoặc ZFS có replication | Script hoặc Ansible | qm clone --target chỉ chạy khi đĩa nguồn nằm trên storage chia sẻ |
| Cluster 4–~30 node (HOATRANHUB là ví dụ) | vm-ceph (RBD) | Script create-lab-vms.sh, Ansible hoặc OpenTofu từ ops01 | Tài liệu PVE: không có giới hạn node cứng, thực tế bị giới hạn bởi phần cứng và mạng; có báo cáo cluster trên 50 node (số liệu 2021) |
| >~30 node, nhiều cluster/site | Mỗi cluster giữ template riêng, dựng từ cùng ảnh và cùng script bake | OpenTofu/Ansible một nhóm hoặc một state cho mỗi cluster; xem tập trung bằng PDM (bài 04); NetBox (bài 23) làm nguồn sự thật tuỳ chọn | Mốc ~30 node là khuyến nghị của series để chia cluster (không phải giới hạn của PVE); chi tiết ở mục "Mở rộng tới hàng trăm node" |
Công cụ & chi phí
| Hạng mục | Chi phí | Ghi chú |
|---|---|---|
cloud-init, qm, template/clone | Miễn phí | Có sẵn trong PVE; dùng repo pve-no-subscription, thông báo "No valid subscription" chỉ mang tính thông tin |
| Ansible, community.proxmox, proxmoxer | Miễn phí (mã nguồn mở) | Chạy từ ops01 |
| OpenTofu + provider bpg/proxmox | Miễn phí (mã nguồn mở) | Có thể thay bằng Terraform cùng provider |
| Template Windows | Cần giấy phép Windows | Bản Evaluation 180 ngày như bài 39; phần này chỉ mô tả, không bắt buộc |
| Khi nào cần trả phí | Hiếm | Chỉ khi cần hỗ trợ thương mại của Proxmox hoặc nền tảng tự động hoá có giao diện quản trị riêng; nhu cầu của bài này không cần |
Chuẩn bị cluster: kiểm tra, snippets, pool, khoá SSH
Kiểm tra trước khi bắt đầu · Bật Snippets cho storage local · Pool, tag và tệp khoá SSH quản trị
1.1 Kiểm tra trước khi bắt đầu
Làm trên node1 bằng root (SSH [email protected]). Template sẽ nằm trên node1; mọi VM clone được đặt sang node khác bằng --target.
pveversion # pve-manager/9.2.x
pvecm status | grep -E 'Quorate|Nodes' # Quorate: Yes, Nodes: 4
pvesm status | grep -E 'Name|vm-ceph|local' # vm-ceph rbd active
ceph health # HEALTH_OK
ping -c1 -W2 10.11.45.1 && ping -c1 -W2 1.1.1.1 # gateway VLAN 45 và Internet (tải ảnh, apt)
ls /etc/pve/nodes/*/qemu-server/ | grep -E '^(9000|9001|9002|290)\.conf' || echo "VMID 9000/9001/9002/290 còn trống"
mkdir -p /root/lab/images && cd /root/lab # thư mục làm việc của bài
10.11.45.99 làm địa chỉ tạm khi dựng template. Địa chỉ này không có trong bảng quy hoạch của lab: chạy ping -c2 10.11.45.99 và chắc chắn không có phản hồi trước khi dùng; nếu đã bị chiếm, đổi sang một IP trống khác của VLAN 45 ở mọi lệnh bên dưới.
1.2 Bật Snippets cho storage local
Snippet cloud-init (cicustom) chỉ lưu được trên storage có loại nội dung Snippets. Storage local mặc định nằm trên thư mục /var/lib/vz của từng node — đây là điểm cần nhớ: tệp snippet không tự sang node khác (xem mục 5.4).
Cách 1: Web UI Proxmox (GUI)
local → Edit.
Cách 2: CLI (pvesm)
grep -A6 '^dir: local' /etc/pve/storage.cfg # xem 'content' hiện tại, ví dụ: iso,vztmpl,backup
pvesm set local --content iso,vztmpl,backup,snippets # giữ các loại cũ và thêm snippets
sleep 12; ls -d /var/lib/vz/snippets # thư mục xuất hiện sau khi pvestatd kích hoạt storage
1.3 Pool, tag và tệp khoá SSH quản trị
Pool gom VM theo nhóm để gán quyền (bài 08) và chọn VM cho job backup (bài 04). Quy ước của series (bảng VMID đầy đủ ở bài 08, mục 5.2): pool-infra (PBS, PDM, Pi-hole, step-CA, Authentik, giám sát, Mailu, Wazuh, dc1, Vault, ops01 và hai template 9000/9001), pool-prod (ứng dụng, DevOps, K3s…), pool-test (VM thử nghiệm, lab WiFi).
for p in pool-infra pool-prod pool-test; do pveum pool add "$p" --comment "Lab HOATRANLABS - $p" || true; done
pveum pool list
# Khoá công khai của quản trị viên (mỗi dòng một khoá, định dạng OpenSSH). Thay bằng khoá thật của bạn:
cat > /root/lab/admin_keys.pub <<'EOF'
ssh-ed25519 AAAA...thay_bang_khoa_cong_khai_cua_ban... hoatv@admin-pc
EOF
chmod 600 /root/lab/admin_keys.pub
sysadmin: chỉ đăng nhập bằng khoá SSH (khuyến nghị của tài liệu PVE; mật khẩu cloud-init phải lưu ở dạng mã hoá trong cấu hình VM). Muốn vào bằng console khi mất khoá, đặt tạm qm set <VMID> --cipassword cho riêng VM đó rồi xoá sau.
Template Ubuntu 24.04 (VMID 9000)
Tải ảnh cloud và kiểm tra toàn vẹn · Tạo VM build 9000 và nhập đĩa · Script bake — "nướng" gói nền vào ảnh
2.1 Tải ảnh cloud và kiểm tra toàn vẹn
cd /root/lab/images
BASE=https://cloud-images.ubuntu.com/noble/current
wget -q --show-progress "$BASE/noble-server-cloudimg-amd64.img"
wget -q "$BASE/SHA256SUMS" "$BASE/SHA256SUMS.gpg"
# 1) Băm SHA-256 phải khớp (chỉ kiểm tệp vừa tải)
sha256sum -c SHA256SUMS --ignore-missing
# noble-server-cloudimg-amd64.img: OK
# 2) Chữ ký GPG của danh sách băm (khoá "UEC Image Automatic Signing Key", fingerprint ghi bên dưới)
gpg --keyserver hkps://keyserver.ubuntu.com --recv-keys D2EB44626FDDC30B513D5BB71A5D6C4C7DB87C81
gpg --verify SHA256SUMS.gpg SHA256SUMS # "Good signature" và Primary key fingerprint: D2EB 4462 6FDD C30B 513D 5BB7 1A5D 6C4C 7DB8 7C81
SHA256SUMS hiện hành (cảnh báo "key is not certified with a trusted signature" là bình thường vì khoá chưa nằm trong web of trust của bạn). Ảnh có định dạng qcow2 dù đuôi .img, qm tự nhận dạng.
2.2 Tạo VM build 9000 và nhập đĩa
Quyết định cấu hình (giải thích để bạn chỉnh được):
| Tham số | Giá trị | Lý do |
|---|---|---|
--machine q35, --ostype l26 | q35, Linux 6.x | Giống các bài khác của series |
--scsihw virtio-scsi-pci | VirtIO SCSI | Tài liệu PVE nêu ảnh Ubuntu cloud yêu cầu bộ điều khiển virtio-scsi-pci |
--cpu x86-64-v2-AES | CPU chung | An toàn khi live migration giữa các node khác đời CPU (không dùng host) |
--agent enabled=1,fstrim_cloned_disks=1 | Bật guest agent | Lấy IP, tắt máy êm, fs-freeze khi backup; TRIM sau khi clone |
--serial0 socket --vga serial0 | Console nối tiếp | Khuyến nghị cho ảnh cloud (GUI mở xterm.js); nếu cần console đồ hoạ: qm set <VMID> --vga std |
scsi0 ... discard=on,ssd=1 | TRIM xuống RBD | Giải phóng dung lượng Ceph khi xoá dữ liệu |
| Đĩa 20 GB | qm resize | Đủ cho OS; VM lớn hơn được nới khi clone |
--ciupgrade 0 | Tắt nâng cấp ở lần boot đầu | Mặc định PVE bật package_upgrade (cần mạng); template đã cập nhật sẵn, bài 06 lo cập nhật định kỳ |
Cách 1: Web UI Proxmox (GUI)
9000, Name tpl-ubuntu-2404. Tab OS: Do not use any media, Guest OS Type Linux, Version 6.x - 2.6 Kernel.q35, SCSI Controller VirtIO SCSI (không chọn "single" để khớp tài liệu), BIOS SeaBIOS, tick Qemu Agent. Tab Disks: bấm biểu tượng thùng rác để xoá đĩa mặc định (đĩa thật sẽ nhập ở bước CLI bên dưới).1, Cores 2, Type x86-64-v2-AES. Tab Memory: 2048. Tab Network: Bridge vmbr0, VLAN Tag 45, Model VirtIO, bỏ tick Firewall. Tab Confirm: bỏ tick Start after created → Finish.IDE, số 2, Storage vm-ceph). Hardware → Add → Serial Port (số 0); Hardware → Display → Edit → Graphic card Serial terminal 0. Options → Boot Order: chỉ giữ scsi0 (sau khi nhập đĩa).
sysadmin, bỏ trống Password, DNS domain hoatranlabs.local, DNS servers 1.1.1.1 8.8.8.8 (tạm, vì Pi-hole chưa có), SSH public key dán khoá quản trị, bỏ tick Upgrade packages, IP Config (net0) → IPv4 Static, 10.11.45.99/24, Gateway 10.11.45.1 → Regenerate Image.
.img hay không): qm set 9000 --scsi0 vm-ceph:0,import-from=... rồi qm resize như ở Cách 2.Cách 2: CLI (qm) — toàn bộ trên node1
cd /root/lab
qm create 9000 --name tpl-ubuntu-2404 --ostype l26 --machine q35 --cpu x86-64-v2-AES \
--sockets 1 --cores 2 --memory 2048 --scsihw virtio-scsi-pci \
--net0 virtio,bridge=vmbr0,tag=45,firewall=0 \
--agent enabled=1,fstrim_cloned_disks=1 --serial0 socket --vga serial0 \
--tags "template;ubuntu-2404"
# Nhập đĩa từ ảnh cloud thẳng vào vm-ceph (RBD, raw), rồi nới lên 20 GB
qm set 9000 --scsi0 vm-ceph:0,import-from=/root/lab/images/noble-server-cloudimg-amd64.img,discard=on,ssd=1
qm resize 9000 scsi0 20G
# Tương đương kiểu cũ: qm disk import 9000 <ảnh> vm-ceph rồi qm set 9000 --scsi0 vm-ceph:vm-9000-disk-0
# Ổ cloud-init + thứ tự khởi động chỉ đĩa scsi0 (bỏ qua dò CD-ROM nên boot nhanh hơn)
qm set 9000 --ide2 vm-ceph:cloudinit --boot order=scsi0
# Cloud-init: user quản trị, khoá SSH, DNS tạm, IP tạm cho VM build, không nâng cấp ở lần boot đầu
qm set 9000 --ciuser sysadmin --sshkeys /root/lab/admin_keys.pub --ciupgrade 0 \
--nameserver "1.1.1.1 8.8.8.8" --searchdomain hoatranlabs.local \
--ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1
qm config 9000
Kết quả qm config 9000 (mẫu, rút gọn):
agent: enabled=1,fstrim_cloned_disks=1
boot: order=scsi0
ciupgrade: 0
ciuser: sysadmin
cores: 2
cpu: x86-64-v2-AES
ide2: vm-ceph:vm-9000-cloudinit,media=cdrom,size=4M
ipconfig0: ip=10.11.45.99/24,gw=10.11.45.1
machine: q35
name: tpl-ubuntu-2404
nameserver: 1.1.1.1 8.8.8.8
net0: virtio=BC:24:11:xx:xx:xx,bridge=vmbr0,tag=45,firewall=0
scsi0: vm-ceph:vm-9000-disk-0,discard=on,size=20G,ssd=1
scsihw: virtio-scsi-pci
searchdomain: hoatranlabs.local
serial0: socket
sshkeys: ssh-ed25519%20AAAA...
vga: serial0
2.3 Script bake — "nướng" gói nền vào ảnh
Script lab-bake.sh chạy bên trong VM build: cập nhật hệ thống, cài qemu-guest-agent, chrony, công cụ cơ bản, cấu hình dùng chung của lab, dọn mọi dấu vết định danh (khoá SSH host, machine-id, trạng thái cloud-init, lịch sử shell) rồi tắt máy. Nhờ nướng sẵn, 30 VM clone không cần Internet hay DNS ở lần boot đầu. Tạo tệp trên node1:
#!/usr/bin/env bash
# lab-bake.sh — chạy BÊN TRONG VM build (root): cập nhật, cài gói nền, (tuỳ chọn) Docker, dọn dấu vết rồi tắt máy.
# Cách dùng: sudo bash lab-bake.sh # template Ubuntu 24.04 cơ bản (VMID 9000)
# sudo bash lab-bake.sh --docker # thêm Docker Engine từ repo chính thức (VMID 9001)
set -euo pipefail
export DEBIAN_FRONTEND=noninteractive NEEDRESTART_MODE=a
WITH_DOCKER=0; [ "${1:-}" = "--docker" ] && WITH_DOCKER=1
cloud-init status --wait --long || echo "cloud-init báo lỗi: xem /var/log/cloud-init.log" >&2
. /etc/os-release
[ "${VERSION_ID}" = "24.04" ] || { echo "Cần Ubuntu 24.04, đang là ${VERSION_ID}" >&2; exit 1; }
echo "[1/5] Cập nhật hệ thống và cài gói nền"
apt-get update
apt-get -y dist-upgrade
apt-get -y install qemu-guest-agent chrony curl wget gnupg jq vim git unzip dnsutils net-tools htop
timedatectl set-timezone Asia/Ho_Chi_Minh
systemctl enable --now chrony
systemctl start qemu-guest-agent || true # unit khởi động qua udev khi có kênh virtio-serial
echo "[2/5] Cấu hình dùng chung của lab"
install -d /etc/needrestart/conf.d
echo "\$nrconf{restart} = 'a';" > /etc/needrestart/conf.d/90-lab.conf # apt không hỏi restart dịch vụ
cat > /etc/cloud/cloud.cfg.d/99-lab.cfg <<'EOF'
# Đổi IP/DNS/khoá SSH bằng qm set -> instance-id đổi -> cloud-init chạy lại mà KHÔNG sinh lại khoá SSH host
ssh_deletekeys: false
EOF
ufw allow OpenSSH > /dev/null # chỉ thêm luật; UFW vẫn TẮT, từng bài tự bật khi cần
if [ "$WITH_DOCKER" = 1 ]; then
echo "[3/5] Docker Engine (repo download.docker.com, suite noble)"
apt-get -y remove docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc 2>/dev/null || true
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
gpg --show-keys --with-colons /etc/apt/keyrings/docker.asc | grep -q '^fpr:::::::::9DC858229FC7DD38854AE2D88D81803C0EBFCD88:' \
|| { echo "Sai fingerprint khoá Docker" >&2; exit 1; }
chmod a+r /etc/apt/keyrings/docker.asc
cat > /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: ${UBUNTU_CODENAME:-$VERSION_CODENAME}
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
apt-get update
apt-get -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
cat > /etc/docker/daemon.json <<'EOF'
{ "log-driver": "json-file", "log-opts": { "max-size": "50m", "max-file": "3" } }
EOF
systemctl restart docker
docker run --rm hello-world > /dev/null && docker image rm hello-world > /dev/null
docker --version; docker compose version
else
echo "[3/5] Bỏ qua Docker (template cơ bản)"
fi
echo "[4/5] Dọn dẹp để clone là máy mới hoàn toàn"
apt-get -y autoremove --purge
apt-get clean
rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
rm -f /etc/ssh/ssh_host_* # cloud-init sinh lại ở lần boot đầu của mỗi clone
rm -f /root/.bash_history /home/*/.bash_history /home/*/.ssh/authorized_keys
journalctl --rotate && journalctl --vacuum-time=1s
cloud-init clean --logs --seed --machine-id --configs network # xoá trạng thái cloud-init + machine-id
sync
echo "[5/5] Tắt máy — sau đó trên node: bỏ IP tạm rồi qm template"
systemctl poweroff
Giải thích các điểm dễ sai:
| Dòng/khối | Tác dụng |
|---|---|
cloud-init status --wait | Chờ cloud-init của lần boot đầu xong rồi mới cập nhật gói (tránh tranh chấp khoá apt) |
99-lab.cfg với ssh_deletekeys: false | PVE tính instance-id bằng băm của user-data và network-config; đổi IP, DNS hoặc khoá SSH bằng qm set làm instance-id đổi, cloud-init coi là máy mới và mặc định sinh lại khoá SSH host (khách thấy cảnh báo "host key changed"). Tuỳ chọn này giữ khoá sau lần sinh đầu tiên. Cần kiểm lại trên máy thật sau khi clone |
rm -f /etc/ssh/ssh_host_* | Mọi clone phải có khoá host riêng; cloud-init tạo khi boot lần đầu |
cloud-init clean --machine-id | Đặt /etc/machine-id về uninitialized; systemd cấp mã mới khi clone boot (tránh trùng machine-id: DHCP, journald, agent giám sát) |
ufw allow OpenSSH | Chỉ thêm luật, UFW vẫn tắt; các bài sau bật UFW không tự khoá SSH |
NEEDRESTART_MODE=a và 90-lab.conf | needrestart của Ubuntu 24.04 không hỏi tương tác khi apt chạy trong script |
2.4 Khởi động VM build và chạy script
qm start 9000
# Chờ khoảng 30–60 giây cho cloud-init lần đầu. Từ MÁY QUẢN TRỊ (có khoá riêng khớp admin_keys.pub), copy rồi chạy script:
ssh-keygen -R 10.11.45.99 2>/dev/null
scp -3 -o StrictHostKeyChecking=accept-new [email protected]:/root/lab/lab-bake.sh [email protected]:/tmp/
ssh -t [email protected] 'sudo bash /tmp/lab-bake.sh'
Kết quả cuối (mẫu): [5/5] Tắt máy ... rồi phiên SSH đóng vì VM tự poweroff. Quay lại node1 hoàn tất template:
qm wait 9000 --timeout 900 # chờ VM dừng hẳn
qm set 9000 --ipconfig0 ip=dhcp --nameserver 10.11.45.53 --searchdomain hoatranlabs.local \
--description "Ubuntu 24.04.5 cloud image 20260926, build $(date +%F). Dựng bởi bài 07 (lab-bake.sh)." \
--tags "template;ubuntu-2404"
qm template 9000
pveum pool modify pool-infra --vms 9000 # template thuộc pool-infra (bài 08 cấp quyền clone riêng qua /vms/9000)
pvesm list vm-ceph --vmid 9000
Kết quả (mẫu):
Volid Format Type Size VMID
vm-ceph:base-9000-disk-0 raw images 21474836480 9000
vm-ceph:vm-9000-cloudinit raw images 4194304 9000
qm clone sao chép luôn tệp firewall /etc/pve/firewall/<VMID>.fw của VM nguồn. Giữ template ở trạng thái "sạch": firewall=0 trên net0 (như trên), không có 9000.fw/9001.fw và tuyệt đối không đặt IPSet ipfilter-net0 với IP cố định, nếu không mọi clone mang IP của template và bị chặn gói đi ra. IPSet ipfilter-net0 đúng IP từng VM do script ở Bước 8 sinh (--ipfilter). Kiểm tra: ls /etc/pve/firewall/9000.fw phải báo không tồn tại.
ciuser, sshkeys, nameserver, searchdomain, ciupgrade=0 được clone thừa hưởng (mã clone_vm sao chép toàn bộ cấu hình, chỉ sinh lại MAC, UUID SMBIOS và tạo ổ cloud-init mới). Mỗi clone chỉ cần đặt ipconfig0, tài nguyên và VLAN. Nameserver mặc định là Pi-hole 10.11.45.53; trước khi làm bài 12 hãy ghi đè bằng DNS công cộng cho VM nào cần ra Internet.
Template Ubuntu 24.04 + Docker (VMID 9001)
17 trong 30 VM của lab chạy Docker Compose (Pi-hole, Authentik, Prometheus, Grafana, Mailu, Wazuh, Harbor, Gitea, NetBox, OpenVAS, Vaultwarden, SonarQube, Nexus, SeaweedFS S3, TheHive, CrowdSec, Mattermost). Template 9001 là bản sao của 9000 cộng Docker Engine từ repo chính thức của Docker (suite noble, nguồn deb822 + Signed-By, không dùng apt-key); lab-bake.sh --docker còn kiểm fingerprint khoá repo 9DC8 5822 9FC7 DD38 854A E2D8 8D81 803C 0EBF CD88 và gỡ các gói không chính thức (docker.io, docker-compose-v2, podman-docker). K3s (bài 28) dùng containerd riêng nên không dùng template này.
cd /root/lab
qm clone 9000 9001 --name tpl-ubuntu-2404-docker --full 1 --storage vm-ceph
qm set 9001 --memory 2048 --cores 2 --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1 \
--nameserver "1.1.1.1 8.8.8.8" --tags "template;ubuntu-2404;docker"
qm start 9001
# Chờ ~40 giây, rồi từ MÁY QUẢN TRỊ:
ssh-keygen -R 10.11.45.99 2>/dev/null
scp -3 -o StrictHostKeyChecking=accept-new [email protected]:/root/lab/lab-bake.sh [email protected]:/tmp/
ssh -t [email protected] 'sudo bash /tmp/lab-bake.sh --docker'
Dòng cuối của script (mẫu): Docker version 29.9.1 và Docker Compose version v5.6.0. Khi VM tắt:
qm wait 9001 --timeout 900
qm set 9001 --ipconfig0 ip=dhcp --nameserver 10.11.45.53 --searchdomain hoatranlabs.local \
--description "Ubuntu 24.04.5 + Docker 29.9.1, build $(date +%F). Bài 07." --tags "template;ubuntu-2404;docker"
qm template 9001
pveum pool modify pool-infra --vms 9001
ls /etc/pve/firewall/9001.fw 2>&1 | head -1 # phải báo "No such file" (bài 05, mục 7.2)
nft thuần cũng không được hỗ trợ khi đã cài Docker. Với VM dựng từ 9001, hạn chế truy cập bằng firewall của PVE (bài 05) hoặc gắn cổng vào IP cụ thể (127.0.0.1:8080:80), đừng chỉ dựa vào ufw deny. Ngoài ra /etc/docker/daemon.json của template chỉ đặt xoay vòng log; bài nào cần cấu hình registry riêng (Harbor, Nexus) sẽ ghi đè tệp này.
Template tuỳ chọn: Debian 13 và Windows
Debian 13 "trixie" (đề xuất VMID 9010) · Windows (đề xuất VMID 9002, chỉ mô tả)
Hai template dưới đây không bắt buộc và không nằm trong bảng quy hoạch; dùng khi tổ chức cần hệ điều hành khác Ubuntu.
4.1 Debian 13 "trixie" (đề xuất VMID 9010)
Ảnh genericcloud là bản rút gọn cho máy ảo KVM (kernel -cloud, thiếu driver phần cứng thật); cần PCI passthrough thì dùng ảnh generic. Quy trình giống mục 2, khác ở ảnh, checksum SHA-512 và gói cài thêm. User mặc định của ảnh là debian nhưng ciuser=sysadmin thay thế nó.
cd /root/lab/images
D=https://cloud.debian.org/images/cloud/trixie/latest
wget -q --show-progress "$D/debian-13-genericcloud-amd64.qcow2" "$D/SHA512SUMS"
sha512sum -c SHA512SUMS --ignore-missing # debian-13-genericcloud-amd64.qcow2: OK
qm create 9010 --name tpl-debian-13 --ostype l26 --machine q35 --cpu x86-64-v2-AES --cores 2 --memory 2048 \
--scsihw virtio-scsi-pci --net0 virtio,bridge=vmbr0,tag=45,firewall=0 \
--agent enabled=1,fstrim_cloned_disks=1 --serial0 socket --vga serial0 --tags "template;debian-13"
qm set 9010 --scsi0 vm-ceph:0,import-from=/root/lab/images/debian-13-genericcloud-amd64.qcow2,discard=on,ssd=1
qm resize 9010 scsi0 20G
qm set 9010 --ide2 vm-ceph:cloudinit --boot order=scsi0 --ciuser sysadmin --sshkeys /root/lab/admin_keys.pub \
--ciupgrade 0 --nameserver "1.1.1.1 8.8.8.8" --searchdomain hoatranlabs.local --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1
qm start 9010
# Trong VM (SSH [email protected]): cài gói nền rồi dọn như lab-bake.sh (bản Debian không có chrony/qemu-guest-agent sẵn)
# sudo apt-get update && sudo apt-get -y dist-upgrade && sudo apt-get -y install qemu-guest-agent chrony
# sudo rm -f /etc/ssh/ssh_host_*; sudo cloud-init clean --logs --seed --machine-id --configs network; sudo poweroff
# Rồi trên node1: qm wait 9010; qm set 9010 --ipconfig0 ip=dhcp --nameserver 10.11.45.53; qm template 9010
lab-bake.sh kiểm VERSION_ID = 24.04 nên không chạy trên Debian (chủ ý, tránh nhầm template). Các bước Debian ở trên chưa được kiểm trên máy thật: kiểm lại tên dịch vụ chrony và việc agent tự khởi động sau khi clone.
4.2 Windows (đề xuất VMID 9002, chỉ mô tả)
Windows không có cloud image miễn phí; tài liệu PVE dùng Cloudbase-Init (bản cài lại cloud-init cho Windows, ít tính năng hơn, citype=configdrive2 mặc định khi ostype là Windows). Quy trình tóm tắt, bạn tự thực hiện và kiểm lại:
| Bước | Việc cần làm |
|---|---|
| 1 | Tạo VM Windows Server (ISO Evaluation 180 ngày như bài 39 hoặc ISO có giấy phép), --ostype win11 (nhóm 11/2022/2025), đĩa và card mạng VirtIO nạp từ ISO virtio-win; cài thêm QEMU Guest Agent từ gói virtio-win |
| 2 | Cài Cloudbase-Init (từ cloudbase.it), chưa chạy Sysprep; chỉnh cloudbase-init.conf: username, groups, inject_user_password=true, first_logon_behaviour=no, metadata_services=...ConfigDriveService để cấu hình ngay sau khi boot |
| 3 | Sysprep có tệp Unattend.xml của Cloudbase-Init: sysprep.exe /generalize /oobe /unattend:Unattend.xml (Windows Server chạy sẵn; Windows 11 cần thêm bước bật tài khoản Administrator và gỡ gói OneDriveSync theo tài liệu PVE) |
| 4 | Khi VM tắt: qm set 9002 --ide2 vm-ceph:cloudinit rồi qm template 9002 |
| 5 | Clone: qm clone 9002 <VMID> --name <tên>; đặt ostype Windows trước rồi mới qm set <VMID> --cipassword '<mật khẩu>' --ipconfig0 ip=...,gw=... --sshkeys ..., nếu không mật khẩu bị mã hoá và Cloudbase-Init dùng nguyên chuỗi mã hoá làm mật khẩu |
Clone, cloud-init và snippets
Linked clone hay full clone trên vm-ceph · Xem cloud-init mà Proxmox sinh ra · Đổi cấu hình cloud-init của VM đã chạy
5.1 Linked clone hay full clone trên vm-ceph
| Tiêu chí | Linked clone | Full clone |
|---|---|---|
| Cơ chế trên RBD | Ảnh con (RBD clone) của snapshot __base__ trong ảnh base-9000-disk-0 | Sao chép toàn bộ dữ liệu sang ảnh mới |
| Tốc độ tạo | Vài giây | Phụ thuộc lượng dữ liệu đã dùng (đĩa thưa chỉ chép phần có dữ liệu) |
| Dung lượng | Chỉ phần thay đổi so với template | Độc lập hoàn toàn |
| Phụ thuộc | Không xoá được template khi còn clone; mọi đọc chưa ghi đi qua ảnh gốc | Không phụ thuộc template |
| Dùng cho | VM thử nghiệm, lớp học, CI tạm thời (pool-test) | VM dịch vụ lâu dài (mặc định của script bài này) |
Mặc định qm clone từ template là linked (tài liệu qm: "for VM templates, we try to create a linked clone by default"); --full 1 ép full clone và mới cho phép --storage/--format. Ví dụ clone ngay bên dưới tạo luôn ops01 (VM290) để bạn có máy thật cho Bước 7. Gỡ phụ thuộc của một linked clone sang full: dùng lệnh Ceph rbd flatten vm-ceph/vm-<VMID>-disk-0 (cần kiểm lại trên máy thật trước khi áp dụng cho VM thật).
Cách 1: Web UI Proxmox (GUI)
9000 (tpl-ubuntu-2404) trong cây bên trái → Clone.node2, VM ID 290, Name ops01, Mode Full Clone, Target Storage vm-ceph, Format Raw disk image (raw), Resource Pool pool-infra → Clone.
Cách 2: CLI (qm)
# Chạy trên node1 (node giữ cấu hình template). --target đặt VM sang node khác (chỉ khi đĩa nằm trên storage chia sẻ)
qm clone 9000 290 --name ops01 --full 1 --storage vm-ceph --pool pool-infra --target node2
# Cấu hình VM phải chạy TRÊN NODE ĐANG GIỮ VM (qm chỉ thao tác trên node cục bộ):
ssh root@node2 "qm set 290 --cores 2 --memory 4096 --net0 virtio,bridge=vmbr0,tag=45,firewall=0 \
--ipconfig0 ip=10.11.45.20/24,gw=10.11.45.1 --nameserver '1.1.1.1 8.8.8.8' \
--searchdomain hoatranlabs.local --tags 'lab;infra' --onboot 1 && qm resize 290 scsi0 40G"
Tên NIC trong VM clone từ template là eth0, không phải ens18/enp6s18: network-config mà PVE tạo (định dạng v1) có name: eth<N> kèm mac_address, nên cloud-init đổi tên card theo MAC (đã đối chiếu mã nocloud_network của qemu-server). Bài nào ghi cứng ens18, enp6s18 (cấu hình kube-vip, dns_interface của Pi-hole…) phải sửa thành eth0 khi dựng từ template, hoặc chạy ip -br link để xem tên thật.
5.2 Xem cloud-init mà Proxmox sinh ra
qm cloudinit dump 290 user # cũng có: network, meta (lệnh dump không có loại vendor)
qm cloudinit pending 290 # giá trị hiện tại so với giá trị chờ áp dụng
Kết quả user (mẫu, ciupgrade=0 nên không có dòng package_upgrade):
#cloud-config
hostname: ops01
manage_etc_hosts: true
fqdn: ops01.hoatranlabs.local
user: sysadmin
ssh_authorized_keys:
- ssh-ed25519 AAAA... hoatv@admin-pc
chpasswd:
expire: False
users:
- default
Kết quả network (mẫu): version: 1, một mục type: physical với name: eth0 và mac_address, mạng con static (address, netmask, gateway), và mục type: nameserver chứa DNS cùng search. Kết quả meta: instance-id: là chuỗi băm SHA-1 của user-data ghép network-config — đổi bất cứ giá trị nào ở hai tệp trên là đổi instance-id.
5.3 Đổi cấu hình cloud-init của VM đã chạy
qm set 290 --nameserver 10.11.45.53 --searchdomain hoatranlabs.local # ví dụ: chuyển sang Pi-hole sau bài 12
qm cloudinit update 290 # tạo lại ổ cloud-init ngay (GUI: Cloud-Init → Regenerate Image)
ssh [email protected] sudo reboot # instance-id đổi => cloud-init áp dụng lại mạng khi boot
instance-id: (1) mỗi lần đổi cấu hình cloud-init rồi khởi động lại, mọi module "per-instance" của cloud-init chạy lại (đặt hostname, tạo user, ghi khoá SSH, áp mạng); template đã đặt ssh_deletekeys: false để khoá SSH host không bị sinh lại. (2) Nếu bạn tự sửa netplan trong VM, lần chạy lại cloud-init có thể ghi đè 50-cloud-init.yaml — với VM dựng từ template, luôn đổi mạng bằng qm set, đừng sửa netplan bằng tay (các bài 12–37 hướng dẫn sửa netplan dành cho VM cài từ ISO).
5.4 Snippets và cicustom — khi nào cần và bẫy đồng bộ
Các trường chuẩn (ciuser, sshkeys, ipconfig…) đủ cho phần lớn VM. Dùng cicustom khi cần việc mà trường chuẩn không làm được (ghi tệp, đặt múi giờ, chạy lệnh ở lần boot đầu…). Có bốn loại tệp: user, network, meta, vendor.
| Loại | Tác dụng | Lưu ý |
|---|---|---|
vendor= | Thêm cấu hình bổ sung cho cloud-init; user-data do PVE sinh vẫn dùng nguyên (ciuser, sshkeys vẫn có hiệu lực) | Khuyến nghị cho lab. Tài liệu cloud-init: cấu hình của người dùng được merge đè lên vendor-data; user-data của PVE không có runcmd/packages nên không ghi đè vendor |
user= | Thay thế hoàn toàn user-data tự sinh | Mất tác dụng của ciuser, sshkeys… (bạn phải tự viết users:) |
network=, meta= | Thay thế network-config hoặc meta-data | Chỉ dùng cho mạng nhiều NIC/VLAN phức tạp |
#cloud-config
# /var/lib/vz/snippets/vendor-lab.yaml — vendor-data của lab: nhẹ, không cần Internet/DNS ở lần boot đầu
timezone: Asia/Ho_Chi_Minh
write_files:
- path: /etc/motd
permissions: "0644"
content: |
HOATRANLABS — VM dựng từ template cloud-init (bài 07).
Mạng/DNS/khoá SSH do Proxmox quản lý: đổi bằng "qm set" trên node, đừng sửa netplan bằng tay.
runcmd:
- [ systemctl, enable, --now, fstrim.timer ]
Tệp đặt trong thư mục snippets của storage local rồi gắn vào VM:
install -m 0644 vendor-lab.yaml /var/lib/vz/snippets/vendor-lab.yaml
qm set 290 --cicustom "vendor=local:snippets/vendor-lab.yaml"
qm cloudinit update 290
local không tự sang node khác. Tài liệu PVE: tệp cicustom phải nằm trên storage hỗ trợ snippets và có mặt trên mọi node mà VM có thể chạy, nếu không VM không khởi động được (migration, HA tự khôi phục sang node khác). Lab dùng cách đơn giản nhất: đồng bộ thư mục snippets tới mọi node bằng sync-snippets.sh (chạy lại mỗi lần sửa snippet và mỗi khi thêm node). Phương án thay thế: storage chia sẻ hỗ trợ snippets (NFS từ NAS syno-primary, hoặc CephFS nếu bạn triển khai thêm MDS), khi đó chỉ cần một bản. Template 9000/9001 cố ý không gắn cicustom để clone không phụ thuộc snippet.
#!/usr/bin/env bash
# sync-snippets.sh — chép snippet cloud-init từ node này sang mọi node trong cluster (snippets của storage "local" là cục bộ từng node)
set -euo pipefail
SRC=/var/lib/vz/snippets
ME="$(hostname -s)"
for node in $(pvesh get /nodes --output-format json | python3 -c 'import sys,json; print(" ".join(n["node"] for n in json.load(sys.stdin)))'); do
[ "$node" = "$ME" ] && continue
ssh -o BatchMode=yes "root@$node" "mkdir -p $SRC"
scp -q -o BatchMode=yes "$SRC"/*.yaml "root@$node:$SRC/"
echo "đã đồng bộ snippets -> $node"
done
API token cho ops01 (mức tối thiểu, bài 08 chuẩn hoá)
Ansible và OpenTofu gọi API của PVE bằng API token, không dùng root@pam. Thiết kế quyền của series (bài 08) cố ý hẹp: token svc-automation@pve!ansible chỉ tạo/xoá VM trong pool-test và chỉ vận hành (bật/tắt) VM trong pool-prod; pool-infra (gồm cả ops01) chỉ grp-pve-admin thao tác. Vì vậy 30 VM của lab do script chạy bằng root trên node1 dựng (Bước 8), còn Ansible/OpenTofu dùng cho VM thử nghiệm và mọi VM mới sau này. Nếu bạn đã làm bài 08 thì token đã có (bỏ lệnh tạo bên dưới, chỉ lấy lại giá trị token nếu còn lưu); chưa làm thì tạo bản tối thiểu sau — tên và quyền khớp bài 08, pve-rbac-apply.sh của bài đó sẽ thu về đúng định nghĩa:
pveum user add svc-automation@pve --comment "Tu dong hoa tu ops01 (Ansible/OpenTofu)"
pveum role add TemplateDeployer --privs "VM.Allocate VM.Clone VM.Audit VM.PowerMgmt VM.Console VM.Config.CPU VM.Config.Memory VM.Config.Disk VM.Config.Network VM.Config.Options VM.Config.Cloudinit VM.Config.HWType"
pveum user token add svc-automation@pve ansible --privsep 1 --comment "ops01: Ansible + OpenTofu"
Lệnh cuối in bảng chứa value — chỉ hiện một lần, chép ngay vào trình quản lý mật khẩu (kết quả mẫu, giá trị đã thay):
│ full-tokenid │ svc-automation@pve!ansible │
│ info │ {"privsep":"1"} │
│ value │ <TOKEN_SECRET> │
Token tách quyền (privsep=1) chỉ nhận phần nằm trong giao của quyền user và quyền token, nên gán ACL cho cả hai:
U=svc-automation@pve; T='svc-automation@pve!ansible'
acl() { pveum acl modify "$1" --users "$U" --tokens "$T" --roles "$2"; }
acl / PVEAuditor # thấy cluster (bpg/proxmox cần Sys.Audit để liệt kê node)
acl /pool/pool-test TemplateDeployer # tạo/xoá/cấu hình/bật VM thử
acl /storage/vm-ceph PVEDatastoreUser # cấp đĩa (Datastore.AllocateSpace)
acl /sdn/zones/localnetwork PVESDNUser # dùng bridge vmbr0 (SDN.Use)
acl /vms/9000 PVETemplateUser # được clone template 9000
acl /vms/9001 PVETemplateUser
pveum user permissions "$T" --path /vms/9000 # phải có VM.Clone
pveum user permissions "$T" --path /pool/pool-test # phải có VM.Allocate
| Đường dẫn ACL | Vì sao cần (theo mã nguồn API clone của qemu-server) |
|---|---|
/vms/9000, /vms/9001 | VM.Clone trên template nguồn (role dựng sẵn PVETemplateUser) |
/pool/pool-test | VM.Allocate trên pool đích khi clone kèm tham số pool; VM.Config.* để đặt cloud-init, CPU, RAM; VM.PowerMgmt để khởi động (bắt buộc từ PVE 9.2 theo bài 08) |
/storage/vm-ceph | Datastore.AllocateSpace cho đĩa và ổ cloud-init mới |
/sdn/zones/localnetwork | SDN.Use trên bridge/VLAN của card mạng (đường dẫn con vmbr0/<tag> được thừa hưởng) |
/storage/local (chỉ khi dùng cicustom) | Datastore.AllocateSpace để token được tham chiếu snippet |
import-from=/root/...) chỉ cho root@pam, nên dựng template luôn làm bằng root trên node; token chỉ clone. Một số thao tác khác cũng chỉ root làm được (bpg/proxmox ghi chú lỗi "Permission check failed (user != root@pam)"). Chưa kiểm clone sang node khác bằng token trên máy thật: nếu API đòi thêm quyền (ví dụ VM.Migrate), thêm vào role và ghi lại.
Khởi động ops01 (VM290) và cài công cụ
Cài Ansible, OpenTofu, proxmoxer · Thông tin kết nối API · Cho ops01 vào node bằng sysadmin + sudo (Ansible bài 05/06)
ops01 đã được tạo ở mục 5.1 (clone từ template 9000, VM290, node2, 10.11.45.20/24, VLAN 45, 2 vCPU, 4 GB RAM, 40 GB, pool pool-infra). Khởi động và vào máy:
ssh root@node2 qm start 290
# Từ máy quản trị, sau ~40 giây:
ssh -o StrictHostKeyChecking=accept-new [email protected]
ip -br link # NIC tên eth0 (không phải ens18), UP
cloud-init status --long # status: done
hostnamectl | grep -E 'hostname|Operating' # ops01 · Ubuntu 24.04.5 LTS
systemctl is-active qemu-guest-agent chrony # active active
sudo ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub # khác dấu vân tay của VM build 9000
Từ node1 kiểm tra guest agent: ssh root@node2 qm agent 290 ping không in gì khi thành công; lỗi QEMU guest agent is not running nghĩa là agent chưa sẵn sàng (chờ thêm hoặc xem mục Troubleshooting).
7.1 Cài Ansible, OpenTofu, proxmoxer
Tạo /root/lab/install-ops01.sh trên node1 (nội dung dưới), chép sang ops01 rồi chạy bằng sysadmin:
#!/usr/bin/env bash
# install-ops01.sh — chạy bằng user sysadmin trên ops01 (Ubuntu 24.04): Ansible + OpenTofu + proxmoxer
set -euo pipefail
sudo apt-get update
sudo apt-get -y install git jq curl gnupg pipx python3-venv
# 1) Ansible trong venv do pipx quản lý (Ubuntu 24.04 chặn "pip install" ngoài venv — PEP 668)
pipx install "ansible-core>=2.20,<2.21"
pipx inject ansible-core "proxmoxer>=2.3" requests
pipx ensurepath
export PATH="$HOME/.local/bin:$PATH"
ansible-galaxy collection install community.proxmox community.general ansible.posix
# 2) OpenTofu từ kho apt chính thức (khoá lưu ở /etc/apt/keyrings, nguồn dạng deb822)
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://get.opentofu.org/opentofu.gpg | sudo tee /etc/apt/keyrings/opentofu.gpg > /dev/null
curl -fsSL https://packages.opentofu.org/opentofu/tofu/gpgkey | sudo gpg --no-tty --batch --dearmor -o /etc/apt/keyrings/opentofu-repo.gpg
sudo chmod a+r /etc/apt/keyrings/opentofu.gpg /etc/apt/keyrings/opentofu-repo.gpg
sudo tee /etc/apt/sources.list.d/opentofu.sources > /dev/null <<'EOF'
Types: deb
URIs: https://packages.opentofu.org/opentofu/tofu/any/
Suites: any
Components: main
Signed-By: /etc/apt/keyrings/opentofu.gpg,/etc/apt/keyrings/opentofu-repo.gpg
EOF
sudo apt-get update
sudo apt-get -y install tofu
# 3) Thư mục làm việc + kiểm tra phiên bản
mkdir -p ~/lab-iac/{ansible/inventory,ansible/playbooks,tofu} ~/.config/lab
sudo install -d -o sysadmin -g sysadmin -m 0700 /srv/backup/pve-preupdate # nơi bài 06 lưu gói cấu hình trước khi cập nhật
ansible --version | head -1
tofu version | head -1
pipx runpip ansible-core show proxmoxer | grep -E '^(Name|Version)'
scp -3 [email protected]:/root/lab/install-ops01.sh [email protected]:~/
ssh [email protected] 'bash ~/install-ops01.sh'
Kết quả cuối (mẫu):
ansible [core 2.20.x]
OpenTofu v1.13.1
Name: proxmoxer
Version: 2.3.0
Giải thích lựa chọn: Ubuntu 24.04 chặn pip install ngoài môi trường ảo (PEP 668) nên Ansible cài bằng pipx (venv riêng, lệnh ansible* nằm trong ~/.local/bin); proxmoxer được nhét vào đúng venv đó vì module community.proxmox chạy bằng Python của venv. OpenTofu cài từ kho apt chính thức; khoá lưu ở /etc/apt/keyrings. Dòng Signed-By: liệt kê hai khoá ngăn cách bằng dấu phẩy — cách ghi hai khoá trong tệp deb822 chưa được kiểm trên máy thật: nếu apt update báo lỗi chữ ký, dùng đúng dạng một dòng deb [signed-by=...,...] như trang cài đặt của OpenTofu.
7.2 Thông tin kết nối API
# Trên ops01. set +H tắt history expansion để dấu ! trong tên token không bị diễn giải
set +H; umask 077
read -rsp 'Token secret (không hiện khi gõ): ' S; echo
cat > ~/.config/lab/pve.env <<EOF
export PROXMOX_VE_ENDPOINT="https://10.11.45.210:8006/"
export PROXMOX_VE_API_TOKEN='svc-automation@pve!ansible=$S'
export PVE_TOKEN_SECRET='$S'
export PROXMOX_VE_INSECURE=true # tạm thời, tới khi các node dùng chứng chỉ của step-CA (bài 09)
EOF
unset S; source ~/.config/lab/pve.env
curl -sk -H "Authorization: PVEAPIToken=$PROXMOX_VE_API_TOKEN" "${PROXMOX_VE_ENDPOINT}api2/json/version"
# {"data":{"release":"9.2","repoid":"...","version":"9.2.x"}} (mẫu)
7.3 Cho ops01 vào node bằng sysadmin + sudo (Ansible bài 05/06)
Bài 06 chạy playbook cuốn chiếu bằng ansible_user: sysadmin + become, bài 08 cần user sysadmin cục bộ cho realm pam. PVE cài từ ISO không có sẵn sudo và sysadmin, nên tạo trên mỗi node (không cấp SSH root cho ops01). Trước hết tạo khoá riêng của ops01 và lấy dòng khoá công khai:
# Trên ops01 (nên đặt passphrase + ssh-agent khi dùng thật)
ssh-keygen -t ed25519 -C [email protected] -f ~/.ssh/id_ed25519 -N ''
echo "from=\"10.11.45.20\" $(cat ~/.ssh/id_ed25519.pub)" # dán dòng này vào /root/lab/ops01.pub trên node1
Trên node1 lưu dòng đó vào /root/lab/ops01.pub, tạo /root/lab/prepare-node-ansible.sh rồi chạy cho từng node (from= ràng buộc khoá chỉ dùng được từ 10.11.45.20; node5/node6 làm riêng tương tự):
#!/usr/bin/env bash
# prepare-node-ansible.sh — chạy bằng root TRÊN MỖI NODE PVE: tạo user sysadmin cục bộ + sudo + khoá SSH của ops01
# (bài 06 chạy Ansible bằng sysadmin + become; bài 08 dùng sysadmin@pam). Cần tệp /root/ops01.pub (1 dòng, có from="10.11.45.20").
set -euo pipefail
KEYFILE=/root/ops01.pub
[ -s "$KEYFILE" ] || { echo "Thiếu $KEYFILE" >&2; exit 1; }
apt-get install -y sudo > /dev/null
id sysadmin > /dev/null 2>&1 || adduser --disabled-password --gecos '' sysadmin
usermod -aG sudo sysadmin
install -d -m 700 -o sysadmin -g sysadmin /home/sysadmin/.ssh
touch /home/sysadmin/.ssh/authorized_keys
grep -qxF -f "$KEYFILE" /home/sysadmin/.ssh/authorized_keys || cat "$KEYFILE" >> /home/sysadmin/.ssh/authorized_keys
chown sysadmin:sysadmin /home/sysadmin/.ssh/authorized_keys; chmod 600 /home/sysadmin/.ssh/authorized_keys
echo 'sysadmin ALL=(ALL) NOPASSWD:ALL' > /etc/sudoers.d/90-sysadmin
chmod 440 /etc/sudoers.d/90-sysadmin
visudo -cf /etc/sudoers.d/90-sysadmin
echo "OK: $(hostname -s) — sysadmin có sudo, khoá ops01 đã thêm"
for n in node1 node2 node3 node4; do
scp -q /root/lab/ops01.pub root@$n:/root/ops01.pub && ssh root@$n 'bash -s' < /root/lab/prepare-node-ansible.sh
done
# Kiểm tra từ ops01: ssh [email protected] 'sudo -n true && echo sudo OK'
~/.ssh/config để các node/VM đi qua ops01 (Host node* pbs01 + ProxyJump [email protected]). Siết SSH (cổng, AllowUsers, chỉ cho phép nguồn ops01 tới 22/tcp của node) làm ở bài 05; sysadmin có NOPASSWD sudo chỉ chấp nhận được khi khoá bị ràng buộc from= và chỉ ops01 giữ khoá riêng.
Dựng 30 VM lab bằng create-lab-vms.sh
Nguồn dữ liệu duy nhất: vms.csv · Script · Chạy
8.1 Nguồn dữ liệu duy nhất: vms.csv
vms.csv liệt kê đúng bảng quy hoạch VMID · hostname · IP · VLAN · node chung của series, cộng tài nguyên: vCPU và RAM lấy từ mục "Thông tin VM" của từng bài, còn kích thước đĩa đã tính lại theo dung lượng thật của lab 800 GB SSD + 1 TB HDD (ước tính ở mục 8.6, nên nhỏ hơn con số "100 GB/200 GB/500 GB" trong bài dịch vụ; nới bằng qm resize khi cần). Cột: vmid,name,node,vlan,ip,tpl,cores,mem,disk,pool,dns,xdisk (mem tính MB, disk và xdisk tính GB, dns = - nghĩa là dùng DNS mặc định). disk = đĩa scsi0 gồm hệ điều hành và dữ liệu nóng, nằm trên pool SSD vm-ceph (thin, 20–30 GB cho VM nhẹ, tới 60 GB chỗ có cơ sở dữ liệu lớn); xdisk = đĩa dữ liệu lớn/nguội scsi1, nằm trên pool HDD vm-bulk (mục 8.5), 0 nghĩa là không có. Cùng một tệp được create-lab-vms.sh, Ansible và OpenTofu đọc (hai công cụ sau hiện chỉ dựng scsi0, xem ghi chú cuối mục 8.7).
vmid,name,node,vlan,ip,tpl,cores,mem,disk,pool,dns,xdisk
232,headscale,node2,35,10.11.35.10,9001,2,2048,20,pool-infra,-,0
233,privacyidea,node1,25,10.11.25.30,9000,2,4096,20,pool-infra,-,0
234,authentik,node1,25,10.11.25.40,9001,4,4096,30,pool-infra,-,0
235,prometheus,node2,45,10.11.45.35,9001,4,4096,40,pool-infra,-,30
236,grafana,node2,45,10.11.45.36,9001,4,4096,20,pool-infra,-,0
239,harbor,node2,45,10.11.45.39,9001,4,4096,30,pool-prod,-,60
240,gitea,node2,45,10.11.45.40,9001,4,4096,40,pool-prod,-,0
241,mediamtx,node1,65,10.11.65.41,9001,2,2048,20,pool-prod,-,60
242,step-ca,node1,25,10.11.25.42,9001,2,2048,20,pool-infra,-,0
243,vaultwarden,node1,25,10.11.25.43,9001,2,2048,20,pool-infra,-,0
244,openvas,node1,25,10.11.25.44,9001,4,8192,60,pool-prod,-,0
245,netbox,node2,45,10.11.45.45,9001,2,4096,30,pool-prod,-,0
246,mailu,node2,35,10.11.35.46,9001,4,4096,40,pool-infra,-,0
247,pihole,node3,45,10.11.45.53,9001,2,2048,20,pool-infra,1.1.1.1 8.8.8.8,0
250,dc1,node1,65,10.11.65.50,9000,2,4096,30,pool-infra,-,0
251,samba01,node1,65,10.11.65.51,9000,4,4096,20,pool-prod,10.11.65.50 10.11.45.53,60
260,k3s-cp01,node1,65,10.11.65.60,9000,4,8192,30,pool-prod,-,0
261,k3s-cp02,node2,65,10.11.65.61,9000,4,8192,30,pool-prod,-,0
262,k3s-cp03,node3,65,10.11.65.62,9000,4,8192,30,pool-prod,-,0
263,k3s-worker01,node1,65,10.11.65.63,9000,8,16384,60,pool-prod,-,0
264,k3s-worker02,node2,65,10.11.65.64,9000,8,16384,60,pool-prod,-,0
265,k3s-worker03,node3,65,10.11.65.65,9000,8,16384,60,pool-prod,-,0
266,sonarqube,node2,65,10.11.65.66,9001,4,8192,30,pool-prod,-,0
267,nexus,node3,65,10.11.65.67,9001,4,8192,30,pool-prod,-,100
268,s3,node1,85,10.11.85.10,9001,4,8192,20,pool-prod,-,100
269,vault,node1,25,10.11.25.10,9001,2,4096,20,pool-infra,-,0
270,thehive,node2,25,10.11.25.11,9001,4,8192,50,pool-prod,-,0
271,crowdsec,node3,35,10.11.35.20,9001,2,2048,20,pool-prod,-,0
272,mattermost,node1,65,10.11.65.57,9001,2,4096,30,pool-prod,-,0
280,wazuh-siem,node1,45,10.11.45.25,9001,4,8192,60,pool-infra,-,0
290,ops01,node2,45,10.11.45.20,9000,2,4096,40,pool-infra,-,0
Hai VM của bài 39/40 (unifi VM282, wifi-dc02 VM283, domain wifilab.local, ngoài 30 VM lõi) không nằm trong tệp trên; nếu cần, tạo tệp phụ vms-wifi.csv cùng cột và chạy LAB_CSV=vms-wifi.csv ./create-lab-vms.sh. VM Windows wifi-dc01 (VM281) không dựng từ template Linux.
8.2 Script
#!/usr/bin/env bash
# create-lab-vms.sh — dựng VM lab từ template cloud-init theo vms.csv (bài 07)
# Chạy bằng root trên node đang giữ cấu hình template 9000/9001 (mặc định node1).
set -euo pipefail
HERE="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
CSV="${LAB_CSV:-$HERE/vms.csv}"
STORAGE="${LAB_STORAGE:-vm-ceph}" # pool SSD: đĩa hệ điều hành scsi0 (RBD chỉ nhận raw)
DATA_STORAGE="${LAB_DATA_STORAGE:-$STORAGE}" # pool cho đĩa phụ scsi1 (cột xdisk): HDD thì LAB_DATA_STORAGE=vm-bulk (mục 8.5)
BRIDGE="${LAB_BRIDGE:-vmbr0}" # bridge VLAN-aware (bài 03)
DOMAIN="${LAB_DOMAIN:-hoatranlabs.local}"
DNS_DEFAULT="${LAB_DNS:-10.11.45.53}" # Pi-hole; chưa làm bài 12 thì: LAB_DNS="1.1.1.1 8.8.8.8"
FULL="${LAB_FULL:-1}" # 1 = full clone, 0 = linked clone
BASE_DISK_GB=20 # kích thước đĩa của template
LOCAL_NODE="${LAB_LOCAL_NODE:-$(hostname -s)}"
FW_DIR="${LAB_FW_DIR:-/etc/pve/firewall}"
DRY=0; START=0; RECONF=0; LIST=0; IPFILTER=0; NODATA=0; ONLY=""
usage() {
cat <<USAGE
Cách dùng: $0 [--list] [--dry-run] [--only 247,260-265] [--start] [--reconfigure] [--linked] [--ipfilter]
[--data-storage vm-bulk] [--no-data-disk]
--list in kế hoạch (VM, node, tài nguyên) rồi thoát
--dry-run, -n chỉ in lệnh, không thực thi
--only LIST chỉ xử lý các VMID chọn (vd: 247,242,260-265)
--start khởi động VM sau khi tạo
--reconfigure VM đã tồn tại: áp lại IP/DNS/tag (không đụng đĩa, không đổi MAC)
--linked linked clone (chỉ dùng cho VM thử nghiệm)
--ipfilter ghi sẵn IPSet ipfilter-net0 = IP của VM vào <VMID>.fw (firewall VM vẫn TẮT, xem bài 05 mục 7.2)
--data-storage ID storage cho đĩa phụ scsi1 (mặc định LAB_DATA_STORAGE, nếu không đặt thì cùng LAB_STORAGE)
--no-data-disk không tạo đĩa phụ scsi1 (bỏ qua cột xdisk)
Biến môi trường: LAB_CSV LAB_STORAGE LAB_DATA_STORAGE LAB_DATA_SSD LAB_BRIDGE LAB_DOMAIN LAB_DNS LAB_FULL
USAGE
}
while [ $# -gt 0 ]; do
case "$1" in
-n|--dry-run) DRY=1 ;;
--list) LIST=1 ;;
--start) START=1 ;;
--reconfigure) RECONF=1 ;;
--linked) FULL=0 ;;
--ipfilter) IPFILTER=1 ;;
--data-storage) DATA_STORAGE="${2:?thiếu ID storage}"; shift ;;
--no-data-disk) NODATA=1 ;;
--only) ONLY="${2:?thiếu danh sách VMID}"; shift ;;
-h|--help) usage; exit 0 ;;
*) echo "Tham số lạ: $1" >&2; usage >&2; exit 2 ;;
esac
shift
done
[ -r "$CSV" ] || { echo "Không đọc được $CSV" >&2; exit 1; }
# Đĩa phụ cùng pool SSD với đĩa hệ điều hành thì giữ ssd=1; sang pool HDD (vm-bulk) thì bỏ ssd=1, vẫn discard=on.
# Pool khác nhưng cũng là SSD: LAB_DATA_SSD=1.
if [ -n "${LAB_DATA_SSD:-}" ]; then DATA_SSD="$LAB_DATA_SSD"
elif [ "$DATA_STORAGE" = "$STORAGE" ]; then DATA_SSD=1
else DATA_SSD=0
fi
DATA_OPTS="discard=on"
if [ "$DATA_SSD" = 1 ]; then DATA_OPTS+=",ssd=1"; fi
expand_only() { # "247,260-262" -> " 247 260 261 262 "
local out=" " part i
local -a parts
IFS=',' read -ra parts <<< "$1"
for part in "${parts[@]}"; do
if [[ $part =~ ^([0-9]+)-([0-9]+)$ ]]; then
for ((i = BASH_REMATCH[1]; i <= BASH_REMATCH[2]; i++)); do out+="$i "; done
elif [[ $part =~ ^[0-9]+$ ]]; then
out+="$part "
else
echo "--only không hợp lệ: $part" >&2; exit 2
fi
done
echo "$out"
}
SEL=""; [ -n "$ONLY" ] && SEL="$(expand_only "$ONLY")"
selected() { [ -z "$SEL" ] || [[ "$SEL" == *" $1 "* ]]; }
qs() { case "$1" in *[!A-Za-z0-9_@%+=:,./-]*) printf "'%s'" "$1" ;; *) printf '%s' "$1" ;; esac; }
show() { local a; for a in "$@"; do printf ' '; qs "$a"; done; echo; }
run() {
if [ "$DRY" = 1 ]; then printf ' [dry]'; show "$@"; else "$@"; fi
}
on_node() { # on_node <node> <lệnh...>: chạy cục bộ hoặc qua ssh (SSH giữa các node PVE có sẵn)
local node="$1"; shift
if [ "$node" = "$LOCAL_NODE" ]; then
run "$@"
elif [ "$DRY" = 1 ]; then
printf ' [dry] ssh root@%s' "$node"; show "$@"
else
ssh -o BatchMode=yes "root@$node" "$(printf '%q ' "$@")"
fi
}
vm_exists() { compgen -G "/etc/pve/nodes/*/qemu-server/$1.conf" > /dev/null; }
# ipfilter-net0 phải khớp IP TỪNG VM. qm clone sao chép luôn <VMID>.fw của template (bài 05, mục 7.2), nên hàm này
# bỏ đoạn ipfilter-net0 cũ (nếu có) rồi ghi lại đúng IP. Template 9000/9001 không có .fw nên mặc định script không đụng tới firewall.
set_ipfilter() { # set_ipfilter <vmid> <ip>
local f="$FW_DIR/$1.fw" tmp
if [ "$DRY" = 1 ]; then echo " [dry] ghi ipfilter-net0=$2 vào $f"; return; fi
tmp="$(mktemp)"
if [ -e "$f" ]; then
awk '/^\[/ { skip = ($0 ~ /^\[IPSET ipfilter-net0\]/) } !skip' "$f" > "$tmp"
else
printf '[OPTIONS]\nenable: 0\n' > "$tmp"
fi
printf '\n[IPSET ipfilter-net0] # chống giả mạo IP nguồn (bài 05, mục 7.2)\n%s\n' "$2" >> "$tmp"
cat "$tmp" > "$f"; rm -f "$tmp"
}
# ---- --list: bảng kế hoạch + tổng theo node (SSD = cột disk, HDD = cột xdisk; đều là trần danh nghĩa)
if [ "$LIST" = 1 ]; then
printf '%-5s %-14s %-6s %-4s %-13s %-5s %5s %6s %6s %6s %s\n' VMID NAME NODE VLAN IP TPL vCPU RAM_MB SSD_GB HDD_GB POOL
tail -n +2 "$CSV" | tr -d '\r' | while IFS=, read -r vmid name node vlan ip tpl cores mem disk pool dns xdisk; do
selected "$vmid" || continue
printf '%-5s %-14s %-6s %-4s %-13s %-5s %5s %6s %6s %6s %s\n' "$vmid" "$name" "$node" "$vlan" "$ip" "$tpl" "$cores" "$mem" "$disk" "$xdisk" "$pool"
done
tail -n +2 "$CSV" | tr -d '\r' | awk -F, -v sel="$SEL" '
sel == "" || index(sel, " " $1 " ") { n[$3]++; c[$3] += $7; m[$3] += $8; s[$3] += $9; h[$3] += $12; N++; C += $7; M += $8; S += $9; H += $12 }
END { for (k in n) printf "1 %-6s %2d VM %3d vCPU %6.1f GiB RAM %5d GB SSD %4d GB HDD (danh nghĩa)\n", k, n[k], c[k], m[k]/1024, s[k], h[k]
printf "2 TỔNG %2d VM %3d vCPU %6.1f GiB RAM %5d GB SSD %4d GB HDD (danh nghĩa)\n", N, C, M/1024, S, H }' | sort | cut -c2-
exit 0
fi
if [ "$DRY" = 0 ] && [ ! -e "/etc/pve/nodes/$LOCAL_NODE/qemu-server/9000.conf" ]; then
echo "Template 9000 không nằm trên $LOCAL_NODE: chạy script trên node giữ template (node1)." >&2
exit 1
fi
check_storage() { # storage phải có trong cấu hình PVE (pool RBD là storage dùng chung nên node đích cũng thấy)
pvesm status --storage "$1" > /dev/null 2>&1 || { echo "Storage '$1' không tồn tại: xem pvesm status (vm-bulk tạo ở mục 8.5)" >&2; exit 1; }
}
if [ "$DRY" = 0 ]; then
check_storage "$STORAGE"
if [ "$NODATA" = 0 ]; then check_storage "$DATA_STORAGE"; fi
fi
if [ "$NODATA" = 0 ] && [ "$DATA_STORAGE" = "$STORAGE" ]; then
echo "Lưu ý: đĩa phụ (cột xdisk) sẽ nằm CÙNG pool SSD '$STORAGE'. Đã có vm-bulk (mục 8.5) thì: LAB_DATA_STORAGE=vm-bulk $0 ..." >&2
fi
created=0; skipped=0
while IFS=, read -r vmid name node vlan ip tpl cores mem disk pool dns xdisk; do
selected "$vmid" || continue
gw="${ip%.*}.1"
dns_eff="$DNS_DEFAULT"; [ "$dns" != "-" ] && dns_eff="$dns"
tag="lab;${pool#pool-}"
echo "== VM $vmid $name -> $node ($ip/24, VLAN $vlan, template $tpl)"
if vm_exists "$vmid"; then
if [ "$RECONF" = 1 ]; then
on_node "$node" qm set "$vmid" --ipconfig0 "ip=$ip/24,gw=$gw" --nameserver "$dns_eff" --searchdomain "$DOMAIN" --tags "$tag"
on_node "$node" qm cloudinit update "$vmid" || true
[ "$IPFILTER" = 1 ] && set_ipfilter "$vmid" "$ip"
else
echo " đã tồn tại -> bỏ qua"
fi
skipped=$((skipped + 1)); continue
fi
clone=(clone "$tpl" "$vmid" --name "$name" --pool "$pool" --full "$FULL")
[ "$FULL" = 1 ] && clone+=(--storage "$STORAGE")
[ "$node" != "$LOCAL_NODE" ] && clone+=(--target "$node")
run qm "${clone[@]}"
on_node "$node" qm set "$vmid" --cores "$cores" --memory "$mem" \
--net0 "virtio,bridge=$BRIDGE,tag=$vlan,firewall=0" \
--ipconfig0 "ip=$ip/24,gw=$gw" --nameserver "$dns_eff" --searchdomain "$DOMAIN" \
--tags "$tag" --onboot 1
if [ "$disk" -gt "$BASE_DISK_GB" ]; then on_node "$node" qm resize "$vmid" scsi0 "${disk}G"; fi
if [ "$xdisk" -gt 0 ] && [ "$NODATA" = 0 ]; then on_node "$node" qm set "$vmid" --scsi1 "$DATA_STORAGE:$xdisk,$DATA_OPTS"; fi
[ "$IPFILTER" = 1 ] && set_ipfilter "$vmid" "$ip"
if [ "$START" = 1 ]; then on_node "$node" qm start "$vmid"; fi
created=$((created + 1))
done < <(tail -n +2 "$CSV" | tr -d '\r')
echo "Xong: tạo $created VM, bỏ qua $skipped VM đã tồn tại."
Điểm cần biết:
| Điểm | Giải thích |
|---|---|
| Chạy ở đâu | Trên node giữ template (node1). Clone đặt VM sang node khác bằng --target, sau đó lệnh qm set/qm resize chạy trên node đích qua SSH (SSH giữa các node PVE có sẵn) |
| Idempotent | VMID đã tồn tại (kiểm bằng /etc/pve/nodes/*/qemu-server/<VMID>.conf) thì bỏ qua; --reconfigure chỉ áp lại IP/DNS/tag, không đổi MAC và VLAN |
--ipfilter | Ghi sẵn IPSet ipfilter-net0 = IP của VM vào /etc/pve/firewall/<VMID>.fw (kèm enable: 0, firewall VM vẫn tắt). qm clone sao chép tệp .fw của template nên script bỏ đoạn ipfilter-net0 cũ và ghi lại đúng IP; template không có .fw nên mặc định script không đụng firewall. Bật firewall VM và rule: bài 05, mục 7 |
Đĩa hệ điều hành scsi0 | Template 20 GB; cột disk lớn hơn thì qm resize, cloud-init (growpart, resizefs) tự mở rộng phân vùng ở lần boot đầu. Luôn nằm trên LAB_STORAGE (SSD) |
Đĩa phụ scsi1 | Chỉ tạo khi cột xdisk > 0, trên LAB_DATA_STORAGE (mặc định bằng LAB_STORAGE; HDD: LAB_DATA_STORAGE=vm-bulk hoặc --data-storage vm-bulk). Cùng pool SSD thì discard=on,ssd=1, sang pool khác thì chỉ discard=on (ép bằng LAB_DATA_SSD=1/0); --no-data-disk bỏ qua cột này. Ở lần boot đầu đĩa còn trống (/dev/sdb, chưa định dạng): định dạng và gắn vào thư mục dữ liệu của bài dịch vụ (mục 8.5) |
| Kiểm tra storage | Chạy thật (không --dry-run) thì script thoát nếu LAB_STORAGE hoặc LAB_DATA_STORAGE không có trong pvesm status, và cảnh báo khi đĩa phụ rơi vào cùng pool SSD |
| DNS | Mặc định Pi-hole 10.11.45.53. Chưa làm bài 12: LAB_DNS="1.1.1.1 8.8.8.8". Làm xong bài 12: ./create-lab-vms.sh --reconfigure để chuyển DNS cho VM đã tạo |
| Pool | Cột pool khớp bảng pool của bài 08 (mục 5.2); script chạy bằng root nên được tạo VM trong pool-infra/pool-prod — token ansible cố ý không làm được việc này |
| Không tự khởi động | Mặc định VM tạo xong ở trạng thái tắt; bật từng VM khi tới bài của nó (--start để bật ngay) |
8.3 Chạy
cd /root/lab && chmod +x create-lab-vms.sh
./create-lab-vms.sh --list # kế hoạch + tổng tài nguyên danh nghĩa theo node
LAB_DNS="1.1.1.1 8.8.8.8" LAB_DATA_STORAGE=vm-bulk ./create-lab-vms.sh --dry-run --ipfilter --only 247,251 # chạy thử vài VM
Kết quả --list cuối bảng (mẫu, 30 VM + ops01; cột SSD = disk, HDD = xdisk, đều là trần danh nghĩa chứ không phải dung lượng chiếm thật, xem mục 8.6):
node1 14 VM 46 vCPU 78.0 GiB RAM 440 GB SSD 220 GB HDD (danh nghĩa)
node2 12 VM 46 vCPU 70.0 GiB RAM 430 GB SSD 90 GB HDD (danh nghĩa)
node3 5 VM 20 vCPU 36.0 GiB RAM 160 GB SSD 100 GB HDD (danh nghĩa)
TỔNG 31 VM 112 vCPU 184.0 GiB RAM 1030 GB SSD 410 GB HDD (danh nghĩa)
Kết quả --dry-run (mẫu; đĩa phụ vào vm-bulk, không có ssd=1; samba01 có disk 20 GB bằng template nên không cần qm resize):
== VM 251 samba01 -> node1 (10.11.65.51/24, VLAN 65, template 9000)
[dry] qm clone 9000 251 --name samba01 --pool pool-prod --full 1 --storage vm-ceph
[dry] qm set 251 --cores 4 --memory 4096 --net0 virtio,bridge=vmbr0,tag=65,firewall=0 --ipconfig0 ip=10.11.65.51/24,gw=10.11.65.1 --nameserver '10.11.65.50 10.11.45.53' --searchdomain hoatranlabs.local --tags 'lab;prod' --onboot 1
[dry] qm set 251 --scsi1 vm-bulk:60,discard=on
[dry] ghi ipfilter-net0=10.11.65.51 vào /etc/pve/firewall/251.fw
disk và xdisk chỉ là trần danh nghĩa (tổng 1.030 GB SSD + 410 GB HDD cho 31 VM), trong khi cụm 800 GB SSD + 1 TB HDD của lab chỉ có khoảng 266 GB và 333 GB khả dụng với nhân bản 3 (mục 8.4); dung lượng thật chỉ tăng theo dữ liệu ghi, nhưng mỗi full clone chép ngay phần đã dùng của template (khoảng 3–5 GB cho mỗi VM, chưa cần boot). Quy tắc: (1) giữ discard=on (kèm ssd=1 ở đĩa SSD) và fstrim.timer để dữ liệu xoá trong VM được trả lại cho Ceph; (2) theo dõi dung lượng THẬT chứ không phải danh nghĩa: rbd du -p vm-ceph, ceph df detail, ceph osd df tree, và giữ mức dùng raw của mỗi tầng dưới khoảng 60% để cụm vẫn tự phục hồi (nhân bản 3) khi mất một node; cảnh báo nearfull mặc định ở 85%; (3) các đĩa lớn (S3 của bài 32, Nexus, Harbor, Loki, recordings) giờ nằm ở cột xdisk trên HDD và đóng vai hạn mức riêng của từng VM; (4) chặn việc làm đầy pool bằng quota, bật cảnh báo ở bài 10 và dọn rác định kỳ: mục 8.7; (5) dữ liệu thật của đủ 31 VM vượt xa vùng an toàn của 800 GB SSD, nên phải dựng theo giai đoạn (mục 8.6). Cũng đối chiếu RAM từng node: node1 được xếp 78 GiB RAM danh nghĩa.
Tạo thật theo từng giai đoạn của mục 8.6 (làm mục 8.5 để có vm-bulk trước; sau mỗi giai đoạn kiểm ceph df detail rồi mới sang giai đoạn sau), sau đó kiểm kê:
export LAB_DNS="1.1.1.1 8.8.8.8" LAB_DATA_STORAGE=vm-bulk # chưa có vm-bulk: bỏ biến thứ hai (đĩa phụ vào vm-ceph) hoặc thêm --no-data-disk
./create-lab-vms.sh --ipfilter --only 247,242,250,290,234,235,236 # giai đoạn 1: DNS, PKI, AD, ops01, SSO, giám sát (ops01 đã có thì bỏ qua)
ceph df detail | head -8 # RAW USED của lớp ssd/hdd còn dưới ngưỡng an toàn thì mới sang giai đoạn 2
pvesh get /cluster/resources --type vm --output-format json | python3 -c 'import sys,json; r=sorted(json.load(sys.stdin), key=lambda x:x["vmid"]); print(len(r), "VM/template"); [print(x["vmid"], x["name"], x["node"], x["status"], x.get("pool","-")) for x in r]'
8.4 Kế hoạch dung lượng cho lab 800 GB SSD + 1 TB HDD
Phần cứng của lab: tối đa 800 GB SSD + 1 TB HDD cho cả cụm. Bảng dưới là các GIẢ ĐỊNH phân bổ để có con số cụ thể; đĩa của bạn khác thì thay số vào công thức rồi dùng kết quả của bạn.
| Hạng mục | Giả định của bài | Thay số khi khác |
|---|---|---|
| Cụm | HOATRANHUB 4 node, mỗi node đều có OSD, đĩa chia đều | N = số node có OSD |
SSD (OSD của bài 03, /dev/sdb) | 4 × 200 GB = 800 GB | C_ssd mỗi node |
HDD (OSD thêm ở bài 03 mục 7.6, /dev/sdc) | 4 × 250 GB = 1 TB | C_hdd mỗi node |
| Nhân bản | size 3, min_size 2, failure domain là host | size (xem cảnh báo size 2 bên dưới) |
| Mức chịu lỗi | Mất 1 node mà cụm vẫn tự dựng lại đủ 3 bản (k = 1, cần N − 1 ≥ size) | k |
| Mức đầy cho phép sau sự cố | r = 0,8 (dưới ngưỡng nearfull 0,85) | r từ 0,7 đến 0,8 |
| Đơn vị | GB của nhà sản xuất (10^9); Ceph hiển thị GiB/TiB: 800 GB ≈ 745 GiB, 1 TB ≈ 931 GiB | — |
vm-ceph khả dụng ≈ 380 GiB). Với đĩa 200 GB của giả định này vm-ceph khả dụng là 266 GB: dùng số của mục này.
Công thức (tính riêng từng tầng SSD, HDD vì mỗi tầng là một pool):
usable = min( raw / size , (raw − C_max) / (size − 1) ) # raw = tổng OSD của MỘT tầng; C_max = node nhiều đĩa nhất của tầng đó
an_toàn = r × usable của cụm sau khi bỏ node lớn nhất # N − 1 < size (vd. 3 node, size 3): không có chỗ dựng lại, an_toàn = r × usable
Dòng đầu là lẽ thường (mỗi byte được ghi size lần); vế (raw − C_max)/(size − 1) chỉ chặn khi đĩa lệch, vì mỗi PG cần size node khác nhau nên một node lớn không lưu được quá một bản của mỗi PG. Hàm dưới tính sẵn (chạy trong bash, số là GB mỗi node):
cap() { # cap <size> <GB mỗi node...> (R = mức đầy cho phép sau sự cố, mặc định 0,8)
local size=$1; shift
printf '%s\n' "$@" | sort -n | awk -v size="$size" -v r="${R:-0.8}" '
function us(raw, mx) { a = raw / size; b = (raw - mx) / (size - 1); return a < b ? a : b }
{ c[NR] = $1; raw += $1 }
END { mx = c[NR]
safe = (NR - 1 >= size) ? us(raw - mx, c[NR - 1]) : us(raw, mx) # chỉ để dành chỗ dựng lại bản sao khi còn đủ node
printf "raw %d GB usable %d GB an toàn %d GB\n", raw, int(us(raw, mx) + 1e-9), int(r * safe + 1e-9) }'
}
cap 3 200 200 200 200 # SSD: raw 800 GB usable 266 GB an toàn 160 GB
cap 3 250 250 250 250 # HDD: raw 1000 GB usable 333 GB an toàn 200 GB
cap 3 100 100 100 500 # đĩa lệch: raw 800 GB nhưng usable chỉ 150 GB, an toàn 80 GB
| Tầng · pool | Raw | size | Usable (dữ liệu logic) | Vùng an toàn (≈ 60% usable) | Dùng cho |
|---|---|---|---|---|---|
SSD · vm-ceph | 800 GB | 3 | ≈ 266 GB (248 GiB) | ≈ 160 GB (149 GiB) | Hệ điều hành, cơ sở dữ liệu, dữ liệu nóng |
HDD · vm-bulk | 1.000 GB | 3 | ≈ 333 GB (310 GiB) | ≈ 200 GB (186 GiB) | Dữ liệu lớn, nguội |
SSD · size 2 | 800 GB | 2 | 400 GB | 240 GB | Chỉ dữ liệu tái tạo được |
HDD · size 2 | 1.000 GB | 2 | 500 GB | 300 GB | Chỉ dữ liệu tái tạo được |
Vì sao 60%: mất 1 trong 4 node thì dữ liệu của node đó được dựng lại trên 3 node còn lại, mức đầy mỗi OSD nhân với 4/3; 60% × 4/3 = 80% vẫn dưới nearfull 85% (cùng quy tắc N−1 của bài 10 mục 5.1). Với SSD: 60% của 800 GB raw = 480 GB = 160 GB dữ liệu × 3 bản. Con số thật nằm ở cột MAX AVAIL của ceph df (đã trừ ngưỡng full và độ lệch giữa OSD), thường thấp hơn công thức vài phần trăm.
size 2 là đánh đổi rủi ro, không phải tối ưu hoá. Tài liệu Ceph: đặt size 2 hoặc min_size 1 ở môi trường chạy thật có nguy cơ mất dữ liệu; tài liệu PVE: "Do not set a min_size of 1". size 2 / min_size 1: mất 1 node vẫn ghi được nhưng chỉ còn MỘT bản, hỏng tiếp ổ đó là mất dữ liệu (kể cả phần ghi trong lúc đó). size 2 / min_size 2: an toàn dữ liệu hơn nhưng các PG liên quan ngừng I/O (VM treo) cho tới khi node quay lại hoặc Ceph dựng bản thứ hai (sau mon_osd_down_out_interval, mặc định 10 phút). Chỉ dùng cho pool chứa dữ liệu tái tạo được hoặc đã có bản sao lưu ngoài Ceph (cache Nexus, image Harbor dựng lại từ CI, log Loki, recordings); KHÔNG dùng cho vm-ceph có dc1, step-CA, Vault, ops01.
Các bố trí khác:
| Bố trí | Cách tính | Với 800 GB SSD + 1 TB HDD |
|---|---|---|
3 node, size 3 | N − 1 < size: mất 1 node thì không còn node thứ ba để dựng bản mới, cụm chạy degraded và không tự lành | cap 3 267 267 266 → usable ≈ 266 GB, an toàn ≈ 213 GB, nhưng KHÔNG tự phục hồi sau khi mất node |
| 1 node standalone, mỗi đĩa dùng riêng (LVM-thin hoặc ZFS) | usable ≈ raw, không nhân bản | ≈ 800 GB SSD + 1 TB HDD, không chịu được hỏng đĩa: dựa hoàn toàn vào PBS (bài 04). Khuyến nghị thực hành: LVM-thin giữ Data% dưới ~85% (thin pool đầy là hỏng dữ liệu), ZFS dưới ~80% |
| 1 node, mirror (ZFS mirror hoặc RAID 1) | usable ≈ raw / 2 | ≈ 400 GB SSD + 500 GB HDD |
| Đĩa lệch giữa các node | Vế thứ hai của công thức | cap 3 100 100 100 500 → chỉ ≈ 150 GB usable; nên cân đĩa đều giữa các node |
OSD tối thiểu và cân bằng:
- Mỗi tầng cần ít nhất
sizenode có OSD cùng class (3 chosize 3); muốn tự phục hồi sau khi mất 1 node thì cầnsize + 1= 4 node. Tài liệu PVE khuyến nghị cụm Ceph tối thiểu 3 node và 12 OSD chia đều: lab có 8 OSD (4 SSD + 4 HDD) nên recovery và hiệu năng thấp hơn khuyến nghị, chấp nhận được cho lab. - Mỗi OSD mặc định đặt mục tiêu 4 GiB RAM (
osd_memory_target), tức 2 OSD mỗi node = 8 GiB cho Ceph. RAM hẹp thì hạ OSD HDD:ceph config set osd/class:hdd osd_memory_target 2147483648(2 GiB; cần kiểm lại trên máy thật, không nên đặt quá thấp). - Cân bằng đĩa giữa các node. Xem
ceph osd df tree(cột%USE,VAR); lệch nhiều thì bật balancer (bài 11 mục 9.1).
8.5 Phân tầng SSD/HDD bằng device class của Ceph
Hai pool trên cùng một cụm, tách bằng device class của CRUSH: mỗi OSD mang nhãn ssd hoặc hdd, mỗi pool chọn OSD theo nhãn thông qua một CRUSH rule.
| Pool · storage PVE | Ổ | CRUSH rule | Dùng cho | KHÔNG đặt lên |
|---|---|---|---|---|
vm-ceph (đã có ở bài 03) | SSD | rule-ssd | Đĩa hệ điều hành scsi0; cơ sở dữ liệu và chỉ mục (PostgreSQL, OpenSearch của Wazuh, Elasticsearch và Cassandra của TheHive); TSDB Prometheus; etcd của K3s | — |
vm-bulk (mới) | HDD | rule-hdd | Đĩa phụ scsi1 chứa dữ liệu lớn, ghi tuần tự hoặc nguội: S3 (bài 32), registry Harbor (21), kho Nexus (31), chunk Loki (33), recordings MediaMTX (27), thư mục chia sẻ samba01 (26), bản dump/backup cục bộ | Hệ điều hành, cơ sở dữ liệu, etcd, chỉ mục tìm kiếm |
Lý do: một ổ quay chỉ cho cỡ vài chục đến vài trăm IOPS ngẫu nhiên (số điển hình, đo thật bằng fio/rados bench ở bài 11 mục 7) và mỗi lần ghi chạm 3 OSD nên IOPS ghi hiệu dụng của tầng HDD còn thấp hơn. Đọc/ghi tuần tự lớn thì chấp nhận được; fsync dày (cơ sở dữ liệu, etcd) thì VM treo. Lab chỉ có 4 OSD HDD, đừng dồn thêm VM lên HDD "cho đỡ tốn SSD".
Làm theo đúng thứ tự dưới đây, TRƯỚC khi dựng VM thật, để lúc đổi rule pool còn trống (Ceph chỉ phải di chuyển vài đối tượng). Lệnh chạy trên node1 (root), trừ khi ghi khác:
# (1) Xem class hiện có. Ceph đặt class theo cờ "rotational" của ổ, nên SSD gắn qua VM/RAID/HBA thường bị nhận thành hdd
# (đúng như ceph osd tree ở bài 03 mục 5.7). Class sai thì rule sai, nên kiểm tra trước:
ceph osd tree # cột CLASS của từng OSD
ceph osd crush class ls # (mẫu) [ "hdd" ]
lsblk -d -o NAME,ROTA,SIZE,MODEL # chạy trên từng node: ROTA 0 = SSD, 1 = ổ quay
# (2) Đặt đúng class cho OSD SSD đã có (id lấy từ ceph osd tree, ví dụ osd.0–osd.3). Class chỉ đổi được sau khi gỡ class cũ
ceph osd crush rm-device-class osd.0 osd.1 osd.2 osd.3
ceph osd crush set-device-class ssd osd.0 osd.1 osd.2 osd.3
# (3) Tạo hai rule (chưa di chuyển dữ liệu nào)
ceph osd crush rule create-replicated rule-ssd default host ssd
ceph osd crush rule create-replicated rule-hdd default host hdd
ceph osd crush rule ls
ceph osd crush tree --show-shadow # thấy cây bóng default~ssd và default~hdd
# (4) Gán rule SSD cho pool hiện có TRƯỚC khi thêm OSD HDD (làm khi HEALTH_OK)
ceph osd pool set vm-ceph crush_rule rule-ssd
ceph osd pool set .mgr crush_rule rule-ssd # pool nhỏ của mgr: để nó nằm ngoài class thì PG autoscaler không chạy (autoscale-status trống)
watch -n5 'ceph -s | grep -E "health|pgs|misplaced|degraded"' # chờ active+clean rồi Ctrl+C
# (5) Thêm OSD HDD, TỪNG node một (bài 03 mục 7.6), khai class tường minh, đừng để Ceph tự đoán. Chạy trên từng node:
pveceph osd create /dev/sdc --crush-device-class hdd
# (6) Tạo pool HDD và đăng ký storage PVE (node1). Mặc định an toàn là size 3 / min_size 2. Chỉ với dữ liệu tái tạo được mới cân nhắc
# --size 2 --min_size 2 (hoặc --min_size 1, rủi ro cao hơn): xem cảnh báo ở mục 8.4
pveceph pool create vm-bulk --crush_rule rule-hdd --size 3 --min_size 2 \
--pg_autoscale_mode on --add_storages 1
ceph osd pool ls detail | grep -E 'vm-ceph|vm-bulk' # kiểm crush_rule, size, min_size của từng pool
pvesm status | grep -E 'Name|vm-' # (mẫu) vm-bulk rbd active ... ≈ 300 GiB khả dụng
ceph osd pool autoscale-status # phải liệt kê cả hai pool
GUI tương đương cho bước (6): node1 → Ceph → Pools → Create: Name vm-bulk, Size 3, Min. Size 2, Crush Rule rule-hdd, PG Autoscale Mode on, tick Add as Storage. Nếu pool đã có mà chưa có storage: pvesm add rbd vm-bulk --pool vm-bulk --content images,rootdir.
crush_rule của pool làm Ceph di chuyển dữ liệu của pool đó (tài liệu PVE: pool đã có đối tượng thì phải chuyển theo, có thể ảnh hưởng hiệu năng nhiều). Vì vậy làm lúc cụm sạch, theo đúng thứ tự (4) trước (5). Nếu bạn đã thêm OSD HDD khi vm-ceph còn dùng rule mặc định (chọn mọi loại ổ), dữ liệu VM đang nằm lẫn trên HDD và bước (4) sẽ chuyển chúng về SSD: rebalance lớn và chậm, chỉ làm ngoài giờ và theo dõi ceph -s. Tài liệu PVE cũng lưu ý: dùng PG autoscaler thì mọi pool nên dùng CRUSH rule cùng kiểu (đều theo class), đó là lý do .mgr cũng chuyển sang rule-ssd. Sau khi khởi động lại một node, chạy lại ceph osd tree để chắc class vẫn đúng.
Chuyển đĩa dữ liệu của VM đã có sang vm-bulk (VM đang chạy cũng được):
qm disk move 251 scsi1 vm-bulk --delete 1 # --delete 1: xoá ảnh cũ sau khi chép xong; cờ ssd=1 còn lại không ảnh hưởng chức năng
rbd du -p vm-bulk # USED phải ≈ dữ liệu thật; ≈ danh nghĩa thì chạy sudo fstrim -av trong VM rồi kiểm lại (cần kiểm trên máy thật)
Định dạng và gắn đĩa phụ trong VM (lần boot đầu đĩa còn trống; tên thường là /dev/sdb, kiểm bằng lsblk; thư mục gắn theo bài dịch vụ: /data Harbor, /opt/nexus/data, /opt/loki/data, /var/lib/mediamtx/recordings, /srv/samba). Bài 26 phân vùng đĩa này theo cách riêng: làm theo bài đó cho samba01:
sudo mkfs.ext4 -m 0 -L bulk /dev/sdb # -m 0: không để dành 5% cho root trên đĩa dữ liệu
sudo mkdir -p /srv/bulk
echo "UUID=$(sudo blkid -s UUID -o value /dev/sdb) /srv/bulk ext4 defaults,noatime,nofail 0 2" | sudo tee -a /etc/fstab
sudo systemctl daemon-reload && sudo mount -a && df -h /srv/bulk
Mỗi OSD HDD đặt RocksDB (DB/WAL) trên chính ổ quay đó; nếu có thêm một SSD/NVMe nhỏ riêng thì tách bằng --db_dev (xem pveceph osd create --help). SSD của lab đã dùng hết làm OSD nên bài này không tách.
8.6 Ước tính dung lượng thật và lộ trình dựng theo giai đoạn
Cột disk của vms.csv là đĩa hệ điều hành và dữ liệu nóng trên SSD, xdisk là dữ liệu lớn/nguội trên HDD; cả hai là trần danh nghĩa (khoảng 2–3 lần mức dùng thật), không phải dung lượng chiếm sẵn. Cột "thật" dưới đây là ước tính sau vài tháng dùng nhẹ (hệ điều hành, viết tắt HĐH, khoảng 6 GB, thêm khoảng 1 GB nếu có Docker, cộng image và dữ liệu theo từng bài), cần đo lại bằng rbd du (mục 8.7) và điều chỉnh. Cột GĐ là giai đoạn dựng, giải thích ngay dưới bảng:
| GĐ | VMID · VM | Thành phần chiếm chỗ (GB, ước tính) | SSD thật | HDD thật | CSV disk / xdisk |
|---|---|---|---|---|---|
| 0 | 9000, 9001 (2 template) | HĐH đã cập nhật, 4–5 GB mỗi template (9001 thêm Docker) | 9 | – | 20 / – |
| 1 | 247 pihole | HĐH + Docker 7, image 1 | 8 | – | 20 / 0 |
| 1 | 242 step-ca | HĐH + Docker 7, dữ liệu CA 1 | 8 | – | 20 / 0 |
| 1 | 250 dc1 | HĐH 6, Samba AD 2 | 8 | – | 30 / 0 |
| 1 | 290 ops01 | HĐH 6, Ansible + OpenTofu + provider 3 | 9 | – | 40 / 0 |
| 1 | 234 authentik | HĐH + Docker 7, image 2,5, DB 0,5 | 10 | – | 30 / 0 |
| 1 | 235 prometheus | HĐH + Docker 7, image 2, TSDB 15 ngày 8; Loki 14 ngày 12 (HDD, gắn /opt/loki/data) | 17 | 12 | 40 / 30 |
| 1 | 236 grafana | HĐH + Docker 7, image Grafana/Kuma/Gotify 2 | 9 | – | 20 / 0 |
| 2 | 269 vault · 243 vaultwarden · 233 privacyidea · 232 headscale | Mỗi VM: HĐH 6–7, ứng dụng 1–2 (tổng 7 + 8 + 8 + 7) | 30 | – | 20 / 0 |
| 2 | 246 mailu | HĐH + Docker 7, image 5, hộp thư 1 | 13 | – | 40 / 0 |
| 2 | 280 wazuh-siem | HĐH + Docker 7, image 3, indexer 30 ngày ≈ 23 | 33 | – | 60 / 0 |
| 3 | 239 harbor | HĐH + Docker 7, image + Trivy 3; registry 25 (HDD, /data) | 10 | 25 | 30 / 60 |
| 3 | 240 gitea | HĐH + Docker 7, image + runner 5, repo 1 | 13 | – | 40 / 0 |
| 3 | 267 nexus | HĐH + Docker 7, image 1; blob store 40 (HDD, /opt/nexus/data) | 8 | 40 | 30 / 100 |
| 3 | 266 sonarqube · 245 netbox · 272 mattermost | Mỗi VM: HĐH + Docker 7, image + DB 3–4 (tổng 11 + 10 + 11) | 32 | – | 30 / 0 |
| 3 | 268 S3 (bài 32) | HĐH + Docker 7, image 1; đối tượng 30 (HDD) | 8 | 30 | 20 / 100 |
| 3 | 251 samba01 | HĐH 6, Samba 1; thư mục chia sẻ 20 (HDD, /srv/samba) | 7 | 20 | 20 / 60 |
| 3 | 271 crowdsec | HĐH + Docker 7, image 2 | 9 | – | 20 / 0 |
| 3 | 241 mediamtx | HĐH + Docker 7, image 1; recordings 48 giờ 25 (HDD) | 8 | 25 | 20 / 60 |
| 3 | 270 thehive | HĐH + Docker 7, image (Cortex, Elasticsearch, Cassandra) 8, dữ liệu 3 | 18 | – | 50 / 0 |
| 3 | 244 openvas | HĐH 8, image Greenbone 6, feed ≈ 25 | 39 | – | 60 / 0 |
| 4 | 260–262 k3s-cp01..03 | Mỗi VM: HĐH 6, etcd + image 5 | 33 | – | 30 / 0 |
| 4 | 263–265 k3s-worker01..03 | Mỗi VM: HĐH 6, image + PV 12 | 54 | – | 60 / 0 |
| Tổng (31 VM + 2 template) | ≈ 393 | ≈ 152 | 1.030 / 410 (chỉ 31 VM) |
Đọc bảng: HĐH + Docker một mình đã ≈ 200 GB (31 VM × 6–8 GB). Dữ liệu thật ≈ 390 GB SSD so với vùng an toàn 160 GB (usable 266 GB; 390 GB × 3 ≈ 1,2 TB raw, lớn hơn cả 800 GB SSD) và ≈ 150 GB HDD so với vùng an toàn 200 GB. Kết luận: HDD đủ chỗ, SSD thì không thể chạy đồng thời đủ 31 VM với dữ liệu thật.
Lộ trình dựng theo giai đoạn (dùng --only; VM chưa clone thì chưa tốn đĩa, còn VM đã clone thì tốn dù chưa bật):
| GĐ | Dựng | SSD thật cộng dồn | Ghi chú |
|---|---|---|---|
| 0 | Hai template (Bước 2–3) và ops01 (Bước 7) | ≈ 9 | Template nhỏ; ops01 tính ở GĐ 1 |
| 1 Lõi hạ tầng | --only 247,242,250,290,234,235,236 | ≈ 78 | DNS, PKI, AD, ops01, SSO, giám sát (+ 12 GB HDD cho Loki): vài chục GB, an toàn |
| 2 Bảo mật, truy cập | --only 269,243,233,232,246,280 | ≈ 154 | Chạm vùng an toàn 160 GB: dừng ở đây khi làm thường trực |
| 3 DevSecOps | Theo bài, 1–3 VM mỗi lần (vd. --only 239,240, rồi --only 267…) | ≈ 306 nếu bật cùng lúc: vượt vùng an toàn | Làm xong bài thì sao lưu PBS rồi qm destroy <VMID> --purge để trả chỗ; dựng lại bằng clone rồi restore dữ liệu từ PBS khi cần |
| 4 K3s | --only 260-265 khi làm bài 28–29 | ≈ 393 nếu bật hết | Dựng khi làm bài, xoá khi xong; tuỳ chọn pool size 2 ở dưới |
qm shutdown) chỉ trả RAM và CPU, KHÔNG trả dung lượng Ceph. Chỉ qm destroy --purge (sau khi đã backup lên pbs-primary) hoặc fstrim trong VM mới giải phóng đĩa. Cách "dựng đủ 30 VM trước rồi tắt bớt" vì thế là cách tệ nhất cho cụm này: 31 full clone chép ngay ≈ 100–150 GB.
Tuỳ chọn để thêm chỗ (kết hợp, theo mức rủi ro tăng dần; con số là ước tính, đo lại trên máy thật):
| Tuỳ chọn | Tác dụng | Cái giá / cách làm |
|---|---|---|
| Dọn rác và giảm retention (mục 8.7) | 20–50 GB | Rẻ nhất, làm trước |
Linked clone (LAB_FULL=0 hoặc --linked) | Không chép 3–5 GB của template cho mỗi VM (≈ 100 GB cho 31 VM lúc đầu); giảm dần khi VM ghi đè khối của template (RBD sao chép theo đối tượng) | Không xoá được template khi còn clone nên quy trình 10.1 phải theo kiểu blue/green; chưa thử trên máy thật |
Pool SSD thứ hai size 2 cho VM dựng lại được (K3s, OpenVAS, SonarQube…) | Mỗi GB của các VM này tốn 2 thay vì 3 GB raw | Rủi ro mất dữ liệu (mục 8.4): pveceph pool create vm-lab --crush_rule rule-ssd --size 2 --min_size 2 --add_storages 1, rồi LAB_STORAGE=vm-lab ./create-lab-vms.sh --only 260-265 |
| Nén BlueStore trên pool | OS/log dạng văn bản thường nén được 1,2–1,6 lần (số điển hình, cần đo); không có tác dụng với dữ liệu đã nén (layer Docker, video, backup) | Tốn CPU; chỉ áp cho dữ liệu GHI SAU khi bật. Dùng lz4 hoặc snappy (tài liệu Ceph không khuyến nghị zstd cho BlueStore): ceph osd pool set vm-ceph compression_algorithm lz4 và compression_mode aggressive; xem ceph df detail (cột USED COMPR / UNDER COMPR, cần kiểm lại) |
| Mức đầy raw 70–75% thay vì 60% | +26 đến +40 GB dữ liệu SSD | Mất khả năng tự phục hồi khi mất node (sau sự cố vượt nearfull); không để chạm 85% |
| Thêm SSD | Giải pháp gốc | Thêm OSD cùng dung lượng cho cả 4 node, --crush-device-class ssd (bài 03 mục 7.6) |
8.7 Theo dõi, cảnh báo và khi cụm đầy
| Lệnh | Cho biết |
|---|---|
ceph df detail | RAW theo CLASS (ssd, hdd); từng pool: STORED, %USED, MAX AVAIL, QUOTA |
ceph osd df tree | %USE của từng OSD, node và class; cột VAR là độ lệch |
rbd du -p vm-ceph · rbd du -p vm-bulk | PROVISIONED (danh nghĩa) và USED (thật) của từng ảnh đĩa; có thể mất vài phút |
pvesm status | Total, Used, Available và % của vm-ceph, vm-bulk theo góc nhìn PVE |
Kết quả ceph df detail (mẫu, rút gọn, đầu bảng RAW):
--- RAW STORAGE ---
CLASS SIZE AVAIL USED RAW USED %RAW USED
hdd 931 GiB 926 GiB 5.2 GiB 5.2 GiB 0.56
ssd 745 GiB 690 GiB 55 GiB 55 GiB 7.38
TOTAL 1.6 TiB 1.6 TiB 60 GiB 60 GiB 3.59
- Ngưỡng mặc định
nearfull0,85,backfillfull0,90,full0,95. Các tuỳ chọnmon_osd_nearfull_ratio/mon_osd_backfillfull_ratio/mon_osd_full_ratiochỉ có tác dụng lúc tạo cụm; sau đó giá trị nằm trong OSDMap và đổi bằngceph osd set-nearfull-ratio,set-backfillfull-ratio,set-full-ratio(bài 10 mục 5.1). Giữ mặc định, đừng nâng để "có thêm chỗ". - Cảnh báo sớm: rule Prometheus
CephOsdUsageN1(bài 10 mục 8.4) báo khi một OSD vượt 60%, áp dụng cho cả OSD SSD lẫn HDD; 60% raw chính là đường 160 GB SSD / 200 GB HDD ở mục 8.4. Cấu hình thông báo PVE/Ceph: bài 10. - Quota là chốt chặn cuối, không phải cảnh báo. Đặt gần vùng an toàn để một VM ghi lỗi không làm đầy cả cụm; pool chạm quota thì ghi bị chặn (health
POOL_FULL, VM treo I/O như khi OSD đầy). Tài liệu Ceph không nói quota tính theo dữ liệu logic hay raw (cần kiểm lại trên máy thật bằngceph df detail, cột QUOTA BYTES):
ceph osd pool set-quota vm-ceph max_bytes $((170 * 1000**3)) # ≈ vùng an toàn SSD 160 GB + chút dư
ceph osd pool set-quota vm-bulk max_bytes $((210 * 1000**3))
ceph osd pool get-quota vm-ceph # gỡ quota: max_bytes 0
Khi cụm đầy (chi tiết và lệnh khẩn cấp: bài 11 mục 9.1), theo thứ tự:
ceph osd df treexem tầng nào đầy (SSD hay HDD) và OSD nào lệch.- Giải phóng chỗ thật: xoá snapshot cũ (
qm delsnapshot), đĩaunused, ảnh mồ côi, VM đã xong bài (backup lênpbs-primaryrồiqm destroy <VMID> --purge). Tắt VM không giải phóng gì. - Trả khối đã xoá cho Ceph:
sudo fstrim -avtrong VM (cầndiscard=on), rồi dọn rác như bảng dưới. - Thêm OSD cùng class cho cả 4 node (bài 03 mục 7.6), chờ rebalance xong rồi mới dựng thêm VM.
- Chỉ nâng
full_ratiotừng chút và tạm thời để xoá được dữ liệu (cảnh báo ở bài 11 mục 9.1).
Giữ dung lượng thật nhỏ:
| Việc | Lệnh / cấu hình | Lưu ý |
|---|---|---|
| TRIM định kỳ | systemctl is-enabled fstrim.timer (Ubuntu bật sẵn, chạy hằng tuần); sudo fstrim -av sau khi xoá nhiều | Cần discard=on trên đĩa (script đã đặt) |
| Docker | docker system df; hằng tuần docker image prune -f; hằng tháng docker system prune -a -f --filter "until=720h" | Có xoá container đã dừng và image không dùng quá 30 ngày; KHÔNG thêm --volumes (xoá dữ liệu) |
| journald | /etc/systemd/journald.conf.d/99-lab.conf với [Journal] và SystemMaxUse=200M | Kiểm journalctl --disk-usage; bake chưa đặt giới hạn này |
| Prometheus (VM235) | --storage.tsdb.retention.time=15d và --storage.tsdb.retention.size=8GB | Bài 15 đã đặt đúng mức này cho đĩa 40 GB của CSV; dữ liệu TSDB nằm ở /opt/prometheus/data trên SSD |
| Loki | retention_period: 336h (14 ngày) | Bài 33 đã đặt đúng mức này; dữ liệu Loki nằm ở xdisk 30 GB (HDD, vm-bulk) gắn /opt/loki/data |
| Wazuh | Chính sách xoá index cũ (ISM) sau 30 ngày: Wazuh Dashboard → Index Management | Cần kiểm lại tên menu theo Wazuh 4.14 |
| Harbor, Nexus | Retention policy và garbage collection (bài 21); cleanup policy và task Compact blob store (bài 31) | Registry và blob store là phần phình to nhất của HDD |
| PBS | Prune và garbage collection (bài 04 mục 7) | Backup nằm trên NAS (syno-primary), không chiếm Ceph nhưng NAS cũng hữu hạn |
scsi0 (playbook đặt storage: vm-ceph, main.tf đặt datastore_id = "vm-ceph" và cỡ đĩa lấy từ cột disk) và bỏ qua xdisk. VM cần đĩa phụ thì dựng bằng create-lab-vms.sh; hoặc thêm đĩa sau khi clone: Ansible community.proxmox.proxmox_disk (state: present, disk: scsi1, storage: vm-bulk, size), OpenTofu thêm khối disk thứ hai interface = "scsi1" với datastore_id = "vm-bulk" (không đặt ssd). Hai cách này chưa chạy thử trên máy thật.
8.8 Dùng VM đã dựng cho các bài 12–37
Các bài dịch vụ hướng dẫn tạo VM bằng ISO. Với VM dựng ở đây: bỏ mục "Tạo VM" và "Cài Ubuntu", bắt đầu từ bước SSH vào VM, và lưu ý:
| Khác biệt | Cách xử lý |
|---|---|
| Đăng nhập | ssh sysadmin@<IP> bằng khoá SSH; không có mật khẩu console (đặt tạm bằng qm set <VMID> --cipassword nếu thật cần) |
| Tên card mạng | eth0 (xem mục 5.1); sửa mọi chỗ ghi cứng ens18/enp6s18 |
| IP, hostname, DNS | Đã do cloud-init đặt; bỏ qua bước viết netplan, đổi bằng qm set (mục 5.3). Bài 12 (Pi-hole) vẫn phải tắt systemd-resolved stub và chỉnh resolv.conf của chính VM đó |
| Docker | VM từ template 9001 đã có Docker 29.9.1: bước cài Docker của bài chỉ cần kiểm docker --version (các bước đó gỡ gói của Ubuntu và cài lại nên vẫn chạy được) |
| Đĩa | Đã mở rộng theo cột disk (nhỏ hơn con số "100 GB/200 GB/500 GB" ghi trong bài dịch vụ: nới bằng qm resize khi thật sự cần). Đĩa dữ liệu scsi1 (VM235, 239, 241, 251, 267, 268) là /dev/sdb trên vm-bulk, chưa định dạng: gắn vào thư mục dữ liệu của bài theo mục 8.5, thay cho bước tạo phân vùng/đĩa phụ của bài (bài 26 phân vùng đĩa này theo cách riêng) |
| Cấu hình nền | qemu-guest-agent, chrony, múi giờ Asia/Ho_Chi_Minh đã có; node_exporter vẫn cài theo bài 15 |
Ansible và OpenTofu: dựng VM hàng loạt từ ops01
Thư mục làm việc trên ops01 · Ansible · OpenTofu
Ba công cụ cùng đọc vms.csv; chọn một công cụ cho mỗi VM (đổi công cụ giữa chừng phải tofu import hoặc dựng lại).
| Công cụ | Điểm mạnh | Điểm yếu | Dùng khi |
|---|---|---|---|
create-lab-vms.sh | Không cần cài gì, chạy ngay trên node (kể cả khi chưa có ops01); dựng 30 VM lab | Không có state, không phát hiện lệch cấu hình | Bootstrap lab, 1–vài cluster |
Ansible community.proxmox | Cùng một công cụ dựng VM rồi cấu hình hệ điều hành; thêm module cho firewall, ACME, Ceph, HA, ACL | Mô tả "việc cần làm" hơn là "trạng thái mong muốn" | Quy trình vận hành (bài 05, 06) và VM mới theo yêu cầu |
OpenTofu + bpg/proxmox | plan cho thấy trước thay đổi, state theo dõi, destroy an toàn | Phải quản lý file state; một số thao tác chỉ root@pam làm được | Hạ tầng lâu dài, nhiều cluster, review qua Git |
9.1 Thư mục làm việc trên ops01
Thư mục đã được install-ops01.sh tạo sẵn. Chép vms.csv và khoá quản trị từ node1 sang ops01 (chạy từ máy quản trị có quyền SSH vào cả hai máy):
scp -3 [email protected]:/root/lab/vms.csv [email protected]:/root/lab/admin_keys.pub [email protected]:~/lab-iac/
Cấu trúc đích:
~/lab-iac/
├── vms.csv vms-test.csv admin_keys.pub
├── ansible/ ansible.cfg · inventory/csv_inventory.py · playbooks/clone-vms.yml
└── tofu/ main.tf
VM thử nghiệm dùng VMID 301–303, dải IP 10.11.45.151–153 (đề xuất, hãy ping kiểm tra còn trống), pool pool-test đúng phạm vi quyền của token. Lưu thành ~/lab-iac/vms-test.csv:
vmid,name,node,vlan,ip,tpl,cores,mem,disk,pool,dns,xdisk
301,test-web01,node1,45,10.11.45.151,9000,2,2048,20,pool-test,-,0
302,test-web02,node2,45,10.11.45.152,9000,2,2048,20,pool-test,-,0
303,test-web03,node3,45,10.11.45.153,9000,2,2048,20,pool-test,-,0
9.2 Ansible
~/lab-iac/ansible/ansible.cfg:
[defaults]
inventory = inventory/csv_inventory.py
remote_user = sysadmin
forks = 20
interpreter_python = auto_silent
retry_files_enabled = False
[ssh_connection]
ssh_args = -o ControlMaster=auto -o ControlPersist=60s -o StrictHostKeyChecking=accept-new
pipelining = True
Inventory động đọc vms.csv và nhóm theo pool, VLAN, node, template (lưu thành ansible/inventory/csv_inventory.py, chmod +x):
#!/usr/bin/env python3
"""Inventory động cho Ansible: đọc vms.csv, nhóm theo pool / VLAN / node / template.
Kiểm tra: ansible-inventory --graph (chmod +x trước)"""
import csv
import json
import os
import sys
HERE = os.path.dirname(os.path.abspath(__file__))
path = os.environ.get("LAB_CSV", os.path.join(HERE, "..", "..", "vms.csv"))
groups, hostvars = {}, {}
with open(path, newline="", encoding="utf-8") as f:
for r in csv.DictReader(f):
h = r["name"]
hostvars[h] = {"ansible_host": r["ip"], "vmid": int(r["vmid"]), "pve_node": r["node"], "vlan": int(r["vlan"])}
for g in ("pool_" + r["pool"].split("-", 1)[1], "vlan_" + r["vlan"], "on_" + r["node"], "tpl_" + r["tpl"]):
groups.setdefault(g, {"hosts": []})["hosts"].append(h)
if len(sys.argv) > 2 and sys.argv[1] == "--host":
print(json.dumps(hostvars.get(sys.argv[2], {})))
else:
print(json.dumps({**groups, "_meta": {"hostvars": hostvars}}))
Playbook clone (lưu thành ansible/playbooks/clone-vms.yml). Hai điểm dễ sai: ansible_python_interpreter: "{{ ansible_playbook_python }}" để module dùng venv của pipx (nơi có proxmoxer), và chỉ cấu hình các VM vừa tạo để chạy lại không đổi MAC:
---
# playbooks/clone-vms.yml — dựng VM hàng loạt từ template qua API (community.proxmox), danh sách lấy từ CSV
# Chạy: source ~/.config/lab/pve.env && ansible-playbook playbooks/clone-vms.yml -e vms_csv=$HOME/lab-iac/vms-test.csv
- name: Clone VM từ template theo CSV
hosts: localhost
connection: local
gather_facts: false
vars:
ansible_python_interpreter: "{{ ansible_playbook_python }}" # venv của pipx có proxmoxer
vms_csv: "{{ playbook_dir }}/../../vms-test.csv"
admin_keys: "{{ lookup('ansible.builtin.file', playbook_dir + '/../../admin_keys.pub') }}"
template_node: node1
storage: vm-ceph
lab_dns: ["10.11.45.53"]
module_defaults:
group/community.proxmox.proxmox:
api_host: 10.11.45.210
api_user: svc-automation@pve
api_token_id: ansible
api_token_secret: "{{ lookup('ansible.builtin.env', 'PVE_TOKEN_SECRET') }}"
validate_certs: false # lab; bật true sau khi node tin cậy CA của step-CA (bài 09)
tasks:
- name: Đọc danh sách VM
community.general.read_csv:
path: "{{ vms_csv }}"
register: vms
- name: Clone full từ template, đặt đúng node và pool (VMID đã tồn tại thì bỏ qua)
community.proxmox.proxmox_kvm:
node: "{{ template_node }}"
vmid: "{{ item.tpl | int }}" # VMID của template nguồn
clone: "tpl-{{ item.tpl }}" # nhãn bắt buộc khi đã có vmid
newid: "{{ item.vmid | int }}"
name: "{{ item.name }}"
target: "{{ item.node }}"
storage: "{{ storage }}"
pool: "{{ item.pool }}"
full: true
timeout: 900
loop: "{{ vms.list }}"
loop_control:
label: "{{ item.name }}"
register: cloned
- name: Chỉ cấu hình các VM vừa được tạo (tránh đổi lại MAC khi chạy lại)
ansible.builtin.set_fact:
new_vms: "{{ cloned.results | selectattr('changed') | map(attribute='item') | list }}"
- name: Tài nguyên, VLAN và cloud-init
community.proxmox.proxmox_kvm:
node: "{{ item.node }}"
vmid: "{{ item.vmid | int }}"
update: true
update_unsafe: true # cho phép đặt net0 (VLAN)
cores: "{{ item.cores | int }}"
memory: "{{ item.mem | int }}"
net:
net0: "virtio,bridge=vmbr0,tag={{ item.vlan }},firewall=0"
ipconfig:
ipconfig0: "ip={{ item.ip }}/24,gw={{ item.ip.split('.')[0:3] | join('.') }}.1"
nameservers: "{{ lab_dns if item.dns == '-' else item.dns.split() }}"
searchdomains: ["hoatranlabs.local"]
ciuser: sysadmin
sshkeys: "{{ admin_keys }}"
tags: ["lab", "ansible"]
onboot: true
loop: "{{ new_vms }}"
loop_control:
label: "{{ item.name }}"
- name: Mở rộng đĩa hệ điều hành khi lớn hơn 20 GB
community.proxmox.proxmox_disk:
vmid: "{{ item.vmid | int }}"
disk: scsi0
size: "{{ item.disk }}G"
state: resized
loop: "{{ new_vms | rejectattr('disk', 'equalto', '20') | list }}"
loop_control:
label: "{{ item.name }}"
- name: Khởi động
community.proxmox.proxmox_kvm:
node: "{{ item.node }}"
vmid: "{{ item.vmid | int }}"
state: started
loop: "{{ new_vms }}"
loop_control:
label: "{{ item.name }}"
cd ~/lab-iac/ansible && chmod +x inventory/csv_inventory.py && source ~/.config/lab/pve.env
ansible-inventory --graph | head -15
ansible-playbook playbooks/clone-vms.yml
# PLAY RECAP: localhost : ok=5 changed=4 unreachable=0 failed=0 (mẫu)
# Sau khi VM lên (~40 giây): đăng nhập bằng khoá SSH của ops01 (đã có trong admin_keys.pub nếu bạn thêm khoá ops01 vào đó)
LAB_CSV=$HOME/lab-iac/vms-test.csv ansible all -b -m ansible.builtin.command -a "systemctl is-active qemu-guest-agent chrony"
~/.ssh/id_ed25519.pub) vào admin_keys.pub trước khi clone; template sẽ nhận khoá khi VM clone khởi động. Dọn VM thử (chạy trên node1, root):
for p in 301:node1 302:node2 303:node3; do ssh root@${p#*:} "qm stop ${p%:*}; qm destroy ${p%:*} --purge"; done
9.3 OpenTofu
~/lab-iac/tofu/main.tf:
terraform {
required_version = ">= 1.8"
required_providers {
proxmox = {
source = "bpg/proxmox"
version = "~> 0.116"
}
}
}
variable "pve_endpoint" {
type = string
default = "https://10.11.45.210:8006/"
}
variable "vms_csv" {
type = string
default = "../vms-test.csv"
}
variable "admin_keys_file" {
type = string
default = "../admin_keys.pub"
}
provider "proxmox" {
endpoint = var.pve_endpoint
insecure = true # tạm thời; bật xác thực chứng chỉ sau khi làm bài 09
# api_token lấy từ biến môi trường PROXMOX_VE_API_TOKEN (source ~/.config/lab/pve.env)
}
locals {
vms = { for r in csvdecode(file(var.vms_csv)) : r.name => r }
keys = [for k in split("\n", trimspace(file(var.admin_keys_file))) : trimspace(k) if trimspace(k) != ""]
}
resource "proxmox_virtual_environment_vm" "lab" {
for_each = local.vms
name = each.value.name
vm_id = tonumber(each.value.vmid)
node_name = each.value.node
pool_id = each.value.pool
tags = ["lab", "tofu"]
machine = "q35"
on_boot = true
clone {
vm_id = tonumber(each.value.tpl)
node_name = "node1" # node đang giữ template
datastore_id = "vm-ceph"
full = true
retries = 3
}
agent {
enabled = true
timeout = "5m"
}
operating_system {
type = "l26"
}
cpu {
cores = tonumber(each.value.cores)
type = "x86-64-v2-AES"
}
memory {
dedicated = tonumber(each.value.mem)
}
disk {
datastore_id = "vm-ceph"
interface = "scsi0"
size = tonumber(each.value.disk)
discard = "on"
}
network_device {
bridge = "vmbr0"
vlan_id = tonumber(each.value.vlan)
}
initialization {
datastore_id = "vm-ceph"
dns {
domain = "hoatranlabs.local"
servers = each.value.dns == "-" ? ["10.11.45.53"] : split(" ", each.value.dns)
}
ip_config {
ipv4 {
address = "${each.value.ip}/24"
gateway = cidrhost("${each.value.ip}/24", 1)
}
}
user_account {
username = "sysadmin"
keys = local.keys
}
}
}
output "vm_ids" {
value = { for k, v in proxmox_virtual_environment_vm.lab : k => v.vm_id }
}
cd ~/lab-iac/tofu && source ~/.config/lab/pve.env
tofu init # tải provider bpg/proxmox ~> 0.116
tofu plan -out lab.tfplan # Plan: 3 to add, 0 to change, 0 to destroy. (mẫu)
tofu apply lab.tfplan # Apply complete! Resources: 3 added, 0 changed, 0 destroyed.
tofu destroy # dọn VM thử
terraform.tfstate chứa cấu hình mọi VM (và mật khẩu nếu bạn đặt). Đừng đưa lên Git; lưu trên ops01 (đã nằm trong job backup của pool-infra), về sau chuyển sang backend S3 trên SeaweedFS (bài 32, mục 4.6); OpenTofu còn có tính năng mã hoá state (xem tài liệu OpenTofu, cần kiểm lại cấu hình). Provider ghi chú: tham số initialization.upgrade chỉ root@pam đặt được nên bài không dùng; template đã ciupgrade=0. Kiểm lại trên máy thật cách provider đối xử machine (đã đặt q35 tường minh) khi clone.
Vận hành template: cập nhật, phiên bản, backup, HA
Cập nhật template định kỳ · Ghi phiên bản, backup, HA
10.1 Cập nhật template định kỳ
Template là ảnh "đông lạnh": gói cũ dần. Lịch gợi ý: hàng tháng (hoặc khi có lỗ hổng nghiêm trọng) chạy lại bake để template luôn vá; mỗi 6 tháng hoặc khi có bản 24.04.x mới thì tải ảnh cloud mới. VM đã chạy không bị ảnh hưởng (chúng cập nhật bằng bài 06). Quy trình cập nhật tại chỗ cho 9000 (9001 làm tương tự với --docker; lúc đó mọi clone đều là full clone nên xoá template được):
| Bước | Lệnh (trên node1, root) |
|---|---|
| 1. Bản làm việc | qm clone 9000 9099 --name tpl-build --full 1 --storage vm-ceph rồi qm set 9099 --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1 --nameserver "1.1.1.1 8.8.8.8" và qm start 9099 |
| 2. Cập nhật | Chạy lại lab-bake.sh như mục 2.4 (đổi 9000 thành 9099); VM tự tắt |
| 3. Kiểm thử | qm clone 9099 9098 --name tpl-test --full 1 → đặt IP thử → khởi động → kiểm ip -br link, cloud-init status, khoá SSH host khác template |
| 4. Thay thế | qm destroy 9000 --purge (chỉ khi không còn linked clone) → qm clone 9099 9000 --name tpl-ubuntu-2404 --full 1 --storage vm-ceph → qm set 9000 --ipconfig0 ip=dhcp --nameserver 10.11.45.53 --description "…build $(date +%F)" → qm template 9000 → pveum pool modify pool-infra --vms 9000 |
| 5. Dọn | qm destroy 9099 --purge; qm destroy 9098 --purge |
Với môi trường lớn nên dùng blue/green: dựng template mới ở VMID khác (ví dụ 9100), đổi cột tpl trong CSV, chạy thử, rồi mới xoá bản cũ — không có khoảng thời gian thiếu template.
10.2 Ghi phiên bản, backup, HA
- Phiên bản:
descriptioncủa template ghi ngày build và serial ảnh (20260926); thêm tag dạngtpl-2026.10khi build lại. - Backup: template không cần job riêng. Job vzdump theo pool (bài 04, mục 6.2): GUI Datacenter → Backup → Edit → Selection mode: Pool based để VM mới tự vào job; template 9000/9001 nằm trong
pool-infranên sẽ vào job — loại ra bằng ô Exclude (9000,9001) nếu không muốn sao lưu. Loại PBS/PDM như bài 04 đã dặn. - HA: chỉ thêm VM dịch vụ, không thêm template:
ha-manager add vm:247 --state startedrồi thêm vào rule như bài 03 (mục 7.3). VM cócicustomphải có snippet trên mọi node (mục 5.4). - Template nằm trên node1: cấu hình template gắn với node tạo ra nó. Khi node1 bảo trì,
qm clonephải chạy trên node đó; với đĩa trên Ceph có thể chuyển cấu hình template sang node khác khi template không dùng (qm migrate 9000 node2, cần kiểm lại trên máy thật). Nếu node1 hỏng vĩnh viễn: chuyển tệp/etc/pve/nodes/node1/qemu-server/9000.confsang thư mục của node còn sống chỉ khi chắc chắn node1 không quay lại (xem bài 11).
LXC không đặc quyền cho dịch vụ nhẹ
Chọn Docker trên VM, LXC hay VM native · Tạo CT từ template chính thức · CT template và clone
Quyết định của series (2026-10-15): ứng dụng nào triển khai được bằng Docker thì ưu tiên Docker (VM clone từ template 9001), rồi mới tới LXC. LXC là phương án nhẹ hơn VM cho dịch vụ nhỏ, một tiến trình, không có image Docker phù hợp. Mục này dựng CT Ubuntu 24.04 không đặc quyền (unprivileged), chuyển thành template, clone, sao lưu và đưa vào HA. CTID dùng chung không gian VMID của cả cluster: một con số chỉ có thể là VM hoặc CT. Dịch vụ nào chuyển sang LXC thì lấy đúng VMID trong bảng quy hoạch làm CTID (Headscale = 232) và không dựng song song VM cùng số.
11.1 Chọn Docker trên VM, LXC hay VM native
| Dịch vụ của bạn… | Chọn | Lý do |
|---|---|---|
| Có image/compose chính thức hoặc được hãng khuyến nghị (Pi-hole, Authentik, Gitea, Harbor, Wazuh…) | Docker Engine + Compose trên VM (template 9001) | Mặc định của series; VM giữ cô lập mạnh và live migration |
| Nhẹ, một tiến trình (binary Go/Rust), không có Docker phù hợp, không cần module nhân riêng, chấp nhận khởi động lại khi chuyển node | LXC không đặc quyền | Không có hệ điều hành thứ hai, tốn ít RAM/đĩa, khởi động nhanh |
| Gắn với hệ điều hành/nhân/phần cứng, cần live migration, passthrough, Windows, hoặc chứa bí mật rất nhạy cảm | VM native | Nhân riêng, ranh giới ảo hoá |
| Dịch vụ lab | LXC? | CTID · IP · VLAN · node (nếu chọn LXC) | Lưu ý |
|---|---|---|---|
| step-CA (13), Vault (34) | Cách chính của bài 13 và 34 là Docker trên VM (template 9001); CT chỉ hợp với phương án chạy native (gói .deb/binary + systemd) ở phần phương án thay thế của từng bài | 242 · 10.11.25.42 · 25 · node1; 269 · 10.11.25.10 · 25 · node1 | Chứa khoá CA/bí mật: nhân dùng chung nên môi trường nghiêm ngặt vẫn nên chọn VM. Giữ đường dẫn dữ liệu chuẩn (step-CA: /etc/step-ca) trên rootfs hoặc mp0 thuộc vm-ceph, không bind mount thư mục của node, để HA/backup đi theo CT. Vault trong CT: mlock/swap cần kiểm lại |
| Headscale (20), MediaMTX (27) | Cách chính của hai bài là Docker trên VM (template 9001); CT chỉ hợp với phương án chạy native (gói .deb/binary + systemd) | 232 · 10.11.35.10 · 35 · node2; 241 · 10.11.65.41 · 65 · node1 | Cổng công khai/RTSP đi qua FortiGate như bản VM; đo CPU khi nhiều luồng |
NUT upsd + snmp-ups tới NMC (bài 10) | Phù hợp (không cần USB) | không có CTID chuẩn | Bài 10 đặt upsd trên node1. Nếu upsd nằm trong CT của cụm, CT bị tắt giữa chuỗi shutdown và các node mất upsd trước khi tắt xong; chỉ dùng CT đặt ngoài cụm (site phụ, node standalone) |
| Samba file server (26, VM251) | Làm được, lab giữ VM | 251 | Cần acl=1 trên rootfs/mount point. Samba lưu ACL ở xattr security.NTACL (mặc định); ghi security.* trong CT không đặc quyền thường bị từ chối (báo cáo cộng đồng), cách thường dùng là acl_xattr:security_acl_name = user.NTACL nhưng tài liệu Samba cảnh báo user cục bộ ghi đè được. Cần kiểm lại trên máy thật |
| Không nên: Samba AD DC (25), K3s (28), mọi Docker host, PBS/PDM, Windows | Không | — | DC cần ACL/xattr đầy đủ trên SYSVOL và là hạ tầng gốc của domain (khuyến nghị VM); K3s/Docker cần nhân và cgroup riêng; Windows không chạy trong LXC |
keyctl (tài liệu PVE: bắt buộc để chạy Docker trong CT) và thường cả nesting, tức là nới cô lập, nên lab không làm. PVE 9.2 có tạo CT từ ảnh OCI ("application container") nhưng tài liệu ghi là technology preview: không dùng cho dịch vụ thật của lab.
11.2 Tạo CT từ template chính thức
Làm trên node1 (root). Tệp template nằm ở storage local của từng node; rootfs của CT nằm trên vm-ceph nên storage này phải có loại nội dung Container (rootdir).
Cách 1: Web UI Proxmox (GUI)
- node1 →
local→ CT Templates → Templates → chọnubuntu-24.04-standard→ Download. - Nút Create CT (góc trên phải): General (CT ID, Hostname, Resource Pool, SSH public key, tick Unprivileged container, để Nesting tắt) → Template → Disks (
vm-ceph, 8 GiB) → CPU → Memory → Network (Bridgevmbr0, VLAN Tag, IPv4 Static, Gateway) → DNS → Finish.
Cách 2: CLI (pveam, pct)
grep -A6 '^rbd: vm-ceph' /etc/pve/storage.cfg # 'content' phải có rootdir; thiếu thì: pvesm set vm-ceph --content images,rootdir
pveam update # cập nhật danh mục template
pveam available --section system | grep 'ubuntu-24.04' # (mẫu) system ubuntu-24.04-standard_24.04-2_amd64.tar.zst
pveam download local ubuntu-24.04-standard_24.04-2_amd64.tar.zst && pveam list local
CTID=9020 # CT template, cùng không gian ID với VMID 9000/9001
ls /etc/pve/nodes/*/{qemu-server,lxc}/ | grep -x -E '9020.conf|9300.conf' || echo "ID 9020/9300 còn trống"
pct create $CTID local:vztmpl/ubuntu-24.04-standard_24.04-2_amd64.tar.zst \
--hostname tpl-ct-ubuntu-2404 --ostype ubuntu --unprivileged 1 --features nesting=0 \
--cores 1 --memory 512 --swap 256 --rootfs vm-ceph:8 \
--net0 name=eth0,bridge=vmbr0,tag=45,ip=10.11.45.99/24,gw=10.11.45.1,firewall=0 \
--nameserver "1.1.1.1 8.8.8.8" --searchdomain hoatranlabs.local --timezone Asia/Ho_Chi_Minh \
--ssh-public-keys /root/lab/admin_keys.pub --onboot 0 --tags "template;ct-ubuntu-2404" --pool pool-infra
pct start $CTID
pct exec $CTID -- bash -c 'ip -br addr show eth0; ping -c1 -W3 1.1.1.1; getent hosts archive.ubuntu.com'
Tên template đã đối chiếu với danh mục aplinfo-pve-9.dat (cái pveam update tải về) ngày 2026-10-15; danh mục cũng có Ubuntu 26.04, series dùng 24.04. Tên đổi khi Proxmox phát hành bản mới (24.04-3…): luôn lấy từ pveam available. --ssh-public-keys chỉ cài khoá cho root của CT; --password bỏ trống nên root không đăng nhập bằng mật khẩu. CT dùng đồng hồ của node (không cài chrony) và không có qemu-guest-agent. Tạo ct-bootstrap.sh trên node1 để lập user sysadmin + sudo như VM cloud-init:
#!/usr/bin/env bash
# ct-bootstrap.sh — chạy BÊN TRONG CT Ubuntu 24.04 (root): cập nhật, gói nền, user sysadmin + sudo.
# Cách dùng: bash ct-bootstrap.sh # CT dịch vụ
# bash ct-bootstrap.sh --seal # thêm bước dọn dấu vết, dùng trước khi biến CT thành template
set -euo pipefail
export DEBIAN_FRONTEND=noninteractive NEEDRESTART_MODE=a
. /etc/os-release; [ "${VERSION_ID}" = "24.04" ] || { echo "Cần Ubuntu 24.04, đang là ${VERSION_ID}" >&2; exit 1; }
[ -s /root/.ssh/authorized_keys ] || { echo "Thiếu khoá SSH: tạo CT với --ssh-public-keys" >&2; exit 1; }
echo "[1/4] Cập nhật và cài gói nền"
apt-get update && apt-get -y dist-upgrade
apt-get -y install openssh-server sudo curl wget ca-certificates gnupg jq vim htop dnsutils net-tools
echo "[2/4] User sysadmin: khoá SSH sao từ root, sudo không hỏi mật khẩu (giống VM cloud-init)"
id sysadmin >/dev/null 2>&1 || adduser --disabled-password --gecos "" sysadmin
usermod -aG sudo sysadmin
install -d -m 700 -o sysadmin -g sysadmin /home/sysadmin/.ssh
install -m 600 -o sysadmin -g sysadmin /root/.ssh/authorized_keys /home/sysadmin/.ssh/authorized_keys
echo 'sysadmin ALL=(ALL) NOPASSWD:ALL' > /etc/sudoers.d/90-sysadmin
chmod 440 /etc/sudoers.d/90-sysadmin && visudo -cf /etc/sudoers.d/90-sysadmin
echo "[3/4] SSH chỉ bằng khoá, không cho root (vào root của CT bằng pct enter trên node)"
printf 'PermitRootLogin no\nPasswordAuthentication no\n' > /etc/ssh/sshd_config.d/10-lab.conf
sshd -t && systemctl restart ssh
echo "[4/4] Dọn dẹp"
apt-get -y autoremove --purge && apt-get clean
if [ "${1:-}" = "--seal" ]; then
: > /etc/machine-id; rm -f /var/lib/dbus/machine-id # systemd cấp machine-id mới khi clone boot lần đầu
rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* /root/.bash_history /home/*/.bash_history /root/ct-bootstrap.sh
journalctl --rotate && journalctl --vacuum-time=1s
fi
Đẩy script vào CT build, chạy rồi kiểm tra SSH bằng sysadmin từ máy quản trị. node_exporter 1.12.1 cài sau khi clone (mục 11.3) bằng install-node-exporter.sh của bài 15 (Bước 5), không nướng vào template, cùng lý do với template VM:
pct push $CTID /root/lab/ct-bootstrap.sh /root/ct-bootstrap.sh --perms 755
pct exec $CTID -- bash /root/ct-bootstrap.sh --seal # CT dịch vụ thường: bỏ --seal
ssh [email protected] 'id; sudo -n true && echo sudo OK' # từ máy quản trị (xoá known_hosts cũ của .99 nếu cảnh báo)
11.3 CT template và clone
pct shutdown $CTID --timeout 60
pct set $CTID --net0 name=eth0,bridge=vmbr0,tag=45,ip=dhcp,firewall=0 # bỏ IP tạm .99 khỏi template
pct template $CTID && pct config $CTID | grep -E '^(template|rootfs|unprivileged|features)'
# CT thử: mặc định từ template là clone LIÊN KẾT (không xoá được template khi còn clone)
pct clone 9020 9300 --hostname ct-demo --pool pool-test --description "CT thử nghiệm, bài 07 mục 11.3"
pct set 9300 --net0 name=eth0,bridge=vmbr0,tag=45,ip=10.11.45.99/24,gw=10.11.45.1,firewall=0 --tags "lab;test"
pct start 9300
pct push 9300 /root/lab/install-node-exporter.sh /root/install-node-exporter.sh --perms 755 # script của bài 15, Bước 5
pct exec 9300 -- bash /root/install-node-exporter.sh && pct exec 9300 -- bash -c 'curl -s localhost:9100/metrics | head -3'
# CT dịch vụ lâu dài: clone ĐẦY ĐỦ, đặt sang node khác (ví dụ NẾU chọn LXC cho Headscale thay VM232; không chạy khi VM232 đã tồn tại)
pct clone 9020 232 --hostname headscale --full 1 --storage vm-ceph --pool pool-infra --target node2
ssh root@node2 "pct set 232 --cores 2 --memory 1024 --net0 name=eth0,bridge=vmbr0,tag=35,ip=10.11.35.10/24,gw=10.11.35.1,firewall=0 --tags 'lab;infra' --onboot 1 && pct resize 232 rootfs 16G && pct start 232"
Theo mục "Guest Operating System Configuration" của tài liệu PVE, PVE tự đặt hostname, mạng, DNS và sinh lại khoá SSH host trong CT. Sau khi clone, kiểm ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub khác template và cat /etc/machine-id không trùng (cần kiểm lại trên máy thật). Quy ước giữ nguyên: --pool (bài 08), --tags, --onboot 1 cho dịch vụ, DNS về Pi-hole 10.11.45.53 sau bài 12 (pct set <CTID> --nameserver 10.11.45.53).
11.4 Vận hành CT: backup, HA, tài nguyên, thư mục dữ liệu, firewall
- Backup (
pbs-primary):vzdump 9300 --storage pbs-primary --mode snapshot. Chế độsnapshotdùng snapshot của storage (RBD hỗ trợ) và chỉ treo CT chốc lát;suspendrsync dữ liệu ra thư mục tạm và cần chỗ trống;stoptắt CT trong suốt lúc backup. Job theo pool (mục 10.2) lấy luôn CT mới; thêm9020vào ô Exclude như 9000/9001. Bind mount và device mount không bao giờ nằm trong backup; mount point volume chỉ vào backup khibackup=1. Khôi phục thử:pvesm list pbs-primary --vmid 9300rồipct restore 9301 pbs-primary:backup/ct/9300/<thời-điểm-UTC> --storage vm-ceph --unique 1(bài 11, mục 8). Snapshot trước khi nâng cấp:pct snapshot 9300 truoc-nang-cap,pct rollback 9300 truoc-nang-cap. - HA:
ha-manager add ct:<CTID> --state started --max_restart 2 --max_relocate 1(rule node-affinity như bài 03, mục 7.3). CT không live migrate: chuyển node là restart migration (dừng, chuyển, khởi động; mặc định chờ tắt tối đa 180 giây):pct migrate 9300 node3 --restart. Bảo trì node (bài 06) cũng làm CT khởi động lại: dịch vụ không chấp nhận gián đoạn ngắn thì chạy trong VM hoặc có bản dự phòng ở node khác. HA chỉ an toàn khi rootfs và mọi mount point nằm trên storage chia sẻ (vm-ceph). - Tài nguyên:
pct set 9300 --cores 2 --memory 1024 --swap 512(coresgiới hạn số CPU nhìn thấy, thêm--cpulimitđể chặn thời gian CPU,memory/swaplà giới hạn cgroup); mở rộng đĩapct resize 9300 rootfs +4G(không thu nhỏ được). - Dữ liệu và UID: root trong CT là uid 100000 trên node (uid N trong CT là 100000+N). Mount point volume
pct set 9300 --mp0 vm-ceph:20,mp=/srv/data,backup=1đi theo CT khi migrate/HA/backup. Bind mount thư mục của node chỉ dùng cho dữ liệu cục bộ: nguồn phải là thư mục dành riêng (không bind/,/var,/etc), chỉroot@pamcấu hình được, không backup/snapshot và phải tồn tại ở node đích.
# (a) Đơn giản: thư mục thuộc uid đã ánh xạ của sysadmin (uid 1000 trong CT = 101000 trên node; kiểm bằng pct exec 9300 -- id -u sysadmin)
mkdir -p /mnt/bindmounts/shared && chown 101000:101000 /mnt/bindmounts/shared
pct set 9300 --mp1 /mnt/bindmounts/shared,mp=/shared
# (b) Nâng cao (idmap, mẫu theo wiki PVE "Unprivileged LXC containers", cần kiểm lại): cho uid/gid 2000 của CT TRÙNG 2000 trên node.
# Chọn uid CHƯA có tệp trong CT; áp idmap cho uid đã có tệp sẽ làm lệch chủ sở hữu.
echo 'root:2000:1' >> /etc/subuid; echo 'root:2000:1' >> /etc/subgid # thêm dòng, KHÔNG xoá dòng root:100000:65536
# /etc/pve/lxc/9300.conf — thêm vào PHẦN CHÍNH (trước mọi mục [snapshot]) khi CT đã dừng
lxc.idmap: u 0 100000 2000
lxc.idmap: g 0 100000 2000
lxc.idmap: u 2000 2000 1
lxc.idmap: g 2000 2000 1
lxc.idmap: u 2001 102001 63535
lxc.idmap: g 2001 102001 63535
- Firewall CT (bài 05, mục 7): cơ chế giống VM: bật cờ
firewall=1trên net0 (giữ nguyên MAC) và tạo/etc/pve/firewall/<CTID>.fw. Không đặt.fwhayipfilter-net0trong template CT, vìpct clonesao chép theo (xem cảnh báo ở mục 2.4). UFW/iptables trong CT không đặc quyền có thể bị hạn chế: dùng firewall của PVE ở NIC của CT (cần kiểm lại trên máy thật).
pct set 9300 --net0 "$(pct config 9300 | sed -n 's/^net0: //p' | sed -E 's/,?firewall=[01]//'),firewall=1"
cat > /etc/pve/firewall/9300.fw <<'EOF'
[OPTIONS]
enable: 1
policy_in: DROP
policy_out: ACCEPT
log_level_in: info
[IPSET ipfilter-net0]
10.11.45.99
[RULES]
GROUP sg-ssh-admin -i net0
|IN ACCEPT -i net0 -source prometheus -p tcp -dport 9100 # node_exporter (bài 15); bỏ dấu | khi đã có Prometheus
EOF
11.5 So sánh nhanh VM và LXC, rủi ro
| Tiêu chí | VM (QEMU/KVM) | CT (LXC không đặc quyền) |
|---|---|---|
| Nhân | Riêng từng VM | Dùng chung nhân của node |
| Cô lập | Ranh giới ảo hoá; tài liệu PVE: VM đầy đủ cô lập tốt hơn | Namespace, cgroup, AppArmor, user namespace; lỗ hổng nhân của node ảnh hưởng mọi CT |
| Khi bị chiếm quyền root | Ở trong VM | Là uid 100000 trên node nhưng cùng nhân với node |
| Tài nguyên | Cấp RAM/CPU cho cả OS khách | Không có OS thứ hai, RAM dùng đến đâu tính đến đó |
| Di chuyển | Live migration | Chỉ restart migration |
| Hệ điều hành, thiết bị | Mọi OS; PCI/USB passthrough | Chỉ Linux; thiết bị hạn chế |
Rủi ro cần nhớ: (1) reboot node sau khi cập nhật nhân (bài 06) làm CT trên node đó khởi động lại vì CT không live migrate được, kế hoạch bảo trì phải tính downtime ngắn cho từng CT; (2) không dùng CT đặc quyền (LXC coi là không an toàn) và đừng bật thêm nesting, keyctl, fuse, mount nếu dịch vụ không đòi hỏi; (3) nếu dịch vụ systemd báo lỗi namespace (status=226/NAMESPACE) thì bật pct set <CTID> --features nesting=1 (tài liệu: systemd dùng nesting để cô lập dịch vụ) rồi ghi lại là ngoại lệ, cần kiểm lại trên máy thật; (4) CT là hạ tầng nhẹ nên vẫn cần cập nhật định kỳ (apt trong CT) và cập nhật template CT hàng tháng như mục 10.1; (5) dịch vụ nào về sau cần Docker, ACL phức tạp hoặc live migration thì đổi sang VM (clone từ 9000/9001) và chuyển dữ liệu qua rsync/PBS.
Mở rộng tới hàng trăm node/VM
| Việc | Cách làm khi từ 1 cluster lên nhiều cluster |
|---|---|
| Đơn vị triển khai | Mỗi cluster là một "đơn vị": thư mục riêng clusters/<tên>/ trong Git gồm vms.csv, tofu/ (một state riêng) và inventory Ansible; token API riêng cho mỗi cluster |
| Template đồng nhất | Template là tài nguyên của từng cluster (đĩa nằm trên storage của cluster, không sao chép giữa cluster). Đồng nhất bằng cách chạy cùng ảnh (đối chiếu SHA-256) và cùng lab-bake.sh trên mỗi cluster, giữ VMID template giống nhau (9000/9001) để CSV/module dùng chung |
| Thứ tự phát hành | Cluster staging trước (bài 06 nêu quy trình theo vòng), kiểm thử, rồi production; không build template trực tiếp trên production |
| Tốc độ | OpenTofu mặc định chạy 10 thao tác song song (-parallelism), clone.retries xử lý timeout khi clone nhiều VM một lúc; Ansible dùng forks và throttle cho tác vụ clone. Clone đồng thời nhiều VM tranh I/O Ceph: đo thời gian clone trên cluster của bạn, đừng dùng số liệu của bài |
| Quan sát tập trung | Proxmox Datacenter Manager (bài 04) hiển thị nhiều cluster và thực hiện migration liên cluster, cập nhật; tài liệu PDM không nêu chức năng tạo VM hàng loạt nên việc dựng VM vẫn do IaC đảm nhiệm |
| Dựng node mới | PVE hỗ trợ cài tự động bằng tệp trả lời (xem tài liệu "Automated Installation", ngoài phạm vi bài); sau khi node lên, Ansible áp cấu hình nền (bài 05, 06, 09) |
| Nguồn sự thật | Quy mô nhỏ: vms.csv trong Git. Quy mô lớn: NetBox (bài 23) giữ VM dự kiến (trạng thái planned), IaC đọc từ đó |
NetBox làm nguồn sự thật (tuỳ chọn, làm sau bài 23). Ý tưởng: nhân viên khai VM trong NetBox → OpenTofu đọc danh sách VM planned, dựng, rồi bạn đổi trạng thái sang active. Provider e-breuninger/netbox có data source netbox_virtual_machines trả về name, vcpus, memory_mb, disk_size_mb, primary_ip4, custom_fields; thông tin riêng của Proxmox (VMID, node, VLAN, template) đặt trong custom field. Inventory Ansible thay csv_inventory.py bằng plugin netbox.netbox.nb_inventory (cần thư viện pynetbox).
Cột vms.csv | Nguồn trong NetBox |
|---|---|
name, cores, mem, disk | Tên VM, vcpus, memory_mb, disk_size_mb / 1024 |
ip | primary_ip4 (dạng 10.11.45.151/24, bỏ phần mặt nạ) |
vmid, node, vlan, tpl, pool | Custom field (pve_vmid, pve_node, pve_vlan, pve_template, pve_pool) |
data "netbox_virtual_machines" "planned" {
filter {
name = "status"
value = "planned"
}
}
locals {
vms = { for v in data.netbox_virtual_machines.planned.vms : v.name => {
ip = split("/", v.primary_ip4)[0], cores = v.vcpus, mem = v.memory_mb, disk = v.disk_size_mb / 1024
vmid = v.custom_fields["pve_vmid"], node = v.custom_fields["pve_node"]
} }
}
primary_ip4 cũng cần kiểm.
Tích hợp (làm sau khi hoàn thành bài NN)
| Sau bài | Việc cần làm |
|---|---|
| 05 (Firewall) | Mở 22/tcp từ ops01 tới các node, 8006/tcp từ ops01 tới API; bật firewall VM và rule theo mục 7 của bài 05 (IPSet ipfilter-net0 đã được script sinh bằng --ipfilter) |
| 06 (Cập nhật cuốn chiếu) | Playbook chạy từ ops01 bằng sysadmin (Bước 7.3); thư mục /srv/backup/pve-preupdate đã tạo. Bài 06 hướng dẫn apt install ansible (9.2.0): bỏ lệnh đó nếu đã cài bằng pipx ở bài này, playbook vẫn chạy với ansible-core 2.20 (chưa chạy thử trên máy thật) |
| 08 (RBAC) | pve-rbac-apply.sh chuẩn hoá token svc-automation@pve!ansible; đặt hạn dùng và quy trình xoay vòng token |
| 09 (Chứng chỉ) | Node dùng chứng chỉ của step-CA: bật xác thực chứng chỉ (validate_certs: true, bỏ insecure = true/PROXMOX_VE_INSECURE) sau khi ops01 tin cậy root CA |
| 10, 11 (Thông báo, Runbook) | Bật cảnh báo dung lượng Ceph (OSD_NEARFULL, rule CephOsdUsageN1 60%, bài 10 mục 5 và 8.4) cho cả hai tầng SSD/HDD trước khi dựng VM nặng; mục 8.7 của bài này dùng lại quy trình "Ceph đầy" ở bài 11 mục 9.1 |
| 12 (Pi-hole) | ./create-lab-vms.sh --reconfigure để chuyển DNS các VM sang 10.11.45.53; thêm bản ghi cho ops01 (đã có trong script bài 12) |
| 15 (Giám sát) | Cài node_exporter 1.12.1 cho ops01 bằng script Bước 5 của bài 15 (không nướng vào template để tránh trùng với VM235/VM236) |
| 22 (Gitea) | Đưa ~/lab-iac lên Git (loại *.tfstate, pve.env) |
| 23 (NetBox) | Nguồn sự thật tuỳ chọn như mục trên; khai VM ops01 và 30 VM vào NetBox |
| 32, 34 (SeaweedFS S3, Vault) | Backend S3 cho state của OpenTofu (bucket tofu-state, bài 32 mục 4.6); token API lưu trong Vault thay cho tệp pve.env |
Troubleshooting
| Triệu chứng | Nguyên nhân | Cách xử lý |
|---|---|---|
qm set --sshkeys báo khoá không hợp lệ | Tệp khoá có dòng trống, sai định dạng OpenSSH hoặc là khoá riêng | Mỗi dòng một khoá công khai (ssh-ed25519 AAAA… ghi chú); kiểm bằng ssh-keygen -lf /root/lab/admin_keys.pub |
| VM clone boot nhưng không có mạng | Thiếu ipconfig0; sai VLAN tag; không có ổ cloud-init; gateway sai | qm cloudinit dump <VMID> network; trong VM cloud-init status --long, /var/log/cloud-init.log; ip -br addr (NIC tên eth0) |
| Hostname/user không đổi sau clone | Template còn trạng thái cũ trong /var/lib/cloud | Dựng lại template, chắc chắn cloud-init clean đã chạy (mục 2.3) |
| Cảnh báo "REMOTE HOST IDENTIFICATION HAS CHANGED" | Clone sinh khoá SSH host mới; hoặc đổi cloud-init làm sinh lại khoá | ssh-keygen -R <IP>; kiểm ssh_deletekeys: false trong /etc/cloud/cloud.cfg.d/99-lab.cfg |
QEMU guest agent is not running | Chưa cài agent, chưa agent=1, hoặc VM chưa khởi động lại sau khi bật tuỳ chọn | qm config <VMID> | grep agent; trong VM systemctl status qemu-guest-agent |
can't clone VM to node 'node2' (VM uses local storage) | Đĩa template nằm trên storage cục bộ | Chuyển đĩa sang vm-ceph (qm disk move) hoặc clone trên đúng node chứa đĩa |
VM không khởi động: volume 'local:snippets/…' does not exist | Snippet cicustom chưa có trên node đích (migration/HA) | sync-snippets.sh hoặc dùng storage chia sẻ; hoặc gỡ cicustom |
Permission check failed (/vms/9000, VM.Clone) với token | Thiếu ACL cho token hoặc user (token tách quyền lấy giao) | pveum user permissions 'svc-automation@pve!ansible' --path /vms/9000; gán ACL cho cả --users lẫn --tokens; token chỉ tạo VM trong pool-test (bài 08) |
| VM mất mạng ra ngoài sau khi bật firewall VM | ipfilter-net0 sai IP (clone sao chép .fw của template) | Chạy ./create-lab-vms.sh --reconfigure --ipfilter; template không được có .fw (bài 05, mục 7.2) |
Failed to import the required Python library (proxmoxer) | Playbook chạy bằng Python hệ thống thay vì venv pipx | Giữ ansible_python_interpreter: "{{ ansible_playbook_python }}"; pipx inject ansible-core "proxmoxer>=2.3" requests |
tofu apply treo rất lâu ở bước chờ IP | Guest agent không chạy trong VM (provider chờ tối đa theo agent.timeout) | Sửa template (cài agent) hoặc đặt agent { enabled = false } cho VM đó |
Ubuntu cloud image không boot đĩa scsi0 | Bộ điều khiển SCSI không phải virtio-scsi-pci | qm set <VMID> --scsihw virtio-scsi-pci |
Đĩa đã qm resize nhưng df vẫn nhỏ | VM đã chạy: cloud-init chỉ nới ở lần boot đầu | Trong VM: sudo growpart /dev/sda 1 && sudo resize2fs /dev/sda1 (kiểm tên phân vùng bằng lsblk) |
ceph health báo nearfull sau khi dựng nhiều VM | Dữ liệu thật (cộng cả phần các full clone chép ngay từ template) vượt vùng an toàn của tầng đó | ceph df detail, ceph osd df tree; sao lưu rồi qm destroy --purge VM chưa cần (tắt VM không trả chỗ), fstrim -av, thêm OSD (bài 03 mục 7.6); xem mục 8.7 |
create-lab-vms.sh thoát: Storage 'vm-bulk' không tồn tại | Chưa tạo pool/storage HDD hoặc gõ sai ID | Làm mục 8.5 (pveceph pool create vm-bulk … --add_storages 1, kiểm pvesm status); hoặc tạm --no-data-disk |
Đĩa dữ liệu của VM vẫn nằm trên SSD dù đặt LAB_DATA_STORAGE | Quên đặt biến (mặc định bằng LAB_STORAGE, script có in cảnh báo), hoặc vm-bulk dùng nhầm rule SSD | qm config <VMID> | grep scsi1; ceph osd pool ls detail | grep vm-bulk phải có rule-hdd; chuyển bằng qm disk move <VMID> scsi1 vm-bulk --delete 1 |
ceph osd pool autoscale-status không in gì, hoặc vm-ceph đang nằm cả trên OSD HDD | Có pool (thường là .mgr) còn dùng replicated_rule bao trùm mọi class; hoặc OSD bị nhận sai class | ceph osd pool set .mgr crush_rule rule-ssd; ceph osd tree kiểm CLASS rồi sửa bằng rm-device-class/set-device-class (mục 8.5) |
pct create không cho chọn vm-ceph làm rootfs, hoặc báo không tìm thấy template trên node2 | Storage thiếu loại nội dung Container (rootdir); hoặc tệp template chỉ được tải ở local của node khác | pvesm set vm-ceph --content images,rootdir (giữ các loại cũ); pveam download local <tên> trên đúng node đang tạo CT (Bước 11) |
Dịch vụ trong CT không khởi động, systemctl status có status=226/NAMESPACE | nesting=0 chặn cơ chế cô lập dịch vụ của systemd (tài liệu PVE: systemd dùng nesting) | pct set <CTID> --features nesting=1, khởi động lại CT và ghi là ngoại lệ; cần kiểm lại trên máy thật |
Checklist nghiệm thu
- Storage
localbật Snippets; thư mục/var/lib/vz/snippetscó trên cả 4 node - Ba pool
pool-infra,pool-prod,pool-testtồn tại - Ảnh Ubuntu cloud đã kiểm SHA-256 và chữ ký GPG (fingerprint D2EB 4462 …7C81)
- Template 9000
tpl-ubuntu-2404là template,agent=1,ciupgrade=0, có ổ cloud-init, nằm trongpool-infra - Template 9001
tpl-ubuntu-2404-dockercó Docker 29.9.1 (repo noble) và nằm trongpool-infra - Không tồn tại
/etc/pve/firewall/9000.fwvà9001.fw; net0 của templatefirewall=0 - Clone thử boot được: hostname, user
sysadmin, khoá SSH, IP, DNS đúng; NICeth0 - Khoá SSH host và
machine-idcủa clone khác template -
ops01(VM290,10.11.45.20, node2,pool-infra) chạy, có Ansible, OpenTofu, proxmoxer - Token
svc-automation@pve!ansible(privsep) gọi được API;pveum user permissionsthấyVM.Clonetrên/vms/9000 -
sysadmincó sudo trên 4 node; ops01 SSH vào node bằng khoá cófrom=;/srv/backup/pve-preupdatetồn tại trên ops01 -
./create-lab-vms.sh --listkhớp bảng quy hoạch (30 VM + ops01); đã đối chiếu dung lượng thật củavm-cephvàvm-bulk(mục 8.4) và RAM từng node -
ceph osd treecó OSD classssd(4 OSD) vàhdd(4 OSD);ceph osd pool ls detailchovm-cephdùngrule-ssd,vm-bulkdùngrule-hdd;.mgrđã chuyển sangrule-ssd - Storage
vm-bulkactive trên cả 4 node (pvesm status); đĩa phụscsi1của VM235/239/241/251/267/268 nằm trênvm-bulk, không cóssd=1 - Đã dựng VM theo giai đoạn (mục 8.6), sau mỗi giai đoạn
ceph df detailcòn dưới vùng an toàn (≈ 60% raw); quota pool và cảnh báoCephOsdUsageN1(bài 10) đã bật - Ít nhất một lần dựng VM bằng script, một lần bằng Ansible và một lần bằng OpenTofu cho VM thử (pool-test) rồi dọn
- VM mới nằm đúng pool;
ipfilter-net0đúng IP từng VM (khi dùng--ipfilter) - Đã ghi lịch cập nhật template (hàng tháng) và người phụ trách
- (Nếu dùng LXC) CT template 9020
tpl-ct-ubuntu-2404là template,unprivileged: 1,nesting=0, nằm trongpool-infra; CT clone có usersysadmin+ sudo, khoá SSH host vàmachine-idkhác template, CTID trùng VMID chuẩn của dịch vụ - (Nếu dùng LXC) CT thử đã backup lên
pbs-primary(mode snapshot) vàpct restorethử thành công; CT dịch vụ trong HA có rootfs và mọi mount point trênvm-ceph
Tài liệu tham khảo
- Proxmox VE, Cloud-Init Support: https://pve.proxmox.com/pve-docs/chapter-qm.html#qm_cloud_init (bản wiki: https://pve.proxmox.com/wiki/Cloud-Init_Support, FAQ: https://pve.proxmox.com/wiki/Cloud-Init_FAQ)
- Tham chiếu lệnh
qm: https://pve.proxmox.com/pve-docs/qm.1.html —pvesm: https://pve.proxmox.com/pve-docs/chapter-pvesm.html —pveum(quyền, pool, token): https://pve.proxmox.com/pve-docs/pveum.1.html - Proxmox VE cluster manager (giới hạn số node): https://pve.proxmox.com/pve-docs/chapter-pvecm.html
- Mã nguồn qemu-server (sinh dữ liệu cloud-init, API clone): https://github.com/proxmox/qemu-server
- Proxmox Datacenter Manager: https://pdm.proxmox.com/docs/ — Cài tự động Proxmox VE: https://pve.proxmox.com/wiki/Automated_Installation
- Ubuntu cloud image 24.04: https://cloud-images.ubuntu.com/noble/current/ — bản phát hành: https://releases.ubuntu.com/24.04/
- Debian 13 cloud image: https://cloud.debian.org/images/cloud/trixie/latest/
- cloud-init: vendor-data https://docs.cloud-init.io/en/latest/explanation/vendordata.html — lệnh
clean/statushttps://docs.cloud-init.io/en/latest/reference/cli.html — datasource NoCloud https://docs.cloud-init.io/en/latest/reference/datasources/nocloud.html - Docker Engine trên Ubuntu: https://docs.docker.com/engine/install/ubuntu/ — Docker và tường lửa: https://docs.docker.com/engine/network/packet-filtering-firewalls/
- OpenTofu (cài từ apt): https://opentofu.org/docs/intro/install/deb/ — mã hoá state: https://opentofu.org/docs/language/state/encryption/
- Provider bpg/proxmox: https://registry.terraform.io/providers/bpg/proxmox/latest/docs — https://github.com/bpg/terraform-provider-proxmox
- Ansible collection community.proxmox: https://github.com/ansible-collections/community.proxmox — https://galaxy.ansible.com/ui/repo/published/community/proxmox/
- Provider NetBox: https://github.com/e-breuninger/terraform-provider-netbox
- Cloudbase-Init (Windows): https://cloudbase.it/cloudbase-init/ — virtio-win: https://fedorapeople.org/groups/virt/virtio-win/direct-downloads/stable-virtio/
- Proxmox VE, Linux Container (Docker/OCI, unprivileged, mount point, migration): https://pve.proxmox.com/pve-docs/chapter-pct.html —
pct: https://pve.proxmox.com/pve-docs/pct.1.html —pveam: https://pve.proxmox.com/pve-docs/pveam.1.html — danh mục template: http://download.proxmox.com/images/aplinfo-pve-9.dat - Sao lưu CT (
vzdump): https://pve.proxmox.com/pve-docs/chapter-vzdump.html — HA: https://pve.proxmox.com/pve-docs/chapter-ha-manager.html — Firewall VM/CT: https://pve.proxmox.com/pve-docs/chapter-pve-firewall.html — idmap: https://pve.proxmox.com/wiki/Unprivileged_LXC_containers - Samba
vfs_acl_xattr(acl_xattr:security_acl_name): https://www.samba.org/samba/docs/current/man-html/vfs_acl_xattr.8.html - Dung lượng và phân tầng SSD/HDD (mục 8.4–8.7): Proxmox VE, Ceph (
pveceph pool create,pveceph osd create --crush-device-class, "Ceph CRUSH & device classes"): https://pve.proxmox.com/pve-docs/chapter-pveceph.html và https://pve.proxmox.com/pve-docs/pveceph.1.html — Ceph Tentacle, CRUSH device classes: https://docs.ceph.com/en/tentacle/rados/operations/crush-map/ — pool,size/min_size, quota,crush_rule: https://docs.ceph.com/en/tentacle/rados/operations/pools/ — PG autoscaler: https://docs.ceph.com/en/tentacle/rados/operations/placement-groups/ — ngưỡng nearfull/backfillfull/full: https://docs.ceph.com/en/tentacle/rados/configuration/mon-config-ref/ — nén BlueStore,osd_memory_target: https://docs.ceph.com/en/tentacle/rados/configuration/bluestore-config-ref/ — section/mask củaceph config set: https://docs.ceph.com/en/tentacle/rados/configuration/ceph-conf/ —qm disk move: https://pve.proxmox.com/pve-docs/qm.1.html