System & Network Template + Cloud-Init
Bài 07 · Giai đoạn 1 — Vận hành & Bảo mật Proxmox

VM Template + Cloud-Init

Dựng template Ubuntu 24.04 cloud-init, clone nhanh 30 VM đồng bộ và tự động hóa ở quy mô lớn.

Giai đoạn: Vận hành & Bảo mật Proxmox

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 07 thuộc Giai đoạn 1 — Vận hành & Bảo mật Proxmox, nối tiếp Bài 06. Rolling Update + Ceph và đứng trước Bài 08. RBAC · Token · OIDC.
Mức độ cần thiết: 🟡 Quan trọng — Không bắt buộc để chạy VM đầu tiên, nhưng gần như bắt buộc khi phải dựng và dựng lại hàng chục VM giống nhau

Cài Ubuntu từ ISO cho từng máy ảo (chọn ngôn ngữ, đặt mạng, tạo user, cài SSH, cập nhật gói…) mất 15–30 phút mỗi VM và mỗi lần mỗi khác: quên một bước, gõ nhầm IP, thiếu qemu-guest-agent. Với 30 VM dịch vụ của series đó là hơn một ngày thao tác tay, và sau mỗi sự cố (bài 11) lại phải làm lại. Bài này chuyển sang cách làm của doanh nghiệp: một VM "mẫu" đã cập nhật và cài sẵn gói nền được chuyển thành template; mỗi VM mới chỉ là một bản clone cộng vài tham số cloud-init (hostname, user, khoá SSH, IP, DNS) — vài chục giây thay vì vài chục phút. Cuối bài, tạo máy quản trị ops01 (Ansible, OpenTofu, proxmoxer) để dựng VM hàng loạt và mở rộng từ 1 node tới hàng trăm node mà không tốn subscription.

MụcNội dung
Ứng dụng trong DN"Golden image" thống nhất (cùng phiên bản OS, gói nền, tài khoản quản trị); dựng, nhân bản và dựng lại VM trong vài chục giây; hạ tầng dưới dạng mã (IaC) cho nhiều cluster
Tác dụng chínhTemplate Ubuntu 24.04 (VMID 9000) và Ubuntu 24.04 + Docker (VMID 9001) trên vm-ceph; cloud-init đặt hostname, user sysadmin, khoá SSH, IP tĩnh, DNS; script create-lab-vms.sh dựng 30 VM theo bảng quy hoạch (đĩa hệ điều hành trên SSD vm-ceph, đĩa dữ liệu lớn trên HDD vm-bulk, kế hoạch dung lượng cho lab 800 GB SSD + 1 TB HDD); máy ops01 (VM290) với Ansible và OpenTofu
Nếu không triển khaiCài tay 30 VM từ ISO: chậm, dễ sai IP/VMID/cấu hình nền, mỗi VM một kiểu, khó dựng lại khi sự cố, không có đường lên tự động hoá quy mô lớn
Các service phụ thuộc vào đâyMọi VM Ubuntu của bài 12–37 (dựng bằng clone thay cho ISO); ops01 phục vụ bài 05/06 (Ansible), bài 08 (API token), bài 11 (dựng lại VM nhanh), bài 22 (kho mã IaC), bài 23 (NetBox làm nguồn dữ liệu tuỳ chọn)

Ngày cập nhật: 2026-10-15

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
ops01 (Ansible/OpenTofu + bastion) · VM29010.11.45.2045 (MGMT) · node2Máy chủ của bài — clone từ template 9000 (Ubuntu 24.04), cài Ansible, OpenTofu, proxmoxer; gọi API PVE bằng token, làm bastion SSH.
tpl-ubuntu-2404 (template cloud-init) · VM9000—45 (MGMT) · cluster HOATRANHUB (vm-ceph)Template VMID 9000: ảnh Ubuntu 24.04 cloud-init đã cài qemu-guest-agent, chrony; nguồn clone cho ops01 và các VM không dùng Docker.
tpl-ubuntu-2404-docker (template + Docker) · VM9001—45 (MGMT) · cluster HOATRANHUB (vm-ceph)Template VMID 9001: bản 9000 cộng Docker Engine từ repo noble; nguồn clone cho 17 VM chạy Docker Compose.
tpl-lxc-ubuntu-2404 (CT template) · VM9020—45 (MGMT) · cluster HOATRANHUB (vm-ceph)CT template 9020 (Bước 11): Ubuntu 24.04 LXC không đặc quyền, nguồn pct clone cho dịch vụ nhẹ.
node1 (Proxmox VE)10.11.45.21045 (MGMT) · cluster HOATRANHUBNode giữ cấu hình hai template; chạy lab-bake.sh, create-lab-vms.sh và lưu snippets /var/lib/vz/snippets (đồng bộ sang node khác).
node2 (Proxmox VE)10.11.45.21145 (MGMT) · cluster HOATRANHUBNode chứa VM290 ops01; nhận VM clone qua --target; cần user sysadmin + sudo cho Ansible (bài 06).
node3 (Proxmox VE)10.11.45.21245 (MGMT) · cluster HOATRANHUBNode nhận VM clone (Pi-hole, K3s, Nexus…) qua --target; cần snippets và user sysadmin + sudo như các node khác.
node4 (Proxmox VE)10.11.45.21345 (MGMT) · cluster HOATRANHUBNode cluster chứa pbs01, pdm01; nhận user sysadmin + sudo và snippets; chưa có VM dịch vụ nào trong bảng quy hoạch.
pihole (Pi-hole DNS) · VM24710.11.45.5345 (MGMT) · node3DNS mặc định của template (10.11.45.53); lúc làm bài này chưa có nên dựng đầu dùng 1.1.1.1/8.8.8.8, chuyển sang Pi-hole sau bài 12.
FortiGate (firewall)10.100.100.1Quản trị 10.100.100.0/24 · thiết bị mạngGateway .1 của mỗi VLAN và đường ra Internet để VM build tải ảnh cloud, gói apt và repo Docker.
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4Đích backup vzdump (storage pbs-primary): job theo pool-infra/pool-prod cho VM dựng từ template; loại PBS/PDM (bài 04).
netbox (NetBox IPAM) · VM24510.11.45.4545 (MGMT) · node2Nguồn sự thật tuỳ chọn (bài 23): khai VM planned, làm inventory Ansible và data source OpenTofu.

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local. Các VM trong bảng vms.csv (30 VM lab + ops01) chỉ được liệt kê ở mục 8; ở đây chỉ kê máy có vai trò riêng trong bài.

Tổng quan

Luồng tổng thể

Proxmox VE không chạy cloud-init "trong" VM mà tạo một ổ CD-ROM nhỏ (cloud-init drive, mặc định ide2) chứa bốn tệp user-data, network-config, meta-data, vendor-data mỗi lần VM khởi động; cloud-init trong VM đọc ổ này (datasource NoCloud) và áp dụng cấu hình. Các trường bạn đặt bằng qm set hoặc tab Cloud-Init của GUI (ciuser, sshkeys, ipconfig0, nameserver, searchdomain, cipassword, ciupgrade) được PVE chuyển thành hai tệp đầu. Điều này được kiểm chứng từ mã nguồn qemu-server (PVE/QemuServer/Cloudinit.pm) ngày 2026-10-15 và là nền tảng cho mọi nội dung dưới đây.

Thông sốGiá trị
Phiên bản PVE9.2.x (lab 9.2.20)
Quy mô áp dụng1 node → hàng trăm node
Template tạo raVMID 9000 · 9001 (+ CT template 9020, Bước 11)
Hệ điều hành guestUbuntu 24.04 LTS
Storage VMvm-ceph (SSD, RBD) + vm-bulk (HDD, RBD, mục 8.5)
Dung lượng lab800 GB SSD + 1 TB HDD, thin provisioning, kế hoạch ở mục 8.4–8.7 (vùng an toàn ≈ 160 GB SSD + 200 GB HDD)
Công cụ chínhcloud-init + OpenTofu
Máy quản trịops01 (VM290)
Repo PVEpve-no-subscription
Số VM dựng bằng script30 + ops01
Điều kiện tiên quyếtBài 01–04
Thời gian thực hiện2–3 giờ
Phương án thay VMLXC không đặc quyền cho dịch vụ nhẹ (Bước 11)

Phiên bản phần mềm sử dụng (đã xác minh 2026-10-15 trên trang phát hành, kho gói và tài liệu chính thức):

Thành phầnPhiên bản dùng trong bàiGhi chú
Proxmox VE9.2.x (lab: 9.2.20, bài 03)Lệnh qm, pvesh, pveum theo tài liệu PVE 9.2; qm disk import (bí danh qm importdisk)
Ubuntu Server (template, ops01, 30 VM)24.04.5 LTS "Noble Numbat"Ảnh noble-server-cloudimg-amd64.img (597 MB, build 2026-09-26: kernel 6.8.0-142, cloud-init 26.1-0ubuntu1~24.04.1). Ảnh KHÔNG có sẵn qemu-guest-agent và chrony nên template phải cài thêm. Khi cần cài từ ISO: ubuntu-24.04.5-live-server-amd64.iso (2026-09-09)
Debian cloud (tuỳ chọn)13 "trixie" genericcloud, build 20261001-2618cloud-init 25.1.4, kernel 6.12.111 cloud; cũng không có qemu-guest-agent
QEMU guest agent8.2.2 (gói qemu-guest-agent kho universe của noble)Cài trong template, VM cần agent=1
Template LXC Ubuntu 24.04ubuntu-24.04-standard_24.04-2_amd64.tar.zstLấy từ danh mục pveam (aplinfo-pve-9.dat), đối chiếu 2026-10-15; dùng ở Bước 11. Tên đổi khi Proxmox phát hành bản mới: luôn kiểm pveam available --section system
Docker Enginedocker-ce 29.9.1, containerd.io 2.4.2, buildx 0.38.0, compose plugin 5.6.0Repo download.docker.com/linux/ubuntu suite noble, nguồn deb822 + Signed-By; lệnh docker compose
node_exporter1.12.1 (giá trị chung của series)Cài cho ops01 bằng script Bước 5 của bài 15; không nướng vào template để khỏi trùng với VM235/VM236 chạy bằng container
Ansibleansible-core 2.20.x qua pipxGói apt noble chỉ có ansible 9.2.0 (core 2.16.3) đã cũ; PyPI mới nhất ansible 14.5.0 (core 2.21.5) nhưng community.proxmox chỉ khẳng định kiểm thử tới core 2.20 nên ghim 2.20
community.proxmox2.1.0Cần proxmoxer 2.3 trở lên (gói apt python3-proxmoxer của noble là 2.0.1, quá cũ)
OpenTofu1.13.1Cài từ kho apt chính thức của OpenTofu; Terraform 1.6+ cũng dùng được
Provider bpg/proxmox0.116.1Yêu cầu PVE 9.x, TLS 1.3 trên API
Provider e-breuninger/netbox (tuỳ chọn)5.8.0Bảng tương thích ghi NetBox 4.3–4.6.5; NetBox 4.7 của bài 23 cần kiểm lại trên máy thật
Proxmox Datacenter Manager1.1.7 (tài liệu)Xem tập trung nhiều cluster (bài 04); không dùng để tạo VM hàng loạt

Luồng tổng thể

cloud image (.img)                                  vms.csv  (một nguồn dữ liệu duy nhất)
        │ qm set --scsi0 ...,import-from=                │
        ▼                                                ├──► create-lab-vms.sh (qm)        ← bài này, chạy trên node1
 VM build 9000 ──[lab-bake.sh: cập nhật, gói nền,        ├──► Ansible (community.proxmox)   ← từ ops01
        │          dọn dấu vết, tắt máy]                 └──► OpenTofu (bpg/proxmox)        ← từ ops01
        ▼
 TEMPLATE 9000 tpl-ubuntu-2404 ──clone──► ops01 (VM290) và các VM không cần Docker
        │ clone đầy đủ + lab-bake.sh --docker
        ▼
 TEMPLATE 9001 tpl-ubuntu-2404-docker ──clone──► VM chạy Docker Compose (Pi-hole, Authentik, Wazuh…)
Trình tự với các bài khác: phần lõi của bài chỉ cần bài 01–04 (cluster, Ceph, PBS). Pi-hole (bài 12), step-CA (bài 13), NetBox (bài 23) chưa tồn tại lúc này nên bài dùng DNS công cộng cho lần dựng đầu, và có mục Tích hợp ở cuối để làm sau.

Quy mô triển khai (1 node → hàng trăm node)

Quy môTemplate đặt ở đâuCách dựng VMLưu ý
1 node standaloneStorage cục bộ của node (LVM-thin hoặc ZFS); linked clone dùng đượcScript với LAB_STORAGE trỏ storage cục bộ (LAB_DATA_STORAGE cho đĩa phụ nếu có đĩa HDD riêng) và cột node trong CSV là tên node duy nhất (không cần --target)Không có HA; snippets không cần đồng bộ; template vẫn nên có bản sao lưu bằng vzdump
2–3 node (có QDevice)Storage chia sẻ (Ceph, NFS) hoặc ZFS có replicationScript hoặc Ansibleqm clone --target chỉ chạy khi đĩa nguồn nằm trên storage chia sẻ
Cluster 4–~30 node (HOATRANHUB là ví dụ)vm-ceph (RBD)Script create-lab-vms.sh, Ansible hoặc OpenTofu từ ops01Tài liệu PVE: không có giới hạn node cứng, thực tế bị giới hạn bởi phần cứng và mạng; có báo cáo cluster trên 50 node (số liệu 2021)
>~30 node, nhiều cluster/siteMỗi cluster giữ template riêng, dựng từ cùng ảnh và cùng script bakeOpenTofu/Ansible một nhóm hoặc một state cho mỗi cluster; xem tập trung bằng PDM (bài 04); NetBox (bài 23) làm nguồn sự thật tuỳ chọnMốc ~30 node là khuyến nghị của series để chia cluster (không phải giới hạn của PVE); chi tiết ở mục "Mở rộng tới hàng trăm node"

Công cụ & chi phí

Hạng mụcChi phíGhi chú
cloud-init, qm, template/cloneMiễn phíCó sẵn trong PVE; dùng repo pve-no-subscription, thông báo "No valid subscription" chỉ mang tính thông tin
Ansible, community.proxmox, proxmoxerMiễn phí (mã nguồn mở)Chạy từ ops01
OpenTofu + provider bpg/proxmoxMiễn phí (mã nguồn mở)Có thể thay bằng Terraform cùng provider
Template WindowsCần giấy phép WindowsBản Evaluation 180 ngày như bài 39; phần này chỉ mô tả, không bắt buộc
Khi nào cần trả phíHiếmChỉ khi cần hỗ trợ thương mại của Proxmox hoặc nền tảng tự động hoá có giao diện quản trị riêng; nhu cầu của bài này không cần
01

Chuẩn bị cluster: kiểm tra, snippets, pool, khoá SSH

Kiểm tra trước khi bắt đầu · Bật Snippets cho storage local · Pool, tag và tệp khoá SSH quản trị

1.1 Kiểm tra trước khi bắt đầu

Làm trên node1 bằng root (SSH [email protected]). Template sẽ nằm trên node1; mọi VM clone được đặt sang node khác bằng --target.

pveversion                                   # pve-manager/9.2.x
pvecm status | grep -E 'Quorate|Nodes'       # Quorate: Yes, Nodes: 4
pvesm status | grep -E 'Name|vm-ceph|local'  # vm-ceph rbd active
ceph health                                  # HEALTH_OK
ping -c1 -W2 10.11.45.1 && ping -c1 -W2 1.1.1.1   # gateway VLAN 45 và Internet (tải ảnh, apt)
ls /etc/pve/nodes/*/qemu-server/ | grep -E '^(9000|9001|9002|290)\.conf' || echo "VMID 9000/9001/9002/290 còn trống"
mkdir -p /root/lab/images && cd /root/lab                  # thư mục làm việc của bài
IP tạm cho VM build: bài dùng 10.11.45.99 làm địa chỉ tạm khi dựng template. Địa chỉ này không có trong bảng quy hoạch của lab: chạy ping -c2 10.11.45.99 và chắc chắn không có phản hồi trước khi dùng; nếu đã bị chiếm, đổi sang một IP trống khác của VLAN 45 ở mọi lệnh bên dưới.

1.2 Bật Snippets cho storage local

Snippet cloud-init (cicustom) chỉ lưu được trên storage có loại nội dung Snippets. Storage local mặc định nằm trên thư mục /var/lib/vz của từng node — đây là điểm cần nhớ: tệp snippet không tự sang node khác (xem mục 5.4).

Cách 1: Web UI Proxmox (GUI)

1
Datacenter → Storage → chọn local → Edit.
2
Ô Content: giữ nguyên các loại đang chọn và tick thêm Snippets → OK.
Datacenter → Storage → local → Edit: ô Content đã tick thêm Snippets bên cạnh các loại sẵn có (iso, vztmpl, backup).
Datacenter → Storage → local → Edit: ô Content đã tick thêm Snippets bên cạnh các loại sẵn có (iso, vztmpl, backup).

Cách 2: CLI (pvesm)

grep -A6 '^dir: local' /etc/pve/storage.cfg       # xem 'content' hiện tại, ví dụ: iso,vztmpl,backup
pvesm set local --content iso,vztmpl,backup,snippets   # giữ các loại cũ và thêm snippets
sleep 12; ls -d /var/lib/vz/snippets               # thư mục xuất hiện sau khi pvestatd kích hoạt storage

1.3 Pool, tag và tệp khoá SSH quản trị

Pool gom VM theo nhóm để gán quyền (bài 08) và chọn VM cho job backup (bài 04). Quy ước của series (bảng VMID đầy đủ ở bài 08, mục 5.2): pool-infra (PBS, PDM, Pi-hole, step-CA, Authentik, giám sát, Mailu, Wazuh, dc1, Vault, ops01 và hai template 9000/9001), pool-prod (ứng dụng, DevOps, K3s…), pool-test (VM thử nghiệm, lab WiFi).

for p in pool-infra pool-prod pool-test; do pveum pool add "$p" --comment "Lab HOATRANLABS - $p" || true; done
pveum pool list

# Khoá công khai của quản trị viên (mỗi dòng một khoá, định dạng OpenSSH). Thay bằng khoá thật của bạn:
cat > /root/lab/admin_keys.pub <<'EOF'
ssh-ed25519 AAAA...thay_bang_khoa_cong_khai_cua_ban... hoatv@admin-pc
EOF
chmod 600 /root/lab/admin_keys.pub
Terminal node1: pveum pool list hiện ba pool pool-infra, pool-prod, pool-test vừa tạo.
Terminal node1: pveum pool list hiện ba pool pool-infra, pool-prod, pool-test vừa tạo.
Chỉ dùng khoá công khai. Template không đặt mật khẩu cho sysadmin: chỉ đăng nhập bằng khoá SSH (khuyến nghị của tài liệu PVE; mật khẩu cloud-init phải lưu ở dạng mã hoá trong cấu hình VM). Muốn vào bằng console khi mất khoá, đặt tạm qm set <VMID> --cipassword cho riêng VM đó rồi xoá sau.
02

Template Ubuntu 24.04 (VMID 9000)

Tải ảnh cloud và kiểm tra toàn vẹn · Tạo VM build 9000 và nhập đĩa · Script bake — "nướng" gói nền vào ảnh

2.1 Tải ảnh cloud và kiểm tra toàn vẹn

cd /root/lab/images
BASE=https://cloud-images.ubuntu.com/noble/current
wget -q --show-progress "$BASE/noble-server-cloudimg-amd64.img"
wget -q "$BASE/SHA256SUMS" "$BASE/SHA256SUMS.gpg"

# 1) Băm SHA-256 phải khớp (chỉ kiểm tệp vừa tải)
sha256sum -c SHA256SUMS --ignore-missing
# noble-server-cloudimg-amd64.img: OK

# 2) Chữ ký GPG của danh sách băm (khoá "UEC Image Automatic Signing Key", fingerprint ghi bên dưới)
gpg --keyserver hkps://keyserver.ubuntu.com --recv-keys D2EB44626FDDC30B513D5BB71A5D6C4C7DB87C81
gpg --verify SHA256SUMS.gpg SHA256SUMS      # "Good signature" và Primary key fingerprint: D2EB 4462 6FDD C30B 513D  5BB7 1A5D 6C4C 7DB8 7C81
Terminal node1: sha256sum -c báo noble-server-cloudimg-amd64.img: OK và gpg --verify báo Good signature với fingerprint D2EB 4462 6FDD C30B 513D 5BB7 1A5D 6C4C 7DB8 7C81.
Terminal node1: sha256sum -c báo noble-server-cloudimg-amd64.img: OK và gpg --verify báo Good signature với fingerprint D2EB 4462 6FDD C30B 513D 5BB7 1A5D 6C4C 7DB8 7C81.
Fingerprint trên đã được đối chiếu ngày 2026-10-15 với chính chữ ký của SHA256SUMS hiện hành (cảnh báo "key is not certified with a trusted signature" là bình thường vì khoá chưa nằm trong web of trust của bạn). Ảnh có định dạng qcow2 dù đuôi .img, qm tự nhận dạng.

2.2 Tạo VM build 9000 và nhập đĩa

Quyết định cấu hình (giải thích để bạn chỉnh được):

Tham sốGiá trịLý do
--machine q35, --ostype l26q35, Linux 6.xGiống các bài khác của series
--scsihw virtio-scsi-pciVirtIO SCSITài liệu PVE nêu ảnh Ubuntu cloud yêu cầu bộ điều khiển virtio-scsi-pci
--cpu x86-64-v2-AESCPU chungAn toàn khi live migration giữa các node khác đời CPU (không dùng host)
--agent enabled=1,fstrim_cloned_disks=1Bật guest agentLấy IP, tắt máy êm, fs-freeze khi backup; TRIM sau khi clone
--serial0 socket --vga serial0Console nối tiếpKhuyến nghị cho ảnh cloud (GUI mở xterm.js); nếu cần console đồ hoạ: qm set <VMID> --vga std
scsi0 ... discard=on,ssd=1TRIM xuống RBDGiải phóng dung lượng Ceph khi xoá dữ liệu
Đĩa 20 GBqm resizeĐủ cho OS; VM lớn hơn được nới khi clone
--ciupgrade 0Tắt nâng cấp ở lần boot đầuMặc định PVE bật package_upgrade (cần mạng); template đã cập nhật sẵn, bài 06 lo cập nhật định kỳ

Cách 1: Web UI Proxmox (GUI)

1
Chọn node1 → Create VM. Tab General: VM ID 9000, Name tpl-ubuntu-2404. Tab OS: Do not use any media, Guest OS Type Linux, Version 6.x - 2.6 Kernel.
2
Tab System: Machine q35, SCSI Controller VirtIO SCSI (không chọn "single" để khớp tài liệu), BIOS SeaBIOS, tick Qemu Agent. Tab Disks: bấm biểu tượng thùng rác để xoá đĩa mặc định (đĩa thật sẽ nhập ở bước CLI bên dưới).
3
Tab CPU: Sockets 1, Cores 2, Type x86-64-v2-AES. Tab Memory: 2048. Tab Network: Bridge vmbr0, VLAN Tag 45, Model VirtIO, bỏ tick Firewall. Tab Confirm: bỏ tick Start after created → Finish.
4
Chọn VM 9000 → Hardware → Add → CloudInit Drive (Bus IDE, số 2, Storage vm-ceph). Hardware → Add → Serial Port (số 0); Hardware → Display → Edit → Graphic card Serial terminal 0. Options → Boot Order: chỉ giữ scsi0 (sau khi nhập đĩa).
VM 9000 → Hardware: đĩa scsi0 trên vm-ceph (20G), CloudInit Drive ide2, Serial Port 0, Display = Serial terminal 0 và Options → QEMU Guest Agent = Enabled.
VM 9000 → Hardware: đĩa scsi0 trên vm-ceph (20G), CloudInit Drive ide2, Serial Port 0, Display = Serial terminal 0 và Options → QEMU Guest Agent = Enabled.
5
Tab Cloud-Init: User sysadmin, bỏ trống Password, DNS domain hoatranlabs.local, DNS servers 1.1.1.1 8.8.8.8 (tạm, vì Pi-hole chưa có), SSH public key dán khoá quản trị, bỏ tick Upgrade packages, IP Config (net0) → IPv4 Static, 10.11.45.99/24, Gateway 10.11.45.1 → Regenerate Image.
VM 9000 → tab Cloud-Init: User sysadmin, DNS domain hoatranlabs.local, DNS servers 1.1.1.1 8.8.8.8, SSH public key, IP Config (net0) 10.11.45.99/24 gateway 10.11.45.1, Upgrade packages tắt.
VM 9000 → tab Cloud-Init: User sysadmin, DNS domain hoatranlabs.local, DNS servers 1.1.1.1 8.8.8.8, SSH public key, IP Config (net0) 10.11.45.99/24 gateway 10.11.45.1, Upgrade packages tắt.
6
Nhập đĩa ảnh cloud: phần này chỉ làm bằng CLI (cần kiểm lại trên máy thật xem giao diện PVE 9.2 có nhập được ảnh .img hay không): qm set 9000 --scsi0 vm-ceph:0,import-from=... rồi qm resize như ở Cách 2.

Cách 2: CLI (qm) — toàn bộ trên node1

cd /root/lab
qm create 9000 --name tpl-ubuntu-2404 --ostype l26 --machine q35 --cpu x86-64-v2-AES \
  --sockets 1 --cores 2 --memory 2048 --scsihw virtio-scsi-pci \
  --net0 virtio,bridge=vmbr0,tag=45,firewall=0 \
  --agent enabled=1,fstrim_cloned_disks=1 --serial0 socket --vga serial0 \
  --tags "template;ubuntu-2404"

# Nhập đĩa từ ảnh cloud thẳng vào vm-ceph (RBD, raw), rồi nới lên 20 GB
qm set 9000 --scsi0 vm-ceph:0,import-from=/root/lab/images/noble-server-cloudimg-amd64.img,discard=on,ssd=1
qm resize 9000 scsi0 20G
# Tương đương kiểu cũ:  qm disk import 9000 <ảnh> vm-ceph  rồi  qm set 9000 --scsi0 vm-ceph:vm-9000-disk-0

# Ổ cloud-init + thứ tự khởi động chỉ đĩa scsi0 (bỏ qua dò CD-ROM nên boot nhanh hơn)
qm set 9000 --ide2 vm-ceph:cloudinit --boot order=scsi0

# Cloud-init: user quản trị, khoá SSH, DNS tạm, IP tạm cho VM build, không nâng cấp ở lần boot đầu
qm set 9000 --ciuser sysadmin --sshkeys /root/lab/admin_keys.pub --ciupgrade 0 \
  --nameserver "1.1.1.1 8.8.8.8" --searchdomain hoatranlabs.local \
  --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1
qm config 9000

Kết quả qm config 9000 (mẫu, rút gọn):

agent: enabled=1,fstrim_cloned_disks=1
boot: order=scsi0
ciupgrade: 0
ciuser: sysadmin
cores: 2
cpu: x86-64-v2-AES
ide2: vm-ceph:vm-9000-cloudinit,media=cdrom,size=4M
ipconfig0: ip=10.11.45.99/24,gw=10.11.45.1
machine: q35
name: tpl-ubuntu-2404
nameserver: 1.1.1.1 8.8.8.8
net0: virtio=BC:24:11:xx:xx:xx,bridge=vmbr0,tag=45,firewall=0
scsi0: vm-ceph:vm-9000-disk-0,discard=on,size=20G,ssd=1
scsihw: virtio-scsi-pci
searchdomain: hoatranlabs.local
serial0: socket
sshkeys: ssh-ed25519%20AAAA...
vga: serial0

2.3 Script bake — "nướng" gói nền vào ảnh

Script lab-bake.sh chạy bên trong VM build: cập nhật hệ thống, cài qemu-guest-agent, chrony, công cụ cơ bản, cấu hình dùng chung của lab, dọn mọi dấu vết định danh (khoá SSH host, machine-id, trạng thái cloud-init, lịch sử shell) rồi tắt máy. Nhờ nướng sẵn, 30 VM clone không cần Internet hay DNS ở lần boot đầu. Tạo tệp trên node1:

#!/usr/bin/env bash
# lab-bake.sh — chạy BÊN TRONG VM build (root): cập nhật, cài gói nền, (tuỳ chọn) Docker, dọn dấu vết rồi tắt máy.
# Cách dùng:  sudo bash lab-bake.sh            # template Ubuntu 24.04 cơ bản (VMID 9000)
#             sudo bash lab-bake.sh --docker   # thêm Docker Engine từ repo chính thức (VMID 9001)
set -euo pipefail
export DEBIAN_FRONTEND=noninteractive NEEDRESTART_MODE=a
WITH_DOCKER=0; [ "${1:-}" = "--docker" ] && WITH_DOCKER=1

cloud-init status --wait --long || echo "cloud-init báo lỗi: xem /var/log/cloud-init.log" >&2
. /etc/os-release
[ "${VERSION_ID}" = "24.04" ] || { echo "Cần Ubuntu 24.04, đang là ${VERSION_ID}" >&2; exit 1; }

echo "[1/5] Cập nhật hệ thống và cài gói nền"
apt-get update
apt-get -y dist-upgrade
apt-get -y install qemu-guest-agent chrony curl wget gnupg jq vim git unzip dnsutils net-tools htop
timedatectl set-timezone Asia/Ho_Chi_Minh
systemctl enable --now chrony
systemctl start qemu-guest-agent || true        # unit khởi động qua udev khi có kênh virtio-serial

echo "[2/5] Cấu hình dùng chung của lab"
install -d /etc/needrestart/conf.d
echo "\$nrconf{restart} = 'a';" > /etc/needrestart/conf.d/90-lab.conf   # apt không hỏi restart dịch vụ
cat > /etc/cloud/cloud.cfg.d/99-lab.cfg <<'EOF'
# Đổi IP/DNS/khoá SSH bằng qm set -> instance-id đổi -> cloud-init chạy lại mà KHÔNG sinh lại khoá SSH host
ssh_deletekeys: false
EOF
ufw allow OpenSSH > /dev/null                   # chỉ thêm luật; UFW vẫn TẮT, từng bài tự bật khi cần

if [ "$WITH_DOCKER" = 1 ]; then
  echo "[3/5] Docker Engine (repo download.docker.com, suite noble)"
  apt-get -y remove docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc 2>/dev/null || true
  install -m 0755 -d /etc/apt/keyrings
  curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
  gpg --show-keys --with-colons /etc/apt/keyrings/docker.asc | grep -q '^fpr:::::::::9DC858229FC7DD38854AE2D88D81803C0EBFCD88:' \
    || { echo "Sai fingerprint khoá Docker" >&2; exit 1; }
  chmod a+r /etc/apt/keyrings/docker.asc
  cat > /etc/apt/sources.list.d/docker.sources <<EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: ${UBUNTU_CODENAME:-$VERSION_CODENAME}
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
  apt-get update
  apt-get -y install docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
  cat > /etc/docker/daemon.json <<'EOF'
{ "log-driver": "json-file", "log-opts": { "max-size": "50m", "max-file": "3" } }
EOF
  systemctl restart docker
  docker run --rm hello-world > /dev/null && docker image rm hello-world > /dev/null
  docker --version; docker compose version
else
  echo "[3/5] Bỏ qua Docker (template cơ bản)"
fi

echo "[4/5] Dọn dẹp để clone là máy mới hoàn toàn"
apt-get -y autoremove --purge
apt-get clean
rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/*
rm -f /etc/ssh/ssh_host_*                         # cloud-init sinh lại ở lần boot đầu của mỗi clone
rm -f /root/.bash_history /home/*/.bash_history /home/*/.ssh/authorized_keys
journalctl --rotate && journalctl --vacuum-time=1s
cloud-init clean --logs --seed --machine-id --configs network   # xoá trạng thái cloud-init + machine-id
sync

echo "[5/5] Tắt máy — sau đó trên node: bỏ IP tạm rồi qm template"
systemctl poweroff

Giải thích các điểm dễ sai:

Dòng/khốiTác dụng
cloud-init status --waitChờ cloud-init của lần boot đầu xong rồi mới cập nhật gói (tránh tranh chấp khoá apt)
99-lab.cfg với ssh_deletekeys: falsePVE tính instance-id bằng băm của user-data và network-config; đổi IP, DNS hoặc khoá SSH bằng qm set làm instance-id đổi, cloud-init coi là máy mới và mặc định sinh lại khoá SSH host (khách thấy cảnh báo "host key changed"). Tuỳ chọn này giữ khoá sau lần sinh đầu tiên. Cần kiểm lại trên máy thật sau khi clone
rm -f /etc/ssh/ssh_host_*Mọi clone phải có khoá host riêng; cloud-init tạo khi boot lần đầu
cloud-init clean --machine-idĐặt /etc/machine-id về uninitialized; systemd cấp mã mới khi clone boot (tránh trùng machine-id: DHCP, journald, agent giám sát)
ufw allow OpenSSHChỉ thêm luật, UFW vẫn tắt; các bài sau bật UFW không tự khoá SSH
NEEDRESTART_MODE=a và 90-lab.confneedrestart của Ubuntu 24.04 không hỏi tương tác khi apt chạy trong script

2.4 Khởi động VM build và chạy script

qm start 9000
# Chờ khoảng 30–60 giây cho cloud-init lần đầu. Từ MÁY QUẢN TRỊ (có khoá riêng khớp admin_keys.pub), copy rồi chạy script:
ssh-keygen -R 10.11.45.99 2>/dev/null
scp -3 -o StrictHostKeyChecking=accept-new [email protected]:/root/lab/lab-bake.sh [email protected]:/tmp/
ssh -t [email protected] 'sudo bash /tmp/lab-bake.sh'
Terminal máy quản trị: lab-bake.sh chạy qua các bước [1/5] đến [5/5] rồi VM tự tắt; node1 xác nhận bằng qm wait 9000.
Terminal máy quản trị: lab-bake.sh chạy qua các bước [1/5] đến [5/5] rồi VM tự tắt; node1 xác nhận bằng qm wait 9000.

Kết quả cuối (mẫu): [5/5] Tắt máy ... rồi phiên SSH đóng vì VM tự poweroff. Quay lại node1 hoàn tất template:

qm wait 9000 --timeout 900                       # chờ VM dừng hẳn
qm set 9000 --ipconfig0 ip=dhcp --nameserver 10.11.45.53 --searchdomain hoatranlabs.local \
  --description "Ubuntu 24.04.5 cloud image 20260926, build $(date +%F). Dựng bởi bài 07 (lab-bake.sh)." \
  --tags "template;ubuntu-2404"
qm template 9000
pveum pool modify pool-infra --vms 9000          # template thuộc pool-infra (bài 08 cấp quyền clone riêng qua /vms/9000)
pvesm list vm-ceph --vmid 9000

Kết quả (mẫu):

Volid                      Format  Type            Size VMID
vm-ceph:base-9000-disk-0   raw     images   21474836480 9000
vm-ceph:vm-9000-cloudinit  raw     images       4194304 9000
Firewall và template (bài 05, mục 7.2): qm clone sao chép luôn tệp firewall /etc/pve/firewall/<VMID>.fw của VM nguồn. Giữ template ở trạng thái "sạch": firewall=0 trên net0 (như trên), không có 9000.fw/9001.fw và tuyệt đối không đặt IPSet ipfilter-net0 với IP cố định, nếu không mọi clone mang IP của template và bị chặn gói đi ra. IPSet ipfilter-net0 đúng IP từng VM do script ở Bước 8 sinh (--ipfilter). Kiểm tra: ls /etc/pve/firewall/9000.fw phải báo không tồn tại.
Giá trị mặc định trong template: ciuser, sshkeys, nameserver, searchdomain, ciupgrade=0 được clone thừa hưởng (mã clone_vm sao chép toàn bộ cấu hình, chỉ sinh lại MAC, UUID SMBIOS và tạo ổ cloud-init mới). Mỗi clone chỉ cần đặt ipconfig0, tài nguyên và VLAN. Nameserver mặc định là Pi-hole 10.11.45.53; trước khi làm bài 12 hãy ghi đè bằng DNS công cộng cho VM nào cần ra Internet.
03

Template Ubuntu 24.04 + Docker (VMID 9001)

17 trong 30 VM của lab chạy Docker Compose (Pi-hole, Authentik, Prometheus, Grafana, Mailu, Wazuh, Harbor, Gitea, NetBox, OpenVAS, Vaultwarden, SonarQube, Nexus, SeaweedFS S3, TheHive, CrowdSec, Mattermost). Template 9001 là bản sao của 9000 cộng Docker Engine từ repo chính thức của Docker (suite noble, nguồn deb822 + Signed-By, không dùng apt-key); lab-bake.sh --docker còn kiểm fingerprint khoá repo 9DC8 5822 9FC7 DD38 854A E2D8 8D81 803C 0EBF CD88 và gỡ các gói không chính thức (docker.io, docker-compose-v2, podman-docker). K3s (bài 28) dùng containerd riêng nên không dùng template này.

cd /root/lab
qm clone 9000 9001 --name tpl-ubuntu-2404-docker --full 1 --storage vm-ceph
qm set 9001 --memory 2048 --cores 2 --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1 \
  --nameserver "1.1.1.1 8.8.8.8" --tags "template;ubuntu-2404;docker"
qm start 9001
# Chờ ~40 giây, rồi từ MÁY QUẢN TRỊ:
ssh-keygen -R 10.11.45.99 2>/dev/null
scp -3 -o StrictHostKeyChecking=accept-new [email protected]:/root/lab/lab-bake.sh [email protected]:/tmp/
ssh -t [email protected] 'sudo bash /tmp/lab-bake.sh --docker'

Dòng cuối của script (mẫu): Docker version 29.9.1 và Docker Compose version v5.6.0. Khi VM tắt:

qm wait 9001 --timeout 900
qm set 9001 --ipconfig0 ip=dhcp --nameserver 10.11.45.53 --searchdomain hoatranlabs.local \
  --description "Ubuntu 24.04.5 + Docker 29.9.1, build $(date +%F). Bài 07." --tags "template;ubuntu-2404;docker"
qm template 9001
pveum pool modify pool-infra --vms 9001
ls /etc/pve/firewall/9001.fw 2>&1 | head -1          # phải báo "No such file" (bài 05, mục 7.2)
Terminal VM build 9001: docker --version báo 29.9.1, docker compose version báo v5.6.0; sau đó qm template 9001 và ls /etc/pve/firewall/9001.fw báo không tồn tại.
Terminal VM build 9001: docker --version báo 29.9.1, docker compose version báo v5.6.0; sau đó qm template 9001 và ls /etc/pve/firewall/9001.fw báo không tồn tại.
Docker và UFW/Firewall: theo tài liệu Docker, cổng container được publish đi qua chuỗi riêng của Docker và bỏ qua luật UFW; luật nft thuần cũng không được hỗ trợ khi đã cài Docker. Với VM dựng từ 9001, hạn chế truy cập bằng firewall của PVE (bài 05) hoặc gắn cổng vào IP cụ thể (127.0.0.1:8080:80), đừng chỉ dựa vào ufw deny. Ngoài ra /etc/docker/daemon.json của template chỉ đặt xoay vòng log; bài nào cần cấu hình registry riêng (Harbor, Nexus) sẽ ghi đè tệp này.
04

Template tuỳ chọn: Debian 13 và Windows

Debian 13 "trixie" (đề xuất VMID 9010) · Windows (đề xuất VMID 9002, chỉ mô tả)

Hai template dưới đây không bắt buộc và không nằm trong bảng quy hoạch; dùng khi tổ chức cần hệ điều hành khác Ubuntu.

4.1 Debian 13 "trixie" (đề xuất VMID 9010)

Ảnh genericcloud là bản rút gọn cho máy ảo KVM (kernel -cloud, thiếu driver phần cứng thật); cần PCI passthrough thì dùng ảnh generic. Quy trình giống mục 2, khác ở ảnh, checksum SHA-512 và gói cài thêm. User mặc định của ảnh là debian nhưng ciuser=sysadmin thay thế nó.

cd /root/lab/images
D=https://cloud.debian.org/images/cloud/trixie/latest
wget -q --show-progress "$D/debian-13-genericcloud-amd64.qcow2" "$D/SHA512SUMS"
sha512sum -c SHA512SUMS --ignore-missing          # debian-13-genericcloud-amd64.qcow2: OK

qm create 9010 --name tpl-debian-13 --ostype l26 --machine q35 --cpu x86-64-v2-AES --cores 2 --memory 2048 \
  --scsihw virtio-scsi-pci --net0 virtio,bridge=vmbr0,tag=45,firewall=0 \
  --agent enabled=1,fstrim_cloned_disks=1 --serial0 socket --vga serial0 --tags "template;debian-13"
qm set 9010 --scsi0 vm-ceph:0,import-from=/root/lab/images/debian-13-genericcloud-amd64.qcow2,discard=on,ssd=1
qm resize 9010 scsi0 20G
qm set 9010 --ide2 vm-ceph:cloudinit --boot order=scsi0 --ciuser sysadmin --sshkeys /root/lab/admin_keys.pub \
  --ciupgrade 0 --nameserver "1.1.1.1 8.8.8.8" --searchdomain hoatranlabs.local --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1
qm start 9010
# Trong VM (SSH [email protected]): cài gói nền rồi dọn như lab-bake.sh (bản Debian không có chrony/qemu-guest-agent sẵn)
#   sudo apt-get update && sudo apt-get -y dist-upgrade && sudo apt-get -y install qemu-guest-agent chrony
#   sudo rm -f /etc/ssh/ssh_host_*; sudo cloud-init clean --logs --seed --machine-id --configs network; sudo poweroff
# Rồi trên node1: qm wait 9010; qm set 9010 --ipconfig0 ip=dhcp --nameserver 10.11.45.53; qm template 9010
lab-bake.sh kiểm VERSION_ID = 24.04 nên không chạy trên Debian (chủ ý, tránh nhầm template). Các bước Debian ở trên chưa được kiểm trên máy thật: kiểm lại tên dịch vụ chrony và việc agent tự khởi động sau khi clone.

4.2 Windows (đề xuất VMID 9002, chỉ mô tả)

Windows không có cloud image miễn phí; tài liệu PVE dùng Cloudbase-Init (bản cài lại cloud-init cho Windows, ít tính năng hơn, citype=configdrive2 mặc định khi ostype là Windows). Quy trình tóm tắt, bạn tự thực hiện và kiểm lại:

BướcViệc cần làm
1Tạo VM Windows Server (ISO Evaluation 180 ngày như bài 39 hoặc ISO có giấy phép), --ostype win11 (nhóm 11/2022/2025), đĩa và card mạng VirtIO nạp từ ISO virtio-win; cài thêm QEMU Guest Agent từ gói virtio-win
2Cài Cloudbase-Init (từ cloudbase.it), chưa chạy Sysprep; chỉnh cloudbase-init.conf: username, groups, inject_user_password=true, first_logon_behaviour=no, metadata_services=...ConfigDriveService để cấu hình ngay sau khi boot
3Sysprep có tệp Unattend.xml của Cloudbase-Init: sysprep.exe /generalize /oobe /unattend:Unattend.xml (Windows Server chạy sẵn; Windows 11 cần thêm bước bật tài khoản Administrator và gỡ gói OneDriveSync theo tài liệu PVE)
4Khi VM tắt: qm set 9002 --ide2 vm-ceph:cloudinit rồi qm template 9002
5Clone: qm clone 9002 <VMID> --name <tên>; đặt ostype Windows trước rồi mới qm set <VMID> --cipassword '<mật khẩu>' --ipconfig0 ip=...,gw=... --sshkeys ..., nếu không mật khẩu bị mã hoá và Cloudbase-Init dùng nguyên chuỗi mã hoá làm mật khẩu
05

Clone, cloud-init và snippets

Linked clone hay full clone trên vm-ceph · Xem cloud-init mà Proxmox sinh ra · Đổi cấu hình cloud-init của VM đã chạy

5.1 Linked clone hay full clone trên vm-ceph

Tiêu chíLinked cloneFull clone
Cơ chế trên RBDẢnh con (RBD clone) của snapshot __base__ trong ảnh base-9000-disk-0Sao chép toàn bộ dữ liệu sang ảnh mới
Tốc độ tạoVài giâyPhụ thuộc lượng dữ liệu đã dùng (đĩa thưa chỉ chép phần có dữ liệu)
Dung lượngChỉ phần thay đổi so với templateĐộc lập hoàn toàn
Phụ thuộcKhông xoá được template khi còn clone; mọi đọc chưa ghi đi qua ảnh gốcKhông phụ thuộc template
Dùng choVM thử nghiệm, lớp học, CI tạm thời (pool-test)VM dịch vụ lâu dài (mặc định của script bài này)

Mặc định qm clone từ template là linked (tài liệu qm: "for VM templates, we try to create a linked clone by default"); --full 1 ép full clone và mới cho phép --storage/--format. Ví dụ clone ngay bên dưới tạo luôn ops01 (VM290) để bạn có máy thật cho Bước 7. Gỡ phụ thuộc của một linked clone sang full: dùng lệnh Ceph rbd flatten vm-ceph/vm-<VMID>-disk-0 (cần kiểm lại trên máy thật trước khi áp dụng cho VM thật).

Cách 1: Web UI Proxmox (GUI)

1
Chuột phải template 9000 (tpl-ubuntu-2404) trong cây bên trái → Clone.
2
Target node node2, VM ID 290, Name ops01, Mode Full Clone, Target Storage vm-ceph, Format Raw disk image (raw), Resource Pool pool-infra → Clone.
Hộp thoại Clone của template 9000: Target node node2, VM ID 290, Name ops01, Mode Full Clone, Target Storage vm-ceph, Resource Pool pool-infra.
Hộp thoại Clone của template 9000: Target node node2, VM ID 290, Name ops01, Mode Full Clone, Target Storage vm-ceph, Resource Pool pool-infra.
3
Chọn VM mới → Hardware: đổi CPU/RAM, Network Device đặt VLAN Tag; Hard Disk → Disk Action → Resize nếu cần đĩa lớn hơn; Cloud-Init: đặt IP Config (net0) rồi Regenerate Image.

Cách 2: CLI (qm)

# Chạy trên node1 (node giữ cấu hình template). --target đặt VM sang node khác (chỉ khi đĩa nằm trên storage chia sẻ)
qm clone 9000 290 --name ops01 --full 1 --storage vm-ceph --pool pool-infra --target node2
# Cấu hình VM phải chạy TRÊN NODE ĐANG GIỮ VM (qm chỉ thao tác trên node cục bộ):
ssh root@node2 "qm set 290 --cores 2 --memory 4096 --net0 virtio,bridge=vmbr0,tag=45,firewall=0 \
  --ipconfig0 ip=10.11.45.20/24,gw=10.11.45.1 --nameserver '1.1.1.1 8.8.8.8' \
  --searchdomain hoatranlabs.local --tags 'lab;infra' --onboot 1 && qm resize 290 scsi0 40G"

Tên NIC trong VM clone từ template là eth0, không phải ens18/enp6s18: network-config mà PVE tạo (định dạng v1) có name: eth<N> kèm mac_address, nên cloud-init đổi tên card theo MAC (đã đối chiếu mã nocloud_network của qemu-server). Bài nào ghi cứng ens18, enp6s18 (cấu hình kube-vip, dns_interface của Pi-hole…) phải sửa thành eth0 khi dựng từ template, hoặc chạy ip -br link để xem tên thật.

5.2 Xem cloud-init mà Proxmox sinh ra

qm cloudinit dump 290 user       # cũng có: network, meta (lệnh dump không có loại vendor)
qm cloudinit pending 290         # giá trị hiện tại so với giá trị chờ áp dụng

Kết quả user (mẫu, ciupgrade=0 nên không có dòng package_upgrade):

#cloud-config
hostname: ops01
manage_etc_hosts: true
fqdn: ops01.hoatranlabs.local
user: sysadmin
ssh_authorized_keys:
  - ssh-ed25519 AAAA... hoatv@admin-pc
chpasswd:
  expire: False
users:
  - default
Terminal node1: qm cloudinit dump 290 user hiện hostname ops01, fqdn ops01.hoatranlabs.local, user sysadmin, ssh_authorized_keys và không có dòng package_upgrade.
Terminal node1: qm cloudinit dump 290 user hiện hostname ops01, fqdn ops01.hoatranlabs.local, user sysadmin, ssh_authorized_keys và không có dòng package_upgrade.

Kết quả network (mẫu): version: 1, một mục type: physical với name: eth0 và mac_address, mạng con static (address, netmask, gateway), và mục type: nameserver chứa DNS cùng search. Kết quả meta: instance-id: là chuỗi băm SHA-1 của user-data ghép network-config — đổi bất cứ giá trị nào ở hai tệp trên là đổi instance-id.

5.3 Đổi cấu hình cloud-init của VM đã chạy

qm set 290 --nameserver 10.11.45.53 --searchdomain hoatranlabs.local     # ví dụ: chuyển sang Pi-hole sau bài 12
qm cloudinit update 290                  # tạo lại ổ cloud-init ngay (GUI: Cloud-Init → Regenerate Image)
ssh [email protected] sudo reboot     # instance-id đổi => cloud-init áp dụng lại mạng khi boot
Hai hệ quả của instance-id: (1) mỗi lần đổi cấu hình cloud-init rồi khởi động lại, mọi module "per-instance" của cloud-init chạy lại (đặt hostname, tạo user, ghi khoá SSH, áp mạng); template đã đặt ssh_deletekeys: false để khoá SSH host không bị sinh lại. (2) Nếu bạn tự sửa netplan trong VM, lần chạy lại cloud-init có thể ghi đè 50-cloud-init.yaml — với VM dựng từ template, luôn đổi mạng bằng qm set, đừng sửa netplan bằng tay (các bài 12–37 hướng dẫn sửa netplan dành cho VM cài từ ISO).

5.4 Snippets và cicustom — khi nào cần và bẫy đồng bộ

Các trường chuẩn (ciuser, sshkeys, ipconfig…) đủ cho phần lớn VM. Dùng cicustom khi cần việc mà trường chuẩn không làm được (ghi tệp, đặt múi giờ, chạy lệnh ở lần boot đầu…). Có bốn loại tệp: user, network, meta, vendor.

LoạiTác dụngLưu ý
vendor=Thêm cấu hình bổ sung cho cloud-init; user-data do PVE sinh vẫn dùng nguyên (ciuser, sshkeys vẫn có hiệu lực)Khuyến nghị cho lab. Tài liệu cloud-init: cấu hình của người dùng được merge đè lên vendor-data; user-data của PVE không có runcmd/packages nên không ghi đè vendor
user=Thay thế hoàn toàn user-data tự sinhMất tác dụng của ciuser, sshkeys… (bạn phải tự viết users:)
network=, meta=Thay thế network-config hoặc meta-dataChỉ dùng cho mạng nhiều NIC/VLAN phức tạp
#cloud-config
# /var/lib/vz/snippets/vendor-lab.yaml — vendor-data của lab: nhẹ, không cần Internet/DNS ở lần boot đầu
timezone: Asia/Ho_Chi_Minh
write_files:
  - path: /etc/motd
    permissions: "0644"
    content: |
      HOATRANLABS — VM dựng từ template cloud-init (bài 07).
      Mạng/DNS/khoá SSH do Proxmox quản lý: đổi bằng "qm set" trên node, đừng sửa netplan bằng tay.
runcmd:
  - [ systemctl, enable, --now, fstrim.timer ]

Tệp đặt trong thư mục snippets của storage local rồi gắn vào VM:

install -m 0644 vendor-lab.yaml /var/lib/vz/snippets/vendor-lab.yaml
qm set 290 --cicustom "vendor=local:snippets/vendor-lab.yaml"
qm cloudinit update 290
Snippet của local không tự sang node khác. Tài liệu PVE: tệp cicustom phải nằm trên storage hỗ trợ snippets và có mặt trên mọi node mà VM có thể chạy, nếu không VM không khởi động được (migration, HA tự khôi phục sang node khác). Lab dùng cách đơn giản nhất: đồng bộ thư mục snippets tới mọi node bằng sync-snippets.sh (chạy lại mỗi lần sửa snippet và mỗi khi thêm node). Phương án thay thế: storage chia sẻ hỗ trợ snippets (NFS từ NAS syno-primary, hoặc CephFS nếu bạn triển khai thêm MDS), khi đó chỉ cần một bản. Template 9000/9001 cố ý không gắn cicustom để clone không phụ thuộc snippet.
#!/usr/bin/env bash
# sync-snippets.sh — chép snippet cloud-init từ node này sang mọi node trong cluster (snippets của storage "local" là cục bộ từng node)
set -euo pipefail
SRC=/var/lib/vz/snippets
ME="$(hostname -s)"
for node in $(pvesh get /nodes --output-format json | python3 -c 'import sys,json; print(" ".join(n["node"] for n in json.load(sys.stdin)))'); do
  [ "$node" = "$ME" ] && continue
  ssh -o BatchMode=yes "root@$node" "mkdir -p $SRC"
  scp -q -o BatchMode=yes "$SRC"/*.yaml "root@$node:$SRC/"
  echo "đã đồng bộ snippets -> $node"
done
06

API token cho ops01 (mức tối thiểu, bài 08 chuẩn hoá)

Ansible và OpenTofu gọi API của PVE bằng API token, không dùng root@pam. Thiết kế quyền của series (bài 08) cố ý hẹp: token svc-automation@pve!ansible chỉ tạo/xoá VM trong pool-test và chỉ vận hành (bật/tắt) VM trong pool-prod; pool-infra (gồm cả ops01) chỉ grp-pve-admin thao tác. Vì vậy 30 VM của lab do script chạy bằng root trên node1 dựng (Bước 8), còn Ansible/OpenTofu dùng cho VM thử nghiệm và mọi VM mới sau này. Nếu bạn đã làm bài 08 thì token đã có (bỏ lệnh tạo bên dưới, chỉ lấy lại giá trị token nếu còn lưu); chưa làm thì tạo bản tối thiểu sau — tên và quyền khớp bài 08, pve-rbac-apply.sh của bài đó sẽ thu về đúng định nghĩa:

pveum user add svc-automation@pve --comment "Tu dong hoa tu ops01 (Ansible/OpenTofu)"
pveum role add TemplateDeployer --privs "VM.Allocate VM.Clone VM.Audit VM.PowerMgmt VM.Console VM.Config.CPU VM.Config.Memory VM.Config.Disk VM.Config.Network VM.Config.Options VM.Config.Cloudinit VM.Config.HWType"
pveum user token add svc-automation@pve ansible --privsep 1 --comment "ops01: Ansible + OpenTofu"

Lệnh cuối in bảng chứa value — chỉ hiện một lần, chép ngay vào trình quản lý mật khẩu (kết quả mẫu, giá trị đã thay):

│ full-tokenid │ svc-automation@pve!ansible │
│ info         │ {"privsep":"1"}            │
│ value        │ <TOKEN_SECRET>             │

Token tách quyền (privsep=1) chỉ nhận phần nằm trong giao của quyền user và quyền token, nên gán ACL cho cả hai:

U=svc-automation@pve; T='svc-automation@pve!ansible'
acl() { pveum acl modify "$1" --users "$U" --tokens "$T" --roles "$2"; }
acl /                        PVEAuditor           # thấy cluster (bpg/proxmox cần Sys.Audit để liệt kê node)
acl /pool/pool-test          TemplateDeployer     # tạo/xoá/cấu hình/bật VM thử
acl /storage/vm-ceph         PVEDatastoreUser     # cấp đĩa (Datastore.AllocateSpace)
acl /sdn/zones/localnetwork  PVESDNUser           # dùng bridge vmbr0 (SDN.Use)
acl /vms/9000                PVETemplateUser      # được clone template 9000
acl /vms/9001                PVETemplateUser
pveum user permissions "$T" --path /vms/9000       # phải có VM.Clone
pveum user permissions "$T" --path /pool/pool-test # phải có VM.Allocate
Đường dẫn ACLVì sao cần (theo mã nguồn API clone của qemu-server)
/vms/9000, /vms/9001VM.Clone trên template nguồn (role dựng sẵn PVETemplateUser)
/pool/pool-testVM.Allocate trên pool đích khi clone kèm tham số pool; VM.Config.* để đặt cloud-init, CPU, RAM; VM.PowerMgmt để khởi động (bắt buộc từ PVE 9.2 theo bài 08)
/storage/vm-cephDatastore.AllocateSpace cho đĩa và ổ cloud-init mới
/sdn/zones/localnetworkSDN.Use trên bridge/VLAN của card mạng (đường dẫn con vmbr0/<tag> được thừa hưởng)
/storage/local (chỉ khi dùng cicustom)Datastore.AllocateSpace để token được tham chiếu snippet
Giới hạn của token: nhập ảnh từ đường dẫn tuỳ ý (import-from=/root/...) chỉ cho root@pam, nên dựng template luôn làm bằng root trên node; token chỉ clone. Một số thao tác khác cũng chỉ root làm được (bpg/proxmox ghi chú lỗi "Permission check failed (user != root@pam)"). Chưa kiểm clone sang node khác bằng token trên máy thật: nếu API đòi thêm quyền (ví dụ VM.Migrate), thêm vào role và ghi lại.
07

Khởi động ops01 (VM290) và cài công cụ

Cài Ansible, OpenTofu, proxmoxer · Thông tin kết nối API · Cho ops01 vào node bằng sysadmin + sudo (Ansible bài 05/06)

ops01 đã được tạo ở mục 5.1 (clone từ template 9000, VM290, node2, 10.11.45.20/24, VLAN 45, 2 vCPU, 4 GB RAM, 40 GB, pool pool-infra). Khởi động và vào máy:

ssh root@node2 qm start 290
# Từ máy quản trị, sau ~40 giây:
ssh -o StrictHostKeyChecking=accept-new [email protected]
ip -br link                          # NIC tên eth0 (không phải ens18), UP
cloud-init status --long             # status: done
hostnamectl | grep -E 'hostname|Operating'    # ops01 · Ubuntu 24.04.5 LTS
systemctl is-active qemu-guest-agent chrony   # active active
sudo ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub   # khác dấu vân tay của VM build 9000
Terminal ops01 (ssh sysadmin@10.11.45.20): ip -br link thấy NIC eth0 UP, cloud-init status báo done, qemu-guest-agent và chrony đều active.
Terminal ops01 (ssh [email protected]): ip -br link thấy NIC eth0 UP, cloud-init status báo done, qemu-guest-agent và chrony đều active.

Từ node1 kiểm tra guest agent: ssh root@node2 qm agent 290 ping không in gì khi thành công; lỗi QEMU guest agent is not running nghĩa là agent chưa sẵn sàng (chờ thêm hoặc xem mục Troubleshooting).

7.1 Cài Ansible, OpenTofu, proxmoxer

Tạo /root/lab/install-ops01.sh trên node1 (nội dung dưới), chép sang ops01 rồi chạy bằng sysadmin:

#!/usr/bin/env bash
# install-ops01.sh — chạy bằng user sysadmin trên ops01 (Ubuntu 24.04): Ansible + OpenTofu + proxmoxer
set -euo pipefail

sudo apt-get update
sudo apt-get -y install git jq curl gnupg pipx python3-venv

# 1) Ansible trong venv do pipx quản lý (Ubuntu 24.04 chặn "pip install" ngoài venv — PEP 668)
pipx install "ansible-core>=2.20,<2.21"
pipx inject ansible-core "proxmoxer>=2.3" requests
pipx ensurepath
export PATH="$HOME/.local/bin:$PATH"
ansible-galaxy collection install community.proxmox community.general ansible.posix

# 2) OpenTofu từ kho apt chính thức (khoá lưu ở /etc/apt/keyrings, nguồn dạng deb822)
sudo install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://get.opentofu.org/opentofu.gpg | sudo tee /etc/apt/keyrings/opentofu.gpg > /dev/null
curl -fsSL https://packages.opentofu.org/opentofu/tofu/gpgkey | sudo gpg --no-tty --batch --dearmor -o /etc/apt/keyrings/opentofu-repo.gpg
sudo chmod a+r /etc/apt/keyrings/opentofu.gpg /etc/apt/keyrings/opentofu-repo.gpg
sudo tee /etc/apt/sources.list.d/opentofu.sources > /dev/null <<'EOF'
Types: deb
URIs: https://packages.opentofu.org/opentofu/tofu/any/
Suites: any
Components: main
Signed-By: /etc/apt/keyrings/opentofu.gpg,/etc/apt/keyrings/opentofu-repo.gpg
EOF
sudo apt-get update
sudo apt-get -y install tofu

# 3) Thư mục làm việc + kiểm tra phiên bản
mkdir -p ~/lab-iac/{ansible/inventory,ansible/playbooks,tofu} ~/.config/lab
sudo install -d -o sysadmin -g sysadmin -m 0700 /srv/backup/pve-preupdate   # nơi bài 06 lưu gói cấu hình trước khi cập nhật
ansible --version | head -1
tofu version | head -1
pipx runpip ansible-core show proxmoxer | grep -E '^(Name|Version)'
scp -3 [email protected]:/root/lab/install-ops01.sh [email protected]:~/
ssh [email protected] 'bash ~/install-ops01.sh'

Kết quả cuối (mẫu):

ansible [core 2.20.x]
OpenTofu v1.13.1
Name: proxmoxer
Version: 2.3.0
Terminal ops01: ansible --version (core 2.20.x), tofu version (v1.13.1) và pipx runpip show proxmoxer (Version 2.3.0) sau khi chạy install-ops01.sh.
Terminal ops01: ansible --version (core 2.20.x), tofu version (v1.13.1) và pipx runpip show proxmoxer (Version 2.3.0) sau khi chạy install-ops01.sh.

Giải thích lựa chọn: Ubuntu 24.04 chặn pip install ngoài môi trường ảo (PEP 668) nên Ansible cài bằng pipx (venv riêng, lệnh ansible* nằm trong ~/.local/bin); proxmoxer được nhét vào đúng venv đó vì module community.proxmox chạy bằng Python của venv. OpenTofu cài từ kho apt chính thức; khoá lưu ở /etc/apt/keyrings. Dòng Signed-By: liệt kê hai khoá ngăn cách bằng dấu phẩy — cách ghi hai khoá trong tệp deb822 chưa được kiểm trên máy thật: nếu apt update báo lỗi chữ ký, dùng đúng dạng một dòng deb [signed-by=...,...] như trang cài đặt của OpenTofu.

7.2 Thông tin kết nối API

# Trên ops01. set +H tắt history expansion để dấu ! trong tên token không bị diễn giải
set +H; umask 077
read -rsp 'Token secret (không hiện khi gõ): ' S; echo
cat > ~/.config/lab/pve.env <<EOF
export PROXMOX_VE_ENDPOINT="https://10.11.45.210:8006/"
export PROXMOX_VE_API_TOKEN='svc-automation@pve!ansible=$S'
export PVE_TOKEN_SECRET='$S'
export PROXMOX_VE_INSECURE=true   # tạm thời, tới khi các node dùng chứng chỉ của step-CA (bài 09)
EOF
unset S; source ~/.config/lab/pve.env
curl -sk -H "Authorization: PVEAPIToken=$PROXMOX_VE_API_TOKEN" "${PROXMOX_VE_ENDPOINT}api2/json/version"
# {"data":{"release":"9.2","repoid":"...","version":"9.2.x"}}   (mẫu)

7.3 Cho ops01 vào node bằng sysadmin + sudo (Ansible bài 05/06)

Bài 06 chạy playbook cuốn chiếu bằng ansible_user: sysadmin + become, bài 08 cần user sysadmin cục bộ cho realm pam. PVE cài từ ISO không có sẵn sudo và sysadmin, nên tạo trên mỗi node (không cấp SSH root cho ops01). Trước hết tạo khoá riêng của ops01 và lấy dòng khoá công khai:

# Trên ops01 (nên đặt passphrase + ssh-agent khi dùng thật)
ssh-keygen -t ed25519 -C [email protected] -f ~/.ssh/id_ed25519 -N ''
echo "from=\"10.11.45.20\" $(cat ~/.ssh/id_ed25519.pub)"     # dán dòng này vào /root/lab/ops01.pub trên node1

Trên node1 lưu dòng đó vào /root/lab/ops01.pub, tạo /root/lab/prepare-node-ansible.sh rồi chạy cho từng node (from= ràng buộc khoá chỉ dùng được từ 10.11.45.20; node5/node6 làm riêng tương tự):

#!/usr/bin/env bash
# prepare-node-ansible.sh — chạy bằng root TRÊN MỖI NODE PVE: tạo user sysadmin cục bộ + sudo + khoá SSH của ops01
# (bài 06 chạy Ansible bằng sysadmin + become; bài 08 dùng sysadmin@pam). Cần tệp /root/ops01.pub (1 dòng, có from="10.11.45.20").
set -euo pipefail
KEYFILE=/root/ops01.pub
[ -s "$KEYFILE" ] || { echo "Thiếu $KEYFILE" >&2; exit 1; }
apt-get install -y sudo > /dev/null
id sysadmin > /dev/null 2>&1 || adduser --disabled-password --gecos '' sysadmin
usermod -aG sudo sysadmin
install -d -m 700 -o sysadmin -g sysadmin /home/sysadmin/.ssh
touch /home/sysadmin/.ssh/authorized_keys
grep -qxF -f "$KEYFILE" /home/sysadmin/.ssh/authorized_keys || cat "$KEYFILE" >> /home/sysadmin/.ssh/authorized_keys
chown sysadmin:sysadmin /home/sysadmin/.ssh/authorized_keys; chmod 600 /home/sysadmin/.ssh/authorized_keys
echo 'sysadmin ALL=(ALL) NOPASSWD:ALL' > /etc/sudoers.d/90-sysadmin
chmod 440 /etc/sudoers.d/90-sysadmin
visudo -cf /etc/sudoers.d/90-sysadmin
echo "OK: $(hostname -s) — sysadmin có sudo, khoá ops01 đã thêm"
for n in node1 node2 node3 node4; do
  scp -q /root/lab/ops01.pub root@$n:/root/ops01.pub && ssh root@$n 'bash -s' < /root/lab/prepare-node-ansible.sh
done
# Kiểm tra từ ops01:  ssh [email protected] 'sudo -n true && echo sudo OK'
ops01 là bastion: từ máy quản trị, khai báo ~/.ssh/config để các node/VM đi qua ops01 (Host node* pbs01 + ProxyJump [email protected]). Siết SSH (cổng, AllowUsers, chỉ cho phép nguồn ops01 tới 22/tcp của node) làm ở bài 05; sysadmin có NOPASSWD sudo chỉ chấp nhận được khi khoá bị ràng buộc from= và chỉ ops01 giữ khoá riêng.
08

Dựng 30 VM lab bằng create-lab-vms.sh

Nguồn dữ liệu duy nhất: vms.csv · Script · Chạy

8.1 Nguồn dữ liệu duy nhất: vms.csv

vms.csv liệt kê đúng bảng quy hoạch VMID · hostname · IP · VLAN · node chung của series, cộng tài nguyên: vCPU và RAM lấy từ mục "Thông tin VM" của từng bài, còn kích thước đĩa đã tính lại theo dung lượng thật của lab 800 GB SSD + 1 TB HDD (ước tính ở mục 8.6, nên nhỏ hơn con số "100 GB/200 GB/500 GB" trong bài dịch vụ; nới bằng qm resize khi cần). Cột: vmid,name,node,vlan,ip,tpl,cores,mem,disk,pool,dns,xdisk (mem tính MB, disk và xdisk tính GB, dns = - nghĩa là dùng DNS mặc định). disk = đĩa scsi0 gồm hệ điều hành và dữ liệu nóng, nằm trên pool SSD vm-ceph (thin, 20–30 GB cho VM nhẹ, tới 60 GB chỗ có cơ sở dữ liệu lớn); xdisk = đĩa dữ liệu lớn/nguội scsi1, nằm trên pool HDD vm-bulk (mục 8.5), 0 nghĩa là không có. Cùng một tệp được create-lab-vms.sh, Ansible và OpenTofu đọc (hai công cụ sau hiện chỉ dựng scsi0, xem ghi chú cuối mục 8.7).

vmid,name,node,vlan,ip,tpl,cores,mem,disk,pool,dns,xdisk
232,headscale,node2,35,10.11.35.10,9001,2,2048,20,pool-infra,-,0
233,privacyidea,node1,25,10.11.25.30,9000,2,4096,20,pool-infra,-,0
234,authentik,node1,25,10.11.25.40,9001,4,4096,30,pool-infra,-,0
235,prometheus,node2,45,10.11.45.35,9001,4,4096,40,pool-infra,-,30
236,grafana,node2,45,10.11.45.36,9001,4,4096,20,pool-infra,-,0
239,harbor,node2,45,10.11.45.39,9001,4,4096,30,pool-prod,-,60
240,gitea,node2,45,10.11.45.40,9001,4,4096,40,pool-prod,-,0
241,mediamtx,node1,65,10.11.65.41,9001,2,2048,20,pool-prod,-,60
242,step-ca,node1,25,10.11.25.42,9001,2,2048,20,pool-infra,-,0
243,vaultwarden,node1,25,10.11.25.43,9001,2,2048,20,pool-infra,-,0
244,openvas,node1,25,10.11.25.44,9001,4,8192,60,pool-prod,-,0
245,netbox,node2,45,10.11.45.45,9001,2,4096,30,pool-prod,-,0
246,mailu,node2,35,10.11.35.46,9001,4,4096,40,pool-infra,-,0
247,pihole,node3,45,10.11.45.53,9001,2,2048,20,pool-infra,1.1.1.1 8.8.8.8,0
250,dc1,node1,65,10.11.65.50,9000,2,4096,30,pool-infra,-,0
251,samba01,node1,65,10.11.65.51,9000,4,4096,20,pool-prod,10.11.65.50 10.11.45.53,60
260,k3s-cp01,node1,65,10.11.65.60,9000,4,8192,30,pool-prod,-,0
261,k3s-cp02,node2,65,10.11.65.61,9000,4,8192,30,pool-prod,-,0
262,k3s-cp03,node3,65,10.11.65.62,9000,4,8192,30,pool-prod,-,0
263,k3s-worker01,node1,65,10.11.65.63,9000,8,16384,60,pool-prod,-,0
264,k3s-worker02,node2,65,10.11.65.64,9000,8,16384,60,pool-prod,-,0
265,k3s-worker03,node3,65,10.11.65.65,9000,8,16384,60,pool-prod,-,0
266,sonarqube,node2,65,10.11.65.66,9001,4,8192,30,pool-prod,-,0
267,nexus,node3,65,10.11.65.67,9001,4,8192,30,pool-prod,-,100
268,s3,node1,85,10.11.85.10,9001,4,8192,20,pool-prod,-,100
269,vault,node1,25,10.11.25.10,9001,2,4096,20,pool-infra,-,0
270,thehive,node2,25,10.11.25.11,9001,4,8192,50,pool-prod,-,0
271,crowdsec,node3,35,10.11.35.20,9001,2,2048,20,pool-prod,-,0
272,mattermost,node1,65,10.11.65.57,9001,2,4096,30,pool-prod,-,0
280,wazuh-siem,node1,45,10.11.45.25,9001,4,8192,60,pool-infra,-,0
290,ops01,node2,45,10.11.45.20,9000,2,4096,40,pool-infra,-,0

Hai VM của bài 39/40 (unifi VM282, wifi-dc02 VM283, domain wifilab.local, ngoài 30 VM lõi) không nằm trong tệp trên; nếu cần, tạo tệp phụ vms-wifi.csv cùng cột và chạy LAB_CSV=vms-wifi.csv ./create-lab-vms.sh. VM Windows wifi-dc01 (VM281) không dựng từ template Linux.

8.2 Script

#!/usr/bin/env bash
# create-lab-vms.sh — dựng VM lab từ template cloud-init theo vms.csv (bài 07)
# Chạy bằng root trên node đang giữ cấu hình template 9000/9001 (mặc định node1).
set -euo pipefail

HERE="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
CSV="${LAB_CSV:-$HERE/vms.csv}"
STORAGE="${LAB_STORAGE:-vm-ceph}"          # pool SSD: đĩa hệ điều hành scsi0 (RBD chỉ nhận raw)
DATA_STORAGE="${LAB_DATA_STORAGE:-$STORAGE}"   # pool cho đĩa phụ scsi1 (cột xdisk): HDD thì LAB_DATA_STORAGE=vm-bulk (mục 8.5)
BRIDGE="${LAB_BRIDGE:-vmbr0}"              # bridge VLAN-aware (bài 03)
DOMAIN="${LAB_DOMAIN:-hoatranlabs.local}"
DNS_DEFAULT="${LAB_DNS:-10.11.45.53}"      # Pi-hole; chưa làm bài 12 thì: LAB_DNS="1.1.1.1 8.8.8.8"
FULL="${LAB_FULL:-1}"                      # 1 = full clone, 0 = linked clone
BASE_DISK_GB=20                            # kích thước đĩa của template
LOCAL_NODE="${LAB_LOCAL_NODE:-$(hostname -s)}"

FW_DIR="${LAB_FW_DIR:-/etc/pve/firewall}"
DRY=0; START=0; RECONF=0; LIST=0; IPFILTER=0; NODATA=0; ONLY=""
usage() {
  cat <<USAGE
Cách dùng: $0 [--list] [--dry-run] [--only 247,260-265] [--start] [--reconfigure] [--linked] [--ipfilter]
          [--data-storage vm-bulk] [--no-data-disk]
  --list         in kế hoạch (VM, node, tài nguyên) rồi thoát
  --dry-run, -n  chỉ in lệnh, không thực thi
  --only LIST    chỉ xử lý các VMID chọn (vd: 247,242,260-265)
  --start        khởi động VM sau khi tạo
  --reconfigure  VM đã tồn tại: áp lại IP/DNS/tag (không đụng đĩa, không đổi MAC)
  --linked       linked clone (chỉ dùng cho VM thử nghiệm)
  --ipfilter     ghi sẵn IPSet ipfilter-net0 = IP của VM vào <VMID>.fw (firewall VM vẫn TẮT, xem bài 05 mục 7.2)
  --data-storage ID  storage cho đĩa phụ scsi1 (mặc định LAB_DATA_STORAGE, nếu không đặt thì cùng LAB_STORAGE)
  --no-data-disk     không tạo đĩa phụ scsi1 (bỏ qua cột xdisk)
Biến môi trường: LAB_CSV LAB_STORAGE LAB_DATA_STORAGE LAB_DATA_SSD LAB_BRIDGE LAB_DOMAIN LAB_DNS LAB_FULL
USAGE
}
while [ $# -gt 0 ]; do
  case "$1" in
    -n|--dry-run) DRY=1 ;;
    --list) LIST=1 ;;
    --start) START=1 ;;
    --reconfigure) RECONF=1 ;;
    --linked) FULL=0 ;;
    --ipfilter) IPFILTER=1 ;;
    --data-storage) DATA_STORAGE="${2:?thiếu ID storage}"; shift ;;
    --no-data-disk) NODATA=1 ;;
    --only) ONLY="${2:?thiếu danh sách VMID}"; shift ;;
    -h|--help) usage; exit 0 ;;
    *) echo "Tham số lạ: $1" >&2; usage >&2; exit 2 ;;
  esac
  shift
done
[ -r "$CSV" ] || { echo "Không đọc được $CSV" >&2; exit 1; }

# Đĩa phụ cùng pool SSD với đĩa hệ điều hành thì giữ ssd=1; sang pool HDD (vm-bulk) thì bỏ ssd=1, vẫn discard=on.
# Pool khác nhưng cũng là SSD: LAB_DATA_SSD=1.
if [ -n "${LAB_DATA_SSD:-}" ]; then DATA_SSD="$LAB_DATA_SSD"
elif [ "$DATA_STORAGE" = "$STORAGE" ]; then DATA_SSD=1
else DATA_SSD=0
fi
DATA_OPTS="discard=on"
if [ "$DATA_SSD" = 1 ]; then DATA_OPTS+=",ssd=1"; fi

expand_only() {   # "247,260-262" -> " 247 260 261 262 "
  local out=" " part i
  local -a parts
  IFS=',' read -ra parts <<< "$1"
  for part in "${parts[@]}"; do
    if [[ $part =~ ^([0-9]+)-([0-9]+)$ ]]; then
      for ((i = BASH_REMATCH[1]; i <= BASH_REMATCH[2]; i++)); do out+="$i "; done
    elif [[ $part =~ ^[0-9]+$ ]]; then
      out+="$part "
    else
      echo "--only không hợp lệ: $part" >&2; exit 2
    fi
  done
  echo "$out"
}
SEL=""; [ -n "$ONLY" ] && SEL="$(expand_only "$ONLY")"
selected() { [ -z "$SEL" ] || [[ "$SEL" == *" $1 "* ]]; }

qs() { case "$1" in *[!A-Za-z0-9_@%+=:,./-]*) printf "'%s'" "$1" ;; *) printf '%s' "$1" ;; esac; }
show() { local a; for a in "$@"; do printf ' '; qs "$a"; done; echo; }
run() {
  if [ "$DRY" = 1 ]; then printf '  [dry]'; show "$@"; else "$@"; fi
}
on_node() {       # on_node <node> <lệnh...>: chạy cục bộ hoặc qua ssh (SSH giữa các node PVE có sẵn)
  local node="$1"; shift
  if [ "$node" = "$LOCAL_NODE" ]; then
    run "$@"
  elif [ "$DRY" = 1 ]; then
    printf '  [dry] ssh root@%s' "$node"; show "$@"
  else
    ssh -o BatchMode=yes "root@$node" "$(printf '%q ' "$@")"
  fi
}
vm_exists() { compgen -G "/etc/pve/nodes/*/qemu-server/$1.conf" > /dev/null; }

# ipfilter-net0 phải khớp IP TỪNG VM. qm clone sao chép luôn <VMID>.fw của template (bài 05, mục 7.2), nên hàm này
# bỏ đoạn ipfilter-net0 cũ (nếu có) rồi ghi lại đúng IP. Template 9000/9001 không có .fw nên mặc định script không đụng tới firewall.
set_ipfilter() {  # set_ipfilter <vmid> <ip>
  local f="$FW_DIR/$1.fw" tmp
  if [ "$DRY" = 1 ]; then echo "  [dry] ghi ipfilter-net0=$2 vào $f"; return; fi
  tmp="$(mktemp)"
  if [ -e "$f" ]; then
    awk '/^\[/ { skip = ($0 ~ /^\[IPSET ipfilter-net0\]/) } !skip' "$f" > "$tmp"
  else
    printf '[OPTIONS]\nenable: 0\n' > "$tmp"
  fi
  printf '\n[IPSET ipfilter-net0] # chống giả mạo IP nguồn (bài 05, mục 7.2)\n%s\n' "$2" >> "$tmp"
  cat "$tmp" > "$f"; rm -f "$tmp"
}

# ---- --list: bảng kế hoạch + tổng theo node (SSD = cột disk, HDD = cột xdisk; đều là trần danh nghĩa)
if [ "$LIST" = 1 ]; then
  printf '%-5s %-14s %-6s %-4s %-13s %-5s %5s %6s %6s %6s %s\n' VMID NAME NODE VLAN IP TPL vCPU RAM_MB SSD_GB HDD_GB POOL
  tail -n +2 "$CSV" | tr -d '\r' | while IFS=, read -r vmid name node vlan ip tpl cores mem disk pool dns xdisk; do
    selected "$vmid" || continue
    printf '%-5s %-14s %-6s %-4s %-13s %-5s %5s %6s %6s %6s %s\n' "$vmid" "$name" "$node" "$vlan" "$ip" "$tpl" "$cores" "$mem" "$disk" "$xdisk" "$pool"
  done
  tail -n +2 "$CSV" | tr -d '\r' | awk -F, -v sel="$SEL" '
    sel == "" || index(sel, " " $1 " ") { n[$3]++; c[$3] += $7; m[$3] += $8; s[$3] += $9; h[$3] += $12; N++; C += $7; M += $8; S += $9; H += $12 }
    END { for (k in n) printf "1  %-6s %2d VM  %3d vCPU  %6.1f GiB RAM  %5d GB SSD  %4d GB HDD (danh nghĩa)\n", k, n[k], c[k], m[k]/1024, s[k], h[k]
          printf "2  TỔNG   %2d VM  %3d vCPU  %6.1f GiB RAM  %5d GB SSD  %4d GB HDD (danh nghĩa)\n", N, C, M/1024, S, H }' | sort | cut -c2-
  exit 0
fi

if [ "$DRY" = 0 ] && [ ! -e "/etc/pve/nodes/$LOCAL_NODE/qemu-server/9000.conf" ]; then
  echo "Template 9000 không nằm trên $LOCAL_NODE: chạy script trên node giữ template (node1)." >&2
  exit 1
fi

check_storage() {   # storage phải có trong cấu hình PVE (pool RBD là storage dùng chung nên node đích cũng thấy)
  pvesm status --storage "$1" > /dev/null 2>&1 || { echo "Storage '$1' không tồn tại: xem pvesm status (vm-bulk tạo ở mục 8.5)" >&2; exit 1; }
}
if [ "$DRY" = 0 ]; then
  check_storage "$STORAGE"
  if [ "$NODATA" = 0 ]; then check_storage "$DATA_STORAGE"; fi
fi
if [ "$NODATA" = 0 ] && [ "$DATA_STORAGE" = "$STORAGE" ]; then
  echo "Lưu ý: đĩa phụ (cột xdisk) sẽ nằm CÙNG pool SSD '$STORAGE'. Đã có vm-bulk (mục 8.5) thì: LAB_DATA_STORAGE=vm-bulk $0 ..." >&2
fi

created=0; skipped=0
while IFS=, read -r vmid name node vlan ip tpl cores mem disk pool dns xdisk; do
  selected "$vmid" || continue
  gw="${ip%.*}.1"
  dns_eff="$DNS_DEFAULT"; [ "$dns" != "-" ] && dns_eff="$dns"
  tag="lab;${pool#pool-}"
  echo "== VM $vmid $name -> $node  ($ip/24, VLAN $vlan, template $tpl)"
  if vm_exists "$vmid"; then
    if [ "$RECONF" = 1 ]; then
      on_node "$node" qm set "$vmid" --ipconfig0 "ip=$ip/24,gw=$gw" --nameserver "$dns_eff" --searchdomain "$DOMAIN" --tags "$tag"
      on_node "$node" qm cloudinit update "$vmid" || true
      [ "$IPFILTER" = 1 ] && set_ipfilter "$vmid" "$ip"
    else
      echo "   đã tồn tại -> bỏ qua"
    fi
    skipped=$((skipped + 1)); continue
  fi
  clone=(clone "$tpl" "$vmid" --name "$name" --pool "$pool" --full "$FULL")
  [ "$FULL" = 1 ] && clone+=(--storage "$STORAGE")
  [ "$node" != "$LOCAL_NODE" ] && clone+=(--target "$node")
  run qm "${clone[@]}"
  on_node "$node" qm set "$vmid" --cores "$cores" --memory "$mem" \
    --net0 "virtio,bridge=$BRIDGE,tag=$vlan,firewall=0" \
    --ipconfig0 "ip=$ip/24,gw=$gw" --nameserver "$dns_eff" --searchdomain "$DOMAIN" \
    --tags "$tag" --onboot 1
  if [ "$disk" -gt "$BASE_DISK_GB" ]; then on_node "$node" qm resize "$vmid" scsi0 "${disk}G"; fi
  if [ "$xdisk" -gt 0 ] && [ "$NODATA" = 0 ]; then on_node "$node" qm set "$vmid" --scsi1 "$DATA_STORAGE:$xdisk,$DATA_OPTS"; fi
  [ "$IPFILTER" = 1 ] && set_ipfilter "$vmid" "$ip"
  if [ "$START" = 1 ]; then on_node "$node" qm start "$vmid"; fi
  created=$((created + 1))
done < <(tail -n +2 "$CSV" | tr -d '\r')
echo "Xong: tạo $created VM, bỏ qua $skipped VM đã tồn tại."

Điểm cần biết:

ĐiểmGiải thích
Chạy ở đâuTrên node giữ template (node1). Clone đặt VM sang node khác bằng --target, sau đó lệnh qm set/qm resize chạy trên node đích qua SSH (SSH giữa các node PVE có sẵn)
IdempotentVMID đã tồn tại (kiểm bằng /etc/pve/nodes/*/qemu-server/<VMID>.conf) thì bỏ qua; --reconfigure chỉ áp lại IP/DNS/tag, không đổi MAC và VLAN
--ipfilterGhi sẵn IPSet ipfilter-net0 = IP của VM vào /etc/pve/firewall/<VMID>.fw (kèm enable: 0, firewall VM vẫn tắt). qm clone sao chép tệp .fw của template nên script bỏ đoạn ipfilter-net0 cũ và ghi lại đúng IP; template không có .fw nên mặc định script không đụng firewall. Bật firewall VM và rule: bài 05, mục 7
Đĩa hệ điều hành scsi0Template 20 GB; cột disk lớn hơn thì qm resize, cloud-init (growpart, resizefs) tự mở rộng phân vùng ở lần boot đầu. Luôn nằm trên LAB_STORAGE (SSD)
Đĩa phụ scsi1Chỉ tạo khi cột xdisk > 0, trên LAB_DATA_STORAGE (mặc định bằng LAB_STORAGE; HDD: LAB_DATA_STORAGE=vm-bulk hoặc --data-storage vm-bulk). Cùng pool SSD thì discard=on,ssd=1, sang pool khác thì chỉ discard=on (ép bằng LAB_DATA_SSD=1/0); --no-data-disk bỏ qua cột này. Ở lần boot đầu đĩa còn trống (/dev/sdb, chưa định dạng): định dạng và gắn vào thư mục dữ liệu của bài dịch vụ (mục 8.5)
Kiểm tra storageChạy thật (không --dry-run) thì script thoát nếu LAB_STORAGE hoặc LAB_DATA_STORAGE không có trong pvesm status, và cảnh báo khi đĩa phụ rơi vào cùng pool SSD
DNSMặc định Pi-hole 10.11.45.53. Chưa làm bài 12: LAB_DNS="1.1.1.1 8.8.8.8". Làm xong bài 12: ./create-lab-vms.sh --reconfigure để chuyển DNS cho VM đã tạo
PoolCột pool khớp bảng pool của bài 08 (mục 5.2); script chạy bằng root nên được tạo VM trong pool-infra/pool-prod — token ansible cố ý không làm được việc này
Không tự khởi độngMặc định VM tạo xong ở trạng thái tắt; bật từng VM khi tới bài của nó (--start để bật ngay)

8.3 Chạy

cd /root/lab && chmod +x create-lab-vms.sh
./create-lab-vms.sh --list                               # kế hoạch + tổng tài nguyên danh nghĩa theo node
LAB_DNS="1.1.1.1 8.8.8.8" LAB_DATA_STORAGE=vm-bulk ./create-lab-vms.sh --dry-run --ipfilter --only 247,251   # chạy thử vài VM
Terminal node1: ./create-lab-vms.sh --list in bảng VMID, hostname, node, IP, template, vCPU, RAM và hai cột SSD_GB/HDD_GB, kèm dòng tổng theo node (31 VM, 112 vCPU, 184 GiB RAM, 1030 GB SSD và 410 GB HDD danh nghĩa).
Terminal node1: ./create-lab-vms.sh --list in bảng VMID, hostname, node, IP, template, vCPU, RAM và hai cột SSD_GB/HDD_GB, kèm dòng tổng theo node (31 VM, 112 vCPU, 184 GiB RAM, 1030 GB SSD và 410 GB HDD danh nghĩa).

Kết quả --list cuối bảng (mẫu, 30 VM + ops01; cột SSD = disk, HDD = xdisk, đều là trần danh nghĩa chứ không phải dung lượng chiếm thật, xem mục 8.6):

node1  14 VM   46 vCPU    78.0 GiB RAM    440 GB SSD   220 GB HDD (danh nghĩa)
  node2  12 VM   46 vCPU    70.0 GiB RAM    430 GB SSD    90 GB HDD (danh nghĩa)
  node3   5 VM   20 vCPU    36.0 GiB RAM    160 GB SSD   100 GB HDD (danh nghĩa)
  TỔNG   31 VM  112 vCPU   184.0 GiB RAM   1030 GB SSD   410 GB HDD (danh nghĩa)

Kết quả --dry-run (mẫu; đĩa phụ vào vm-bulk, không có ssd=1; samba01 có disk 20 GB bằng template nên không cần qm resize):

== VM 251 samba01 -> node1  (10.11.65.51/24, VLAN 65, template 9000)
  [dry] qm clone 9000 251 --name samba01 --pool pool-prod --full 1 --storage vm-ceph
  [dry] qm set 251 --cores 4 --memory 4096 --net0 virtio,bridge=vmbr0,tag=65,firewall=0 --ipconfig0 ip=10.11.65.51/24,gw=10.11.65.1 --nameserver '10.11.65.50 10.11.45.53' --searchdomain hoatranlabs.local --tags 'lab;prod' --onboot 1
  [dry] qm set 251 --scsi1 vm-bulk:60,discard=on
  [dry] ghi ipfilter-net0=10.11.65.51 vào /etc/pve/firewall/251.fw
Thin provisioning (cấp phát thưa) — cách dùng đúng cho lab: đĩa RBD luôn là thin: số GB ở cột disk và xdisk chỉ là trần danh nghĩa (tổng 1.030 GB SSD + 410 GB HDD cho 31 VM), trong khi cụm 800 GB SSD + 1 TB HDD của lab chỉ có khoảng 266 GB và 333 GB khả dụng với nhân bản 3 (mục 8.4); dung lượng thật chỉ tăng theo dữ liệu ghi, nhưng mỗi full clone chép ngay phần đã dùng của template (khoảng 3–5 GB cho mỗi VM, chưa cần boot). Quy tắc: (1) giữ discard=on (kèm ssd=1 ở đĩa SSD) và fstrim.timer để dữ liệu xoá trong VM được trả lại cho Ceph; (2) theo dõi dung lượng THẬT chứ không phải danh nghĩa: rbd du -p vm-ceph, ceph df detail, ceph osd df tree, và giữ mức dùng raw của mỗi tầng dưới khoảng 60% để cụm vẫn tự phục hồi (nhân bản 3) khi mất một node; cảnh báo nearfull mặc định ở 85%; (3) các đĩa lớn (S3 của bài 32, Nexus, Harbor, Loki, recordings) giờ nằm ở cột xdisk trên HDD và đóng vai hạn mức riêng của từng VM; (4) chặn việc làm đầy pool bằng quota, bật cảnh báo ở bài 10 và dọn rác định kỳ: mục 8.7; (5) dữ liệu thật của đủ 31 VM vượt xa vùng an toàn của 800 GB SSD, nên phải dựng theo giai đoạn (mục 8.6). Cũng đối chiếu RAM từng node: node1 được xếp 78 GiB RAM danh nghĩa.

Tạo thật theo từng giai đoạn của mục 8.6 (làm mục 8.5 để có vm-bulk trước; sau mỗi giai đoạn kiểm ceph df detail rồi mới sang giai đoạn sau), sau đó kiểm kê:

export LAB_DNS="1.1.1.1 8.8.8.8" LAB_DATA_STORAGE=vm-bulk     # chưa có vm-bulk: bỏ biến thứ hai (đĩa phụ vào vm-ceph) hoặc thêm --no-data-disk
./create-lab-vms.sh --ipfilter --only 247,242,250,290,234,235,236   # giai đoạn 1: DNS, PKI, AD, ops01, SSO, giám sát (ops01 đã có thì bỏ qua)
ceph df detail | head -8                                            # RAW USED của lớp ssd/hdd còn dưới ngưỡng an toàn thì mới sang giai đoạn 2
pvesh get /cluster/resources --type vm --output-format json | python3 -c 'import sys,json; r=sorted(json.load(sys.stdin), key=lambda x:x["vmid"]); print(len(r), "VM/template"); [print(x["vmid"], x["name"], x["node"], x["status"], x.get("pool","-")) for x in r]'
Cây tài nguyên Datacenter sau giai đoạn 1 của mục 8.6 (--only 247,242,250,290,234,235,236): các VM lõi gắn tag lab, thuộc pool-infra, ops01 trên node2; template 9000/9001 ở pool-infra.
Cây tài nguyên Datacenter sau giai đoạn 1 của mục 8.6 (--only 247,242,250,290,234,235,236): các VM lõi gắn tag lab, thuộc pool-infra, ops01 trên node2; template 9000/9001 ở pool-infra.

8.4 Kế hoạch dung lượng cho lab 800 GB SSD + 1 TB HDD

Phần cứng của lab: tối đa 800 GB SSD + 1 TB HDD cho cả cụm. Bảng dưới là các GIẢ ĐỊNH phân bổ để có con số cụ thể; đĩa của bạn khác thì thay số vào công thức rồi dùng kết quả của bạn.

Hạng mụcGiả định của bàiThay số khi khác
CụmHOATRANHUB 4 node, mỗi node đều có OSD, đĩa chia đềuN = số node có OSD
SSD (OSD của bài 03, /dev/sdb)4 × 200 GB = 800 GBC_ssd mỗi node
HDD (OSD thêm ở bài 03 mục 7.6, /dev/sdc)4 × 250 GB = 1 TBC_hdd mỗi node
Nhân bảnsize 3, min_size 2, failure domain là hostsize (xem cảnh báo size 2 bên dưới)
Mức chịu lỗiMất 1 node mà cụm vẫn tự dựng lại đủ 3 bản (k = 1, cần N − 1 ≥ size)k
Mức đầy cho phép sau sự cốr = 0,8 (dưới ngưỡng nearfull 0,85)r từ 0,7 đến 0,8
Đơn vịGB của nhà sản xuất (10^9); Ceph hiển thị GiB/TiB: 800 GB ≈ 745 GiB, 1 TB ≈ 931 GiB—
Bài 03 dùng đĩa mẫu khác (4 OSD × khoảng 300 GiB, vm-ceph khả dụng ≈ 380 GiB). Với đĩa 200 GB của giả định này vm-ceph khả dụng là 266 GB: dùng số của mục này.

Công thức (tính riêng từng tầng SSD, HDD vì mỗi tầng là một pool):

usable  = min( raw / size ,  (raw − C_max) / (size − 1) )   # raw = tổng OSD của MỘT tầng; C_max = node nhiều đĩa nhất của tầng đó
an_toàn = r × usable của cụm sau khi bỏ node lớn nhất        # N − 1 < size (vd. 3 node, size 3): không có chỗ dựng lại, an_toàn = r × usable

Dòng đầu là lẽ thường (mỗi byte được ghi size lần); vế (raw − C_max)/(size − 1) chỉ chặn khi đĩa lệch, vì mỗi PG cần size node khác nhau nên một node lớn không lưu được quá một bản của mỗi PG. Hàm dưới tính sẵn (chạy trong bash, số là GB mỗi node):

cap() {  # cap <size> <GB mỗi node...>   (R = mức đầy cho phép sau sự cố, mặc định 0,8)
  local size=$1; shift
  printf '%s\n' "$@" | sort -n | awk -v size="$size" -v r="${R:-0.8}" '
    function us(raw, mx) { a = raw / size; b = (raw - mx) / (size - 1); return a < b ? a : b }
    { c[NR] = $1; raw += $1 }
    END { mx = c[NR]
          safe = (NR - 1 >= size) ? us(raw - mx, c[NR - 1]) : us(raw, mx)   # chỉ để dành chỗ dựng lại bản sao khi còn đủ node
          printf "raw %d GB  usable %d GB  an toàn %d GB\n", raw, int(us(raw, mx) + 1e-9), int(r * safe + 1e-9) }'
}
cap 3 200 200 200 200     # SSD: raw 800 GB  usable 266 GB  an toàn 160 GB
cap 3 250 250 250 250     # HDD: raw 1000 GB  usable 333 GB  an toàn 200 GB
cap 3 100 100 100 500     # đĩa lệch: raw 800 GB nhưng usable chỉ 150 GB, an toàn 80 GB
Tầng · poolRawsizeUsable (dữ liệu logic)Vùng an toàn (≈ 60% usable)Dùng cho
SSD · vm-ceph800 GB3≈ 266 GB (248 GiB)≈ 160 GB (149 GiB)Hệ điều hành, cơ sở dữ liệu, dữ liệu nóng
HDD · vm-bulk1.000 GB3≈ 333 GB (310 GiB)≈ 200 GB (186 GiB)Dữ liệu lớn, nguội
SSD · size 2800 GB2400 GB240 GBChỉ dữ liệu tái tạo được
HDD · size 21.000 GB2500 GB300 GBChỉ dữ liệu tái tạo được

Vì sao 60%: mất 1 trong 4 node thì dữ liệu của node đó được dựng lại trên 3 node còn lại, mức đầy mỗi OSD nhân với 4/3; 60% × 4/3 = 80% vẫn dưới nearfull 85% (cùng quy tắc N−1 của bài 10 mục 5.1). Với SSD: 60% của 800 GB raw = 480 GB = 160 GB dữ liệu × 3 bản. Con số thật nằm ở cột MAX AVAIL của ceph df (đã trừ ngưỡng full và độ lệch giữa OSD), thường thấp hơn công thức vài phần trăm.

size 2 là đánh đổi rủi ro, không phải tối ưu hoá. Tài liệu Ceph: đặt size 2 hoặc min_size 1 ở môi trường chạy thật có nguy cơ mất dữ liệu; tài liệu PVE: "Do not set a min_size of 1". size 2 / min_size 1: mất 1 node vẫn ghi được nhưng chỉ còn MỘT bản, hỏng tiếp ổ đó là mất dữ liệu (kể cả phần ghi trong lúc đó). size 2 / min_size 2: an toàn dữ liệu hơn nhưng các PG liên quan ngừng I/O (VM treo) cho tới khi node quay lại hoặc Ceph dựng bản thứ hai (sau mon_osd_down_out_interval, mặc định 10 phút). Chỉ dùng cho pool chứa dữ liệu tái tạo được hoặc đã có bản sao lưu ngoài Ceph (cache Nexus, image Harbor dựng lại từ CI, log Loki, recordings); KHÔNG dùng cho vm-ceph có dc1, step-CA, Vault, ops01.

Các bố trí khác:

Bố tríCách tínhVới 800 GB SSD + 1 TB HDD
3 node, size 3N − 1 < size: mất 1 node thì không còn node thứ ba để dựng bản mới, cụm chạy degraded và không tự lànhcap 3 267 267 266 → usable ≈ 266 GB, an toàn ≈ 213 GB, nhưng KHÔNG tự phục hồi sau khi mất node
1 node standalone, mỗi đĩa dùng riêng (LVM-thin hoặc ZFS)usable ≈ raw, không nhân bản≈ 800 GB SSD + 1 TB HDD, không chịu được hỏng đĩa: dựa hoàn toàn vào PBS (bài 04). Khuyến nghị thực hành: LVM-thin giữ Data% dưới ~85% (thin pool đầy là hỏng dữ liệu), ZFS dưới ~80%
1 node, mirror (ZFS mirror hoặc RAID 1)usable ≈ raw / 2≈ 400 GB SSD + 500 GB HDD
Đĩa lệch giữa các nodeVế thứ hai của công thứccap 3 100 100 100 500 → chỉ ≈ 150 GB usable; nên cân đĩa đều giữa các node

OSD tối thiểu và cân bằng:

  • Mỗi tầng cần ít nhất size node có OSD cùng class (3 cho size 3); muốn tự phục hồi sau khi mất 1 node thì cần size + 1 = 4 node. Tài liệu PVE khuyến nghị cụm Ceph tối thiểu 3 node và 12 OSD chia đều: lab có 8 OSD (4 SSD + 4 HDD) nên recovery và hiệu năng thấp hơn khuyến nghị, chấp nhận được cho lab.
  • Mỗi OSD mặc định đặt mục tiêu 4 GiB RAM (osd_memory_target), tức 2 OSD mỗi node = 8 GiB cho Ceph. RAM hẹp thì hạ OSD HDD: ceph config set osd/class:hdd osd_memory_target 2147483648 (2 GiB; cần kiểm lại trên máy thật, không nên đặt quá thấp).
  • Cân bằng đĩa giữa các node. Xem ceph osd df tree (cột %USE, VAR); lệch nhiều thì bật balancer (bài 11 mục 9.1).

8.5 Phân tầng SSD/HDD bằng device class của Ceph

Hai pool trên cùng một cụm, tách bằng device class của CRUSH: mỗi OSD mang nhãn ssd hoặc hdd, mỗi pool chọn OSD theo nhãn thông qua một CRUSH rule.

Pool · storage PVEỔCRUSH ruleDùng choKHÔNG đặt lên
vm-ceph (đã có ở bài 03)SSDrule-ssdĐĩa hệ điều hành scsi0; cơ sở dữ liệu và chỉ mục (PostgreSQL, OpenSearch của Wazuh, Elasticsearch và Cassandra của TheHive); TSDB Prometheus; etcd của K3s—
vm-bulk (mới)HDDrule-hddĐĩa phụ scsi1 chứa dữ liệu lớn, ghi tuần tự hoặc nguội: S3 (bài 32), registry Harbor (21), kho Nexus (31), chunk Loki (33), recordings MediaMTX (27), thư mục chia sẻ samba01 (26), bản dump/backup cục bộHệ điều hành, cơ sở dữ liệu, etcd, chỉ mục tìm kiếm

Lý do: một ổ quay chỉ cho cỡ vài chục đến vài trăm IOPS ngẫu nhiên (số điển hình, đo thật bằng fio/rados bench ở bài 11 mục 7) và mỗi lần ghi chạm 3 OSD nên IOPS ghi hiệu dụng của tầng HDD còn thấp hơn. Đọc/ghi tuần tự lớn thì chấp nhận được; fsync dày (cơ sở dữ liệu, etcd) thì VM treo. Lab chỉ có 4 OSD HDD, đừng dồn thêm VM lên HDD "cho đỡ tốn SSD".

Làm theo đúng thứ tự dưới đây, TRƯỚC khi dựng VM thật, để lúc đổi rule pool còn trống (Ceph chỉ phải di chuyển vài đối tượng). Lệnh chạy trên node1 (root), trừ khi ghi khác:

# (1) Xem class hiện có. Ceph đặt class theo cờ "rotational" của ổ, nên SSD gắn qua VM/RAID/HBA thường bị nhận thành hdd
#     (đúng như ceph osd tree ở bài 03 mục 5.7). Class sai thì rule sai, nên kiểm tra trước:
ceph osd tree                             # cột CLASS của từng OSD
ceph osd crush class ls                   # (mẫu) [ "hdd" ]
lsblk -d -o NAME,ROTA,SIZE,MODEL          # chạy trên từng node: ROTA 0 = SSD, 1 = ổ quay

# (2) Đặt đúng class cho OSD SSD đã có (id lấy từ ceph osd tree, ví dụ osd.0–osd.3). Class chỉ đổi được sau khi gỡ class cũ
ceph osd crush rm-device-class osd.0 osd.1 osd.2 osd.3
ceph osd crush set-device-class ssd osd.0 osd.1 osd.2 osd.3

# (3) Tạo hai rule (chưa di chuyển dữ liệu nào)
ceph osd crush rule create-replicated rule-ssd default host ssd
ceph osd crush rule create-replicated rule-hdd default host hdd
ceph osd crush rule ls
ceph osd crush tree --show-shadow         # thấy cây bóng default~ssd và default~hdd

# (4) Gán rule SSD cho pool hiện có TRƯỚC khi thêm OSD HDD (làm khi HEALTH_OK)
ceph osd pool set vm-ceph crush_rule rule-ssd
ceph osd pool set .mgr crush_rule rule-ssd    # pool nhỏ của mgr: để nó nằm ngoài class thì PG autoscaler không chạy (autoscale-status trống)
watch -n5 'ceph -s | grep -E "health|pgs|misplaced|degraded"'    # chờ active+clean rồi Ctrl+C

# (5) Thêm OSD HDD, TỪNG node một (bài 03 mục 7.6), khai class tường minh, đừng để Ceph tự đoán. Chạy trên từng node:
pveceph osd create /dev/sdc --crush-device-class hdd

# (6) Tạo pool HDD và đăng ký storage PVE (node1). Mặc định an toàn là size 3 / min_size 2. Chỉ với dữ liệu tái tạo được mới cân nhắc
#     --size 2 --min_size 2 (hoặc --min_size 1, rủi ro cao hơn): xem cảnh báo ở mục 8.4
pveceph pool create vm-bulk --crush_rule rule-hdd --size 3 --min_size 2 \
  --pg_autoscale_mode on --add_storages 1
ceph osd pool ls detail | grep -E 'vm-ceph|vm-bulk'     # kiểm crush_rule, size, min_size của từng pool
pvesm status | grep -E 'Name|vm-'                       # (mẫu) vm-bulk  rbd  active  ... ≈ 300 GiB khả dụng
ceph osd pool autoscale-status                          # phải liệt kê cả hai pool
Terminal node1: ceph osd tree với cột CLASS (4 OSD ssd, 4 OSD hdd) và ceph osd crush rule ls liệt kê rule-ssd, rule-hdd sau khi đặt class (mục 8.5).
Terminal node1: ceph osd tree với cột CLASS (4 OSD ssd, 4 OSD hdd) và ceph osd crush rule ls liệt kê rule-ssd, rule-hdd sau khi đặt class (mục 8.5).

GUI tương đương cho bước (6): node1 → Ceph → Pools → Create: Name vm-bulk, Size 3, Min. Size 2, Crush Rule rule-hdd, PG Autoscale Mode on, tick Add as Storage. Nếu pool đã có mà chưa có storage: pvesm add rbd vm-bulk --pool vm-bulk --content images,rootdir.

node1 → Ceph → Pools: hai pool vm-ceph (Crush Rule rule-ssd) và vm-bulk (rule-hdd), Size 3 / Min. Size 2, PG Autoscale Mode on; Datacenter → Storage có thêm vm-bulk (RBD).
node1 → Ceph → Pools: hai pool vm-ceph (Crush Rule rule-ssd) và vm-bulk (rule-hdd), Size 3 / Min. Size 2, PG Autoscale Mode on; Datacenter → Storage có thêm vm-bulk (RBD).
Đổi crush_rule của pool làm Ceph di chuyển dữ liệu của pool đó (tài liệu PVE: pool đã có đối tượng thì phải chuyển theo, có thể ảnh hưởng hiệu năng nhiều). Vì vậy làm lúc cụm sạch, theo đúng thứ tự (4) trước (5). Nếu bạn đã thêm OSD HDD khi vm-ceph còn dùng rule mặc định (chọn mọi loại ổ), dữ liệu VM đang nằm lẫn trên HDD và bước (4) sẽ chuyển chúng về SSD: rebalance lớn và chậm, chỉ làm ngoài giờ và theo dõi ceph -s. Tài liệu PVE cũng lưu ý: dùng PG autoscaler thì mọi pool nên dùng CRUSH rule cùng kiểu (đều theo class), đó là lý do .mgr cũng chuyển sang rule-ssd. Sau khi khởi động lại một node, chạy lại ceph osd tree để chắc class vẫn đúng.

Chuyển đĩa dữ liệu của VM đã có sang vm-bulk (VM đang chạy cũng được):

qm disk move 251 scsi1 vm-bulk --delete 1    # --delete 1: xoá ảnh cũ sau khi chép xong; cờ ssd=1 còn lại không ảnh hưởng chức năng
rbd du -p vm-bulk                            # USED phải ≈ dữ liệu thật; ≈ danh nghĩa thì chạy sudo fstrim -av trong VM rồi kiểm lại (cần kiểm trên máy thật)

Định dạng và gắn đĩa phụ trong VM (lần boot đầu đĩa còn trống; tên thường là /dev/sdb, kiểm bằng lsblk; thư mục gắn theo bài dịch vụ: /data Harbor, /opt/nexus/data, /opt/loki/data, /var/lib/mediamtx/recordings, /srv/samba). Bài 26 phân vùng đĩa này theo cách riêng: làm theo bài đó cho samba01:

sudo mkfs.ext4 -m 0 -L bulk /dev/sdb         # -m 0: không để dành 5% cho root trên đĩa dữ liệu
sudo mkdir -p /srv/bulk
echo "UUID=$(sudo blkid -s UUID -o value /dev/sdb) /srv/bulk ext4 defaults,noatime,nofail 0 2" | sudo tee -a /etc/fstab
sudo systemctl daemon-reload && sudo mount -a && df -h /srv/bulk

Mỗi OSD HDD đặt RocksDB (DB/WAL) trên chính ổ quay đó; nếu có thêm một SSD/NVMe nhỏ riêng thì tách bằng --db_dev (xem pveceph osd create --help). SSD của lab đã dùng hết làm OSD nên bài này không tách.

8.6 Ước tính dung lượng thật và lộ trình dựng theo giai đoạn

Cột disk của vms.csv là đĩa hệ điều hành và dữ liệu nóng trên SSD, xdisk là dữ liệu lớn/nguội trên HDD; cả hai là trần danh nghĩa (khoảng 2–3 lần mức dùng thật), không phải dung lượng chiếm sẵn. Cột "thật" dưới đây là ước tính sau vài tháng dùng nhẹ (hệ điều hành, viết tắt HĐH, khoảng 6 GB, thêm khoảng 1 GB nếu có Docker, cộng image và dữ liệu theo từng bài), cần đo lại bằng rbd du (mục 8.7) và điều chỉnh. Cột GĐ là giai đoạn dựng, giải thích ngay dưới bảng:

GĐVMID · VMThành phần chiếm chỗ (GB, ước tính)SSD thậtHDD thậtCSV disk / xdisk
09000, 9001 (2 template)HĐH đã cập nhật, 4–5 GB mỗi template (9001 thêm Docker)9–20 / –
1247 piholeHĐH + Docker 7, image 18–20 / 0
1242 step-caHĐH + Docker 7, dữ liệu CA 18–20 / 0
1250 dc1HĐH 6, Samba AD 28–30 / 0
1290 ops01HĐH 6, Ansible + OpenTofu + provider 39–40 / 0
1234 authentikHĐH + Docker 7, image 2,5, DB 0,510–30 / 0
1235 prometheusHĐH + Docker 7, image 2, TSDB 15 ngày 8; Loki 14 ngày 12 (HDD, gắn /opt/loki/data)171240 / 30
1236 grafanaHĐH + Docker 7, image Grafana/Kuma/Gotify 29–20 / 0
2269 vault · 243 vaultwarden · 233 privacyidea · 232 headscaleMỗi VM: HĐH 6–7, ứng dụng 1–2 (tổng 7 + 8 + 8 + 7)30–20 / 0
2246 mailuHĐH + Docker 7, image 5, hộp thư 113–40 / 0
2280 wazuh-siemHĐH + Docker 7, image 3, indexer 30 ngày ≈ 2333–60 / 0
3239 harborHĐH + Docker 7, image + Trivy 3; registry 25 (HDD, /data)102530 / 60
3240 giteaHĐH + Docker 7, image + runner 5, repo 113–40 / 0
3267 nexusHĐH + Docker 7, image 1; blob store 40 (HDD, /opt/nexus/data)84030 / 100
3266 sonarqube · 245 netbox · 272 mattermostMỗi VM: HĐH + Docker 7, image + DB 3–4 (tổng 11 + 10 + 11)32–30 / 0
3268 S3 (bài 32)HĐH + Docker 7, image 1; đối tượng 30 (HDD)83020 / 100
3251 samba01HĐH 6, Samba 1; thư mục chia sẻ 20 (HDD, /srv/samba)72020 / 60
3271 crowdsecHĐH + Docker 7, image 29–20 / 0
3241 mediamtxHĐH + Docker 7, image 1; recordings 48 giờ 25 (HDD)82520 / 60
3270 thehiveHĐH + Docker 7, image (Cortex, Elasticsearch, Cassandra) 8, dữ liệu 318–50 / 0
3244 openvasHĐH 8, image Greenbone 6, feed ≈ 2539–60 / 0
4260–262 k3s-cp01..03Mỗi VM: HĐH 6, etcd + image 533–30 / 0
4263–265 k3s-worker01..03Mỗi VM: HĐH 6, image + PV 1254–60 / 0
Tổng (31 VM + 2 template)≈ 393≈ 1521.030 / 410 (chỉ 31 VM)

Đọc bảng: HĐH + Docker một mình đã ≈ 200 GB (31 VM × 6–8 GB). Dữ liệu thật ≈ 390 GB SSD so với vùng an toàn 160 GB (usable 266 GB; 390 GB × 3 ≈ 1,2 TB raw, lớn hơn cả 800 GB SSD) và ≈ 150 GB HDD so với vùng an toàn 200 GB. Kết luận: HDD đủ chỗ, SSD thì không thể chạy đồng thời đủ 31 VM với dữ liệu thật.

Lộ trình dựng theo giai đoạn (dùng --only; VM chưa clone thì chưa tốn đĩa, còn VM đã clone thì tốn dù chưa bật):

GĐDựngSSD thật cộng dồnGhi chú
0Hai template (Bước 2–3) và ops01 (Bước 7)≈ 9Template nhỏ; ops01 tính ở GĐ 1
1 Lõi hạ tầng--only 247,242,250,290,234,235,236≈ 78DNS, PKI, AD, ops01, SSO, giám sát (+ 12 GB HDD cho Loki): vài chục GB, an toàn
2 Bảo mật, truy cập--only 269,243,233,232,246,280≈ 154Chạm vùng an toàn 160 GB: dừng ở đây khi làm thường trực
3 DevSecOpsTheo bài, 1–3 VM mỗi lần (vd. --only 239,240, rồi --only 267…)≈ 306 nếu bật cùng lúc: vượt vùng an toànLàm xong bài thì sao lưu PBS rồi qm destroy <VMID> --purge để trả chỗ; dựng lại bằng clone rồi restore dữ liệu từ PBS khi cần
4 K3s--only 260-265 khi làm bài 28–29≈ 393 nếu bật hếtDựng khi làm bài, xoá khi xong; tuỳ chọn pool size 2 ở dưới
Tắt VM (qm shutdown) chỉ trả RAM và CPU, KHÔNG trả dung lượng Ceph. Chỉ qm destroy --purge (sau khi đã backup lên pbs-primary) hoặc fstrim trong VM mới giải phóng đĩa. Cách "dựng đủ 30 VM trước rồi tắt bớt" vì thế là cách tệ nhất cho cụm này: 31 full clone chép ngay ≈ 100–150 GB.

Tuỳ chọn để thêm chỗ (kết hợp, theo mức rủi ro tăng dần; con số là ước tính, đo lại trên máy thật):

Tuỳ chọnTác dụngCái giá / cách làm
Dọn rác và giảm retention (mục 8.7)20–50 GBRẻ nhất, làm trước
Linked clone (LAB_FULL=0 hoặc --linked)Không chép 3–5 GB của template cho mỗi VM (≈ 100 GB cho 31 VM lúc đầu); giảm dần khi VM ghi đè khối của template (RBD sao chép theo đối tượng)Không xoá được template khi còn clone nên quy trình 10.1 phải theo kiểu blue/green; chưa thử trên máy thật
Pool SSD thứ hai size 2 cho VM dựng lại được (K3s, OpenVAS, SonarQube…)Mỗi GB của các VM này tốn 2 thay vì 3 GB rawRủi ro mất dữ liệu (mục 8.4): pveceph pool create vm-lab --crush_rule rule-ssd --size 2 --min_size 2 --add_storages 1, rồi LAB_STORAGE=vm-lab ./create-lab-vms.sh --only 260-265
Nén BlueStore trên poolOS/log dạng văn bản thường nén được 1,2–1,6 lần (số điển hình, cần đo); không có tác dụng với dữ liệu đã nén (layer Docker, video, backup)Tốn CPU; chỉ áp cho dữ liệu GHI SAU khi bật. Dùng lz4 hoặc snappy (tài liệu Ceph không khuyến nghị zstd cho BlueStore): ceph osd pool set vm-ceph compression_algorithm lz4 và compression_mode aggressive; xem ceph df detail (cột USED COMPR / UNDER COMPR, cần kiểm lại)
Mức đầy raw 70–75% thay vì 60%+26 đến +40 GB dữ liệu SSDMất khả năng tự phục hồi khi mất node (sau sự cố vượt nearfull); không để chạm 85%
Thêm SSDGiải pháp gốcThêm OSD cùng dung lượng cho cả 4 node, --crush-device-class ssd (bài 03 mục 7.6)

8.7 Theo dõi, cảnh báo và khi cụm đầy

LệnhCho biết
ceph df detailRAW theo CLASS (ssd, hdd); từng pool: STORED, %USED, MAX AVAIL, QUOTA
ceph osd df tree%USE của từng OSD, node và class; cột VAR là độ lệch
rbd du -p vm-ceph · rbd du -p vm-bulkPROVISIONED (danh nghĩa) và USED (thật) của từng ảnh đĩa; có thể mất vài phút
pvesm statusTotal, Used, Available và % của vm-ceph, vm-bulk theo góc nhìn PVE

Kết quả ceph df detail (mẫu, rút gọn, đầu bảng RAW):

--- RAW STORAGE ---
CLASS     SIZE    AVAIL     USED  RAW USED  %RAW USED
hdd    931 GiB  926 GiB  5.2 GiB   5.2 GiB       0.56
ssd    745 GiB  690 GiB   55 GiB    55 GiB       7.38
TOTAL  1.6 TiB  1.6 TiB   60 GiB    60 GiB       3.59
  • Ngưỡng mặc định nearfull 0,85, backfillfull 0,90, full 0,95. Các tuỳ chọn mon_osd_nearfull_ratio/mon_osd_backfillfull_ratio/mon_osd_full_ratio chỉ có tác dụng lúc tạo cụm; sau đó giá trị nằm trong OSDMap và đổi bằng ceph osd set-nearfull-ratio, set-backfillfull-ratio, set-full-ratio (bài 10 mục 5.1). Giữ mặc định, đừng nâng để "có thêm chỗ".
  • Cảnh báo sớm: rule Prometheus CephOsdUsageN1 (bài 10 mục 8.4) báo khi một OSD vượt 60%, áp dụng cho cả OSD SSD lẫn HDD; 60% raw chính là đường 160 GB SSD / 200 GB HDD ở mục 8.4. Cấu hình thông báo PVE/Ceph: bài 10.
  • Quota là chốt chặn cuối, không phải cảnh báo. Đặt gần vùng an toàn để một VM ghi lỗi không làm đầy cả cụm; pool chạm quota thì ghi bị chặn (health POOL_FULL, VM treo I/O như khi OSD đầy). Tài liệu Ceph không nói quota tính theo dữ liệu logic hay raw (cần kiểm lại trên máy thật bằng ceph df detail, cột QUOTA BYTES):
ceph osd pool set-quota vm-ceph max_bytes $((170 * 1000**3))    # ≈ vùng an toàn SSD 160 GB + chút dư
ceph osd pool set-quota vm-bulk max_bytes $((210 * 1000**3))
ceph osd pool get-quota vm-ceph                                 # gỡ quota: max_bytes 0

Khi cụm đầy (chi tiết và lệnh khẩn cấp: bài 11 mục 9.1), theo thứ tự:

  1. ceph osd df tree xem tầng nào đầy (SSD hay HDD) và OSD nào lệch.
  2. Giải phóng chỗ thật: xoá snapshot cũ (qm delsnapshot), đĩa unused, ảnh mồ côi, VM đã xong bài (backup lên pbs-primary rồi qm destroy <VMID> --purge). Tắt VM không giải phóng gì.
  3. Trả khối đã xoá cho Ceph: sudo fstrim -av trong VM (cần discard=on), rồi dọn rác như bảng dưới.
  4. Thêm OSD cùng class cho cả 4 node (bài 03 mục 7.6), chờ rebalance xong rồi mới dựng thêm VM.
  5. Chỉ nâng full_ratio từng chút và tạm thời để xoá được dữ liệu (cảnh báo ở bài 11 mục 9.1).

Giữ dung lượng thật nhỏ:

ViệcLệnh / cấu hìnhLưu ý
TRIM định kỳsystemctl is-enabled fstrim.timer (Ubuntu bật sẵn, chạy hằng tuần); sudo fstrim -av sau khi xoá nhiềuCần discard=on trên đĩa (script đã đặt)
Dockerdocker system df; hằng tuần docker image prune -f; hằng tháng docker system prune -a -f --filter "until=720h"Có xoá container đã dừng và image không dùng quá 30 ngày; KHÔNG thêm --volumes (xoá dữ liệu)
journald/etc/systemd/journald.conf.d/99-lab.conf với [Journal] và SystemMaxUse=200MKiểm journalctl --disk-usage; bake chưa đặt giới hạn này
Prometheus (VM235)--storage.tsdb.retention.time=15d và --storage.tsdb.retention.size=8GBBài 15 đã đặt đúng mức này cho đĩa 40 GB của CSV; dữ liệu TSDB nằm ở /opt/prometheus/data trên SSD
Lokiretention_period: 336h (14 ngày)Bài 33 đã đặt đúng mức này; dữ liệu Loki nằm ở xdisk 30 GB (HDD, vm-bulk) gắn /opt/loki/data
WazuhChính sách xoá index cũ (ISM) sau 30 ngày: Wazuh Dashboard → Index ManagementCần kiểm lại tên menu theo Wazuh 4.14
Harbor, NexusRetention policy và garbage collection (bài 21); cleanup policy và task Compact blob store (bài 31)Registry và blob store là phần phình to nhất của HDD
PBSPrune và garbage collection (bài 04 mục 7)Backup nằm trên NAS (syno-primary), không chiếm Ceph nhưng NAS cũng hữu hạn
Ansible và OpenTofu (Bước 9) hiện chỉ dựng scsi0 (playbook đặt storage: vm-ceph, main.tf đặt datastore_id = "vm-ceph" và cỡ đĩa lấy từ cột disk) và bỏ qua xdisk. VM cần đĩa phụ thì dựng bằng create-lab-vms.sh; hoặc thêm đĩa sau khi clone: Ansible community.proxmox.proxmox_disk (state: present, disk: scsi1, storage: vm-bulk, size), OpenTofu thêm khối disk thứ hai interface = "scsi1" với datastore_id = "vm-bulk" (không đặt ssd). Hai cách này chưa chạy thử trên máy thật.

8.8 Dùng VM đã dựng cho các bài 12–37

Các bài dịch vụ hướng dẫn tạo VM bằng ISO. Với VM dựng ở đây: bỏ mục "Tạo VM" và "Cài Ubuntu", bắt đầu từ bước SSH vào VM, và lưu ý:

Khác biệtCách xử lý
Đăng nhậpssh sysadmin@<IP> bằng khoá SSH; không có mật khẩu console (đặt tạm bằng qm set <VMID> --cipassword nếu thật cần)
Tên card mạngeth0 (xem mục 5.1); sửa mọi chỗ ghi cứng ens18/enp6s18
IP, hostname, DNSĐã do cloud-init đặt; bỏ qua bước viết netplan, đổi bằng qm set (mục 5.3). Bài 12 (Pi-hole) vẫn phải tắt systemd-resolved stub và chỉnh resolv.conf của chính VM đó
DockerVM từ template 9001 đã có Docker 29.9.1: bước cài Docker của bài chỉ cần kiểm docker --version (các bước đó gỡ gói của Ubuntu và cài lại nên vẫn chạy được)
ĐĩaĐã mở rộng theo cột disk (nhỏ hơn con số "100 GB/200 GB/500 GB" ghi trong bài dịch vụ: nới bằng qm resize khi thật sự cần). Đĩa dữ liệu scsi1 (VM235, 239, 241, 251, 267, 268) là /dev/sdb trên vm-bulk, chưa định dạng: gắn vào thư mục dữ liệu của bài theo mục 8.5, thay cho bước tạo phân vùng/đĩa phụ của bài (bài 26 phân vùng đĩa này theo cách riêng)
Cấu hình nềnqemu-guest-agent, chrony, múi giờ Asia/Ho_Chi_Minh đã có; node_exporter vẫn cài theo bài 15
09

Ansible và OpenTofu: dựng VM hàng loạt từ ops01

Thư mục làm việc trên ops01 · Ansible · OpenTofu

Ba công cụ cùng đọc vms.csv; chọn một công cụ cho mỗi VM (đổi công cụ giữa chừng phải tofu import hoặc dựng lại).

Công cụĐiểm mạnhĐiểm yếuDùng khi
create-lab-vms.shKhông cần cài gì, chạy ngay trên node (kể cả khi chưa có ops01); dựng 30 VM labKhông có state, không phát hiện lệch cấu hìnhBootstrap lab, 1–vài cluster
Ansible community.proxmoxCùng một công cụ dựng VM rồi cấu hình hệ điều hành; thêm module cho firewall, ACME, Ceph, HA, ACLMô tả "việc cần làm" hơn là "trạng thái mong muốn"Quy trình vận hành (bài 05, 06) và VM mới theo yêu cầu
OpenTofu + bpg/proxmoxplan cho thấy trước thay đổi, state theo dõi, destroy an toànPhải quản lý file state; một số thao tác chỉ root@pam làm đượcHạ tầng lâu dài, nhiều cluster, review qua Git

9.1 Thư mục làm việc trên ops01

Thư mục đã được install-ops01.sh tạo sẵn. Chép vms.csv và khoá quản trị từ node1 sang ops01 (chạy từ máy quản trị có quyền SSH vào cả hai máy):

scp -3 [email protected]:/root/lab/vms.csv [email protected]:/root/lab/admin_keys.pub [email protected]:~/lab-iac/

Cấu trúc đích:

~/lab-iac/
├── vms.csv  vms-test.csv  admin_keys.pub
├── ansible/  ansible.cfg · inventory/csv_inventory.py · playbooks/clone-vms.yml
└── tofu/     main.tf

VM thử nghiệm dùng VMID 301–303, dải IP 10.11.45.151–153 (đề xuất, hãy ping kiểm tra còn trống), pool pool-test đúng phạm vi quyền của token. Lưu thành ~/lab-iac/vms-test.csv:

vmid,name,node,vlan,ip,tpl,cores,mem,disk,pool,dns,xdisk
301,test-web01,node1,45,10.11.45.151,9000,2,2048,20,pool-test,-,0
302,test-web02,node2,45,10.11.45.152,9000,2,2048,20,pool-test,-,0
303,test-web03,node3,45,10.11.45.153,9000,2,2048,20,pool-test,-,0

9.2 Ansible

~/lab-iac/ansible/ansible.cfg:

[defaults]
inventory          = inventory/csv_inventory.py
remote_user        = sysadmin
forks              = 20
interpreter_python = auto_silent
retry_files_enabled = False

[ssh_connection]
ssh_args = -o ControlMaster=auto -o ControlPersist=60s -o StrictHostKeyChecking=accept-new
pipelining = True

Inventory động đọc vms.csv và nhóm theo pool, VLAN, node, template (lưu thành ansible/inventory/csv_inventory.py, chmod +x):

#!/usr/bin/env python3
"""Inventory động cho Ansible: đọc vms.csv, nhóm theo pool / VLAN / node / template.
Kiểm tra: ansible-inventory --graph   (chmod +x trước)"""
import csv
import json
import os
import sys

HERE = os.path.dirname(os.path.abspath(__file__))
path = os.environ.get("LAB_CSV", os.path.join(HERE, "..", "..", "vms.csv"))

groups, hostvars = {}, {}
with open(path, newline="", encoding="utf-8") as f:
    for r in csv.DictReader(f):
        h = r["name"]
        hostvars[h] = {"ansible_host": r["ip"], "vmid": int(r["vmid"]), "pve_node": r["node"], "vlan": int(r["vlan"])}
        for g in ("pool_" + r["pool"].split("-", 1)[1], "vlan_" + r["vlan"], "on_" + r["node"], "tpl_" + r["tpl"]):
            groups.setdefault(g, {"hosts": []})["hosts"].append(h)

if len(sys.argv) > 2 and sys.argv[1] == "--host":
    print(json.dumps(hostvars.get(sys.argv[2], {})))
else:
    print(json.dumps({**groups, "_meta": {"hostvars": hostvars}}))

Playbook clone (lưu thành ansible/playbooks/clone-vms.yml). Hai điểm dễ sai: ansible_python_interpreter: "{{ ansible_playbook_python }}" để module dùng venv của pipx (nơi có proxmoxer), và chỉ cấu hình các VM vừa tạo để chạy lại không đổi MAC:

---
# playbooks/clone-vms.yml — dựng VM hàng loạt từ template qua API (community.proxmox), danh sách lấy từ CSV
# Chạy: source ~/.config/lab/pve.env && ansible-playbook playbooks/clone-vms.yml -e vms_csv=$HOME/lab-iac/vms-test.csv
- name: Clone VM từ template theo CSV
  hosts: localhost
  connection: local
  gather_facts: false
  vars:
    ansible_python_interpreter: "{{ ansible_playbook_python }}"   # venv của pipx có proxmoxer
    vms_csv: "{{ playbook_dir }}/../../vms-test.csv"
    admin_keys: "{{ lookup('ansible.builtin.file', playbook_dir + '/../../admin_keys.pub') }}"
    template_node: node1
    storage: vm-ceph
    lab_dns: ["10.11.45.53"]
  module_defaults:
    group/community.proxmox.proxmox:
      api_host: 10.11.45.210
      api_user: svc-automation@pve
      api_token_id: ansible
      api_token_secret: "{{ lookup('ansible.builtin.env', 'PVE_TOKEN_SECRET') }}"
      validate_certs: false          # lab; bật true sau khi node tin cậy CA của step-CA (bài 09)
  tasks:
    - name: Đọc danh sách VM
      community.general.read_csv:
        path: "{{ vms_csv }}"
      register: vms

    - name: Clone full từ template, đặt đúng node và pool (VMID đã tồn tại thì bỏ qua)
      community.proxmox.proxmox_kvm:
        node: "{{ template_node }}"
        vmid: "{{ item.tpl | int }}"          # VMID của template nguồn
        clone: "tpl-{{ item.tpl }}"           # nhãn bắt buộc khi đã có vmid
        newid: "{{ item.vmid | int }}"
        name: "{{ item.name }}"
        target: "{{ item.node }}"
        storage: "{{ storage }}"
        pool: "{{ item.pool }}"
        full: true
        timeout: 900
      loop: "{{ vms.list }}"
      loop_control:
        label: "{{ item.name }}"
      register: cloned

    - name: Chỉ cấu hình các VM vừa được tạo (tránh đổi lại MAC khi chạy lại)
      ansible.builtin.set_fact:
        new_vms: "{{ cloned.results | selectattr('changed') | map(attribute='item') | list }}"

    - name: Tài nguyên, VLAN và cloud-init
      community.proxmox.proxmox_kvm:
        node: "{{ item.node }}"
        vmid: "{{ item.vmid | int }}"
        update: true
        update_unsafe: true                   # cho phép đặt net0 (VLAN)
        cores: "{{ item.cores | int }}"
        memory: "{{ item.mem | int }}"
        net:
          net0: "virtio,bridge=vmbr0,tag={{ item.vlan }},firewall=0"
        ipconfig:
          ipconfig0: "ip={{ item.ip }}/24,gw={{ item.ip.split('.')[0:3] | join('.') }}.1"
        nameservers: "{{ lab_dns if item.dns == '-' else item.dns.split() }}"
        searchdomains: ["hoatranlabs.local"]
        ciuser: sysadmin
        sshkeys: "{{ admin_keys }}"
        tags: ["lab", "ansible"]
        onboot: true
      loop: "{{ new_vms }}"
      loop_control:
        label: "{{ item.name }}"

    - name: Mở rộng đĩa hệ điều hành khi lớn hơn 20 GB
      community.proxmox.proxmox_disk:
        vmid: "{{ item.vmid | int }}"
        disk: scsi0
        size: "{{ item.disk }}G"
        state: resized
      loop: "{{ new_vms | rejectattr('disk', 'equalto', '20') | list }}"
      loop_control:
        label: "{{ item.name }}"

    - name: Khởi động
      community.proxmox.proxmox_kvm:
        node: "{{ item.node }}"
        vmid: "{{ item.vmid | int }}"
        state: started
      loop: "{{ new_vms }}"
      loop_control:
        label: "{{ item.name }}"
cd ~/lab-iac/ansible && chmod +x inventory/csv_inventory.py && source ~/.config/lab/pve.env
ansible-inventory --graph | head -15
ansible-playbook playbooks/clone-vms.yml
# PLAY RECAP: localhost : ok=5 changed=4 unreachable=0 failed=0   (mẫu)

# Sau khi VM lên (~40 giây): đăng nhập bằng khoá SSH của ops01 (đã có trong admin_keys.pub nếu bạn thêm khoá ops01 vào đó)
LAB_CSV=$HOME/lab-iac/vms-test.csv ansible all -b -m ansible.builtin.command -a "systemctl is-active qemu-guest-agent chrony"
Muốn ops01 SSH vào VM mới, thêm khoá công khai của ops01 (~/.ssh/id_ed25519.pub) vào admin_keys.pub trước khi clone; template sẽ nhận khoá khi VM clone khởi động. Dọn VM thử (chạy trên node1, root):
for p in 301:node1 302:node2 303:node3; do ssh root@${p#*:} "qm stop ${p%:*}; qm destroy ${p%:*} --purge"; done

9.3 OpenTofu

~/lab-iac/tofu/main.tf:

terraform {
  required_version = ">= 1.8"
  required_providers {
    proxmox = {
      source  = "bpg/proxmox"
      version = "~> 0.116"
    }
  }
}

variable "pve_endpoint" {
  type    = string
  default = "https://10.11.45.210:8006/"
}

variable "vms_csv" {
  type    = string
  default = "../vms-test.csv"
}

variable "admin_keys_file" {
  type    = string
  default = "../admin_keys.pub"
}

provider "proxmox" {
  endpoint = var.pve_endpoint
  insecure = true # tạm thời; bật xác thực chứng chỉ sau khi làm bài 09
  # api_token lấy từ biến môi trường PROXMOX_VE_API_TOKEN (source ~/.config/lab/pve.env)
}

locals {
  vms  = { for r in csvdecode(file(var.vms_csv)) : r.name => r }
  keys = [for k in split("\n", trimspace(file(var.admin_keys_file))) : trimspace(k) if trimspace(k) != ""]
}

resource "proxmox_virtual_environment_vm" "lab" {
  for_each  = local.vms
  name      = each.value.name
  vm_id     = tonumber(each.value.vmid)
  node_name = each.value.node
  pool_id   = each.value.pool
  tags      = ["lab", "tofu"]
  machine   = "q35"
  on_boot   = true

  clone {
    vm_id        = tonumber(each.value.tpl)
    node_name    = "node1" # node đang giữ template
    datastore_id = "vm-ceph"
    full         = true
    retries      = 3
  }

  agent {
    enabled = true
    timeout = "5m"
  }

  operating_system {
    type = "l26"
  }

  cpu {
    cores = tonumber(each.value.cores)
    type  = "x86-64-v2-AES"
  }

  memory {
    dedicated = tonumber(each.value.mem)
  }

  disk {
    datastore_id = "vm-ceph"
    interface    = "scsi0"
    size         = tonumber(each.value.disk)
    discard      = "on"
  }

  network_device {
    bridge  = "vmbr0"
    vlan_id = tonumber(each.value.vlan)
  }

  initialization {
    datastore_id = "vm-ceph"
    dns {
      domain  = "hoatranlabs.local"
      servers = each.value.dns == "-" ? ["10.11.45.53"] : split(" ", each.value.dns)
    }
    ip_config {
      ipv4 {
        address = "${each.value.ip}/24"
        gateway = cidrhost("${each.value.ip}/24", 1)
      }
    }
    user_account {
      username = "sysadmin"
      keys     = local.keys
    }
  }
}

output "vm_ids" {
  value = { for k, v in proxmox_virtual_environment_vm.lab : k => v.vm_id }
}
cd ~/lab-iac/tofu && source ~/.config/lab/pve.env
tofu init                       # tải provider bpg/proxmox ~> 0.116
tofu plan -out lab.tfplan       # Plan: 3 to add, 0 to change, 0 to destroy.   (mẫu)
tofu apply lab.tfplan           # Apply complete! Resources: 3 added, 0 changed, 0 destroyed.
tofu destroy                    # dọn VM thử
Terminal ops01: tofu plan báo Plan: 3 to add rồi tofu apply báo Apply complete! Resources: 3 added; ba VM test-web01..03 xuất hiện trong pool-test trên node1, node2, node3.
Terminal ops01: tofu plan báo Plan: 3 to add rồi tofu apply báo Apply complete! Resources: 3 added; ba VM test-web01..03 xuất hiện trong pool-test trên node1, node2, node3.
State là tài sản nhạy cảm: terraform.tfstate chứa cấu hình mọi VM (và mật khẩu nếu bạn đặt). Đừng đưa lên Git; lưu trên ops01 (đã nằm trong job backup của pool-infra), về sau chuyển sang backend S3 trên SeaweedFS (bài 32, mục 4.6); OpenTofu còn có tính năng mã hoá state (xem tài liệu OpenTofu, cần kiểm lại cấu hình). Provider ghi chú: tham số initialization.upgrade chỉ root@pam đặt được nên bài không dùng; template đã ciupgrade=0. Kiểm lại trên máy thật cách provider đối xử machine (đã đặt q35 tường minh) khi clone.
10

Vận hành template: cập nhật, phiên bản, backup, HA

Cập nhật template định kỳ · Ghi phiên bản, backup, HA

10.1 Cập nhật template định kỳ

Template là ảnh "đông lạnh": gói cũ dần. Lịch gợi ý: hàng tháng (hoặc khi có lỗ hổng nghiêm trọng) chạy lại bake để template luôn vá; mỗi 6 tháng hoặc khi có bản 24.04.x mới thì tải ảnh cloud mới. VM đã chạy không bị ảnh hưởng (chúng cập nhật bằng bài 06). Quy trình cập nhật tại chỗ cho 9000 (9001 làm tương tự với --docker; lúc đó mọi clone đều là full clone nên xoá template được):

BướcLệnh (trên node1, root)
1. Bản làm việcqm clone 9000 9099 --name tpl-build --full 1 --storage vm-ceph rồi qm set 9099 --ipconfig0 ip=10.11.45.99/24,gw=10.11.45.1 --nameserver "1.1.1.1 8.8.8.8" và qm start 9099
2. Cập nhậtChạy lại lab-bake.sh như mục 2.4 (đổi 9000 thành 9099); VM tự tắt
3. Kiểm thửqm clone 9099 9098 --name tpl-test --full 1 → đặt IP thử → khởi động → kiểm ip -br link, cloud-init status, khoá SSH host khác template
4. Thay thếqm destroy 9000 --purge (chỉ khi không còn linked clone) → qm clone 9099 9000 --name tpl-ubuntu-2404 --full 1 --storage vm-ceph → qm set 9000 --ipconfig0 ip=dhcp --nameserver 10.11.45.53 --description "…build $(date +%F)" → qm template 9000 → pveum pool modify pool-infra --vms 9000
5. Dọnqm destroy 9099 --purge; qm destroy 9098 --purge

Với môi trường lớn nên dùng blue/green: dựng template mới ở VMID khác (ví dụ 9100), đổi cột tpl trong CSV, chạy thử, rồi mới xoá bản cũ — không có khoảng thời gian thiếu template.

10.2 Ghi phiên bản, backup, HA

  • Phiên bản: description của template ghi ngày build và serial ảnh (20260926); thêm tag dạng tpl-2026.10 khi build lại.
  • Backup: template không cần job riêng. Job vzdump theo pool (bài 04, mục 6.2): GUI Datacenter → Backup → Edit → Selection mode: Pool based để VM mới tự vào job; template 9000/9001 nằm trong pool-infra nên sẽ vào job — loại ra bằng ô Exclude (9000,9001) nếu không muốn sao lưu. Loại PBS/PDM như bài 04 đã dặn.
  • HA: chỉ thêm VM dịch vụ, không thêm template: ha-manager add vm:247 --state started rồi thêm vào rule như bài 03 (mục 7.3). VM có cicustom phải có snippet trên mọi node (mục 5.4).
  • Template nằm trên node1: cấu hình template gắn với node tạo ra nó. Khi node1 bảo trì, qm clone phải chạy trên node đó; với đĩa trên Ceph có thể chuyển cấu hình template sang node khác khi template không dùng (qm migrate 9000 node2, cần kiểm lại trên máy thật). Nếu node1 hỏng vĩnh viễn: chuyển tệp /etc/pve/nodes/node1/qemu-server/9000.conf sang thư mục của node còn sống chỉ khi chắc chắn node1 không quay lại (xem bài 11).
11

LXC không đặc quyền cho dịch vụ nhẹ

Chọn Docker trên VM, LXC hay VM native · Tạo CT từ template chính thức · CT template và clone

Quyết định của series (2026-10-15): ứng dụng nào triển khai được bằng Docker thì ưu tiên Docker (VM clone từ template 9001), rồi mới tới LXC. LXC là phương án nhẹ hơn VM cho dịch vụ nhỏ, một tiến trình, không có image Docker phù hợp. Mục này dựng CT Ubuntu 24.04 không đặc quyền (unprivileged), chuyển thành template, clone, sao lưu và đưa vào HA. CTID dùng chung không gian VMID của cả cluster: một con số chỉ có thể là VM hoặc CT. Dịch vụ nào chuyển sang LXC thì lấy đúng VMID trong bảng quy hoạch làm CTID (Headscale = 232) và không dựng song song VM cùng số.

11.1 Chọn Docker trên VM, LXC hay VM native

Dịch vụ của bạn…ChọnLý do
Có image/compose chính thức hoặc được hãng khuyến nghị (Pi-hole, Authentik, Gitea, Harbor, Wazuh…)Docker Engine + Compose trên VM (template 9001)Mặc định của series; VM giữ cô lập mạnh và live migration
Nhẹ, một tiến trình (binary Go/Rust), không có Docker phù hợp, không cần module nhân riêng, chấp nhận khởi động lại khi chuyển nodeLXC không đặc quyềnKhông có hệ điều hành thứ hai, tốn ít RAM/đĩa, khởi động nhanh
Gắn với hệ điều hành/nhân/phần cứng, cần live migration, passthrough, Windows, hoặc chứa bí mật rất nhạy cảmVM nativeNhân riêng, ranh giới ảo hoá
Dịch vụ labLXC?CTID · IP · VLAN · node (nếu chọn LXC)Lưu ý
step-CA (13), Vault (34)Cách chính của bài 13 và 34 là Docker trên VM (template 9001); CT chỉ hợp với phương án chạy native (gói .deb/binary + systemd) ở phần phương án thay thế của từng bài242 · 10.11.25.42 · 25 · node1; 269 · 10.11.25.10 · 25 · node1Chứa khoá CA/bí mật: nhân dùng chung nên môi trường nghiêm ngặt vẫn nên chọn VM. Giữ đường dẫn dữ liệu chuẩn (step-CA: /etc/step-ca) trên rootfs hoặc mp0 thuộc vm-ceph, không bind mount thư mục của node, để HA/backup đi theo CT. Vault trong CT: mlock/swap cần kiểm lại
Headscale (20), MediaMTX (27)Cách chính của hai bài là Docker trên VM (template 9001); CT chỉ hợp với phương án chạy native (gói .deb/binary + systemd)232 · 10.11.35.10 · 35 · node2; 241 · 10.11.65.41 · 65 · node1Cổng công khai/RTSP đi qua FortiGate như bản VM; đo CPU khi nhiều luồng
NUT upsd + snmp-ups tới NMC (bài 10)Phù hợp (không cần USB)không có CTID chuẩnBài 10 đặt upsd trên node1. Nếu upsd nằm trong CT của cụm, CT bị tắt giữa chuỗi shutdown và các node mất upsd trước khi tắt xong; chỉ dùng CT đặt ngoài cụm (site phụ, node standalone)
Samba file server (26, VM251)Làm được, lab giữ VM251Cần acl=1 trên rootfs/mount point. Samba lưu ACL ở xattr security.NTACL (mặc định); ghi security.* trong CT không đặc quyền thường bị từ chối (báo cáo cộng đồng), cách thường dùng là acl_xattr:security_acl_name = user.NTACL nhưng tài liệu Samba cảnh báo user cục bộ ghi đè được. Cần kiểm lại trên máy thật
Không nên: Samba AD DC (25), K3s (28), mọi Docker host, PBS/PDM, WindowsKhông—DC cần ACL/xattr đầy đủ trên SYSVOL và là hạ tầng gốc của domain (khuyến nghị VM); K3s/Docker cần nhân và cgroup riêng; Windows không chạy trong LXC
Docker KHÔNG chạy trong LXC. Tài liệu PVE: khi cần cô lập tối đa và live migration, lồng container ứng dụng trong VM QEMU vẫn là cách được khuyến nghị. Về kỹ thuật, Docker trong CT cần tính năng keyctl (tài liệu PVE: bắt buộc để chạy Docker trong CT) và thường cả nesting, tức là nới cô lập, nên lab không làm. PVE 9.2 có tạo CT từ ảnh OCI ("application container") nhưng tài liệu ghi là technology preview: không dùng cho dịch vụ thật của lab.

11.2 Tạo CT từ template chính thức

Làm trên node1 (root). Tệp template nằm ở storage local của từng node; rootfs của CT nằm trên vm-ceph nên storage này phải có loại nội dung Container (rootdir).

Cách 1: Web UI Proxmox (GUI)

  1. node1 → local → CT Templates → Templates → chọn ubuntu-24.04-standard → Download.
  2. Nút Create CT (góc trên phải): General (CT ID, Hostname, Resource Pool, SSH public key, tick Unprivileged container, để Nesting tắt) → Template → Disks (vm-ceph, 8 GiB) → CPU → Memory → Network (Bridge vmbr0, VLAN Tag, IPv4 Static, Gateway) → DNS → Finish.

Cách 2: CLI (pveam, pct)

grep -A6 '^rbd: vm-ceph' /etc/pve/storage.cfg            # 'content' phải có rootdir; thiếu thì: pvesm set vm-ceph --content images,rootdir
pveam update                                             # cập nhật danh mục template
pveam available --section system | grep 'ubuntu-24.04'   # (mẫu) system  ubuntu-24.04-standard_24.04-2_amd64.tar.zst
pveam download local ubuntu-24.04-standard_24.04-2_amd64.tar.zst && pveam list local

CTID=9020          # CT template, cùng không gian ID với VMID 9000/9001
ls /etc/pve/nodes/*/{qemu-server,lxc}/ | grep -x -E '9020.conf|9300.conf' || echo "ID 9020/9300 còn trống"
pct create $CTID local:vztmpl/ubuntu-24.04-standard_24.04-2_amd64.tar.zst \
  --hostname tpl-ct-ubuntu-2404 --ostype ubuntu --unprivileged 1 --features nesting=0 \
  --cores 1 --memory 512 --swap 256 --rootfs vm-ceph:8 \
  --net0 name=eth0,bridge=vmbr0,tag=45,ip=10.11.45.99/24,gw=10.11.45.1,firewall=0 \
  --nameserver "1.1.1.1 8.8.8.8" --searchdomain hoatranlabs.local --timezone Asia/Ho_Chi_Minh \
  --ssh-public-keys /root/lab/admin_keys.pub --onboot 0 --tags "template;ct-ubuntu-2404" --pool pool-infra
pct start $CTID
pct exec $CTID -- bash -c 'ip -br addr show eth0; ping -c1 -W3 1.1.1.1; getent hosts archive.ubuntu.com'

Tên template đã đối chiếu với danh mục aplinfo-pve-9.dat (cái pveam update tải về) ngày 2026-10-15; danh mục cũng có Ubuntu 26.04, series dùng 24.04. Tên đổi khi Proxmox phát hành bản mới (24.04-3…): luôn lấy từ pveam available. --ssh-public-keys chỉ cài khoá cho root của CT; --password bỏ trống nên root không đăng nhập bằng mật khẩu. CT dùng đồng hồ của node (không cài chrony) và không có qemu-guest-agent. Tạo ct-bootstrap.sh trên node1 để lập user sysadmin + sudo như VM cloud-init:

#!/usr/bin/env bash
# ct-bootstrap.sh — chạy BÊN TRONG CT Ubuntu 24.04 (root): cập nhật, gói nền, user sysadmin + sudo.
# Cách dùng:  bash ct-bootstrap.sh           # CT dịch vụ
#             bash ct-bootstrap.sh --seal    # thêm bước dọn dấu vết, dùng trước khi biến CT thành template
set -euo pipefail
export DEBIAN_FRONTEND=noninteractive NEEDRESTART_MODE=a
. /etc/os-release; [ "${VERSION_ID}" = "24.04" ] || { echo "Cần Ubuntu 24.04, đang là ${VERSION_ID}" >&2; exit 1; }
[ -s /root/.ssh/authorized_keys ] || { echo "Thiếu khoá SSH: tạo CT với --ssh-public-keys" >&2; exit 1; }

echo "[1/4] Cập nhật và cài gói nền"
apt-get update && apt-get -y dist-upgrade
apt-get -y install openssh-server sudo curl wget ca-certificates gnupg jq vim htop dnsutils net-tools

echo "[2/4] User sysadmin: khoá SSH sao từ root, sudo không hỏi mật khẩu (giống VM cloud-init)"
id sysadmin >/dev/null 2>&1 || adduser --disabled-password --gecos "" sysadmin
usermod -aG sudo sysadmin
install -d -m 700 -o sysadmin -g sysadmin /home/sysadmin/.ssh
install -m 600 -o sysadmin -g sysadmin /root/.ssh/authorized_keys /home/sysadmin/.ssh/authorized_keys
echo 'sysadmin ALL=(ALL) NOPASSWD:ALL' > /etc/sudoers.d/90-sysadmin
chmod 440 /etc/sudoers.d/90-sysadmin && visudo -cf /etc/sudoers.d/90-sysadmin

echo "[3/4] SSH chỉ bằng khoá, không cho root (vào root của CT bằng pct enter trên node)"
printf 'PermitRootLogin no\nPasswordAuthentication no\n' > /etc/ssh/sshd_config.d/10-lab.conf
sshd -t && systemctl restart ssh

echo "[4/4] Dọn dẹp"
apt-get -y autoremove --purge && apt-get clean
if [ "${1:-}" = "--seal" ]; then
  : > /etc/machine-id; rm -f /var/lib/dbus/machine-id   # systemd cấp machine-id mới khi clone boot lần đầu
  rm -rf /var/lib/apt/lists/* /tmp/* /var/tmp/* /root/.bash_history /home/*/.bash_history /root/ct-bootstrap.sh
  journalctl --rotate && journalctl --vacuum-time=1s
fi

Đẩy script vào CT build, chạy rồi kiểm tra SSH bằng sysadmin từ máy quản trị. node_exporter 1.12.1 cài sau khi clone (mục 11.3) bằng install-node-exporter.sh của bài 15 (Bước 5), không nướng vào template, cùng lý do với template VM:

pct push $CTID /root/lab/ct-bootstrap.sh /root/ct-bootstrap.sh --perms 755
pct exec $CTID -- bash /root/ct-bootstrap.sh --seal          # CT dịch vụ thường: bỏ --seal
ssh [email protected] 'id; sudo -n true && echo sudo OK'  # từ máy quản trị (xoá known_hosts cũ của .99 nếu cảnh báo)

11.3 CT template và clone

pct shutdown $CTID --timeout 60
pct set $CTID --net0 name=eth0,bridge=vmbr0,tag=45,ip=dhcp,firewall=0   # bỏ IP tạm .99 khỏi template
pct template $CTID && pct config $CTID | grep -E '^(template|rootfs|unprivileged|features)'

# CT thử: mặc định từ template là clone LIÊN KẾT (không xoá được template khi còn clone)
pct clone 9020 9300 --hostname ct-demo --pool pool-test --description "CT thử nghiệm, bài 07 mục 11.3"
pct set 9300 --net0 name=eth0,bridge=vmbr0,tag=45,ip=10.11.45.99/24,gw=10.11.45.1,firewall=0 --tags "lab;test"
pct start 9300
pct push 9300 /root/lab/install-node-exporter.sh /root/install-node-exporter.sh --perms 755   # script của bài 15, Bước 5
pct exec 9300 -- bash /root/install-node-exporter.sh && pct exec 9300 -- bash -c 'curl -s localhost:9100/metrics | head -3'

# CT dịch vụ lâu dài: clone ĐẦY ĐỦ, đặt sang node khác (ví dụ NẾU chọn LXC cho Headscale thay VM232; không chạy khi VM232 đã tồn tại)
pct clone 9020 232 --hostname headscale --full 1 --storage vm-ceph --pool pool-infra --target node2
ssh root@node2 "pct set 232 --cores 2 --memory 1024 --net0 name=eth0,bridge=vmbr0,tag=35,ip=10.11.35.10/24,gw=10.11.35.1,firewall=0 --tags 'lab;infra' --onboot 1 && pct resize 232 rootfs 16G && pct start 232"

Theo mục "Guest Operating System Configuration" của tài liệu PVE, PVE tự đặt hostname, mạng, DNS và sinh lại khoá SSH host trong CT. Sau khi clone, kiểm ssh-keygen -lf /etc/ssh/ssh_host_ed25519_key.pub khác template và cat /etc/machine-id không trùng (cần kiểm lại trên máy thật). Quy ước giữ nguyên: --pool (bài 08), --tags, --onboot 1 cho dịch vụ, DNS về Pi-hole 10.11.45.53 sau bài 12 (pct set <CTID> --nameserver 10.11.45.53).

11.4 Vận hành CT: backup, HA, tài nguyên, thư mục dữ liệu, firewall

  • Backup (pbs-primary): vzdump 9300 --storage pbs-primary --mode snapshot. Chế độ snapshot dùng snapshot của storage (RBD hỗ trợ) và chỉ treo CT chốc lát; suspend rsync dữ liệu ra thư mục tạm và cần chỗ trống; stop tắt CT trong suốt lúc backup. Job theo pool (mục 10.2) lấy luôn CT mới; thêm 9020 vào ô Exclude như 9000/9001. Bind mount và device mount không bao giờ nằm trong backup; mount point volume chỉ vào backup khi backup=1. Khôi phục thử: pvesm list pbs-primary --vmid 9300 rồi pct restore 9301 pbs-primary:backup/ct/9300/<thời-điểm-UTC> --storage vm-ceph --unique 1 (bài 11, mục 8). Snapshot trước khi nâng cấp: pct snapshot 9300 truoc-nang-cap, pct rollback 9300 truoc-nang-cap.
  • HA: ha-manager add ct:<CTID> --state started --max_restart 2 --max_relocate 1 (rule node-affinity như bài 03, mục 7.3). CT không live migrate: chuyển node là restart migration (dừng, chuyển, khởi động; mặc định chờ tắt tối đa 180 giây): pct migrate 9300 node3 --restart. Bảo trì node (bài 06) cũng làm CT khởi động lại: dịch vụ không chấp nhận gián đoạn ngắn thì chạy trong VM hoặc có bản dự phòng ở node khác. HA chỉ an toàn khi rootfs và mọi mount point nằm trên storage chia sẻ (vm-ceph).
  • Tài nguyên: pct set 9300 --cores 2 --memory 1024 --swap 512 (cores giới hạn số CPU nhìn thấy, thêm --cpulimit để chặn thời gian CPU, memory/swap là giới hạn cgroup); mở rộng đĩa pct resize 9300 rootfs +4G (không thu nhỏ được).
  • Dữ liệu và UID: root trong CT là uid 100000 trên node (uid N trong CT là 100000+N). Mount point volume pct set 9300 --mp0 vm-ceph:20,mp=/srv/data,backup=1 đi theo CT khi migrate/HA/backup. Bind mount thư mục của node chỉ dùng cho dữ liệu cục bộ: nguồn phải là thư mục dành riêng (không bind /, /var, /etc), chỉ root@pam cấu hình được, không backup/snapshot và phải tồn tại ở node đích.
# (a) Đơn giản: thư mục thuộc uid đã ánh xạ của sysadmin (uid 1000 trong CT = 101000 trên node; kiểm bằng pct exec 9300 -- id -u sysadmin)
mkdir -p /mnt/bindmounts/shared && chown 101000:101000 /mnt/bindmounts/shared
pct set 9300 --mp1 /mnt/bindmounts/shared,mp=/shared
# (b) Nâng cao (idmap, mẫu theo wiki PVE "Unprivileged LXC containers", cần kiểm lại): cho uid/gid 2000 của CT TRÙNG 2000 trên node.
#     Chọn uid CHƯA có tệp trong CT; áp idmap cho uid đã có tệp sẽ làm lệch chủ sở hữu.
echo 'root:2000:1' >> /etc/subuid; echo 'root:2000:1' >> /etc/subgid     # thêm dòng, KHÔNG xoá dòng root:100000:65536
# /etc/pve/lxc/9300.conf — thêm vào PHẦN CHÍNH (trước mọi mục [snapshot]) khi CT đã dừng
lxc.idmap: u 0 100000 2000
lxc.idmap: g 0 100000 2000
lxc.idmap: u 2000 2000 1
lxc.idmap: g 2000 2000 1
lxc.idmap: u 2001 102001 63535
lxc.idmap: g 2001 102001 63535
  • Firewall CT (bài 05, mục 7): cơ chế giống VM: bật cờ firewall=1 trên net0 (giữ nguyên MAC) và tạo /etc/pve/firewall/<CTID>.fw. Không đặt .fw hay ipfilter-net0 trong template CT, vì pct clone sao chép theo (xem cảnh báo ở mục 2.4). UFW/iptables trong CT không đặc quyền có thể bị hạn chế: dùng firewall của PVE ở NIC của CT (cần kiểm lại trên máy thật).
pct set 9300 --net0 "$(pct config 9300 | sed -n 's/^net0: //p' | sed -E 's/,?firewall=[01]//'),firewall=1"
cat > /etc/pve/firewall/9300.fw <<'EOF'
[OPTIONS]
enable: 1
policy_in: DROP
policy_out: ACCEPT
log_level_in: info

[IPSET ipfilter-net0]
10.11.45.99

[RULES]
GROUP sg-ssh-admin -i net0
|IN ACCEPT -i net0 -source prometheus -p tcp -dport 9100 # node_exporter (bài 15); bỏ dấu | khi đã có Prometheus
EOF

11.5 So sánh nhanh VM và LXC, rủi ro

Tiêu chíVM (QEMU/KVM)CT (LXC không đặc quyền)
NhânRiêng từng VMDùng chung nhân của node
Cô lậpRanh giới ảo hoá; tài liệu PVE: VM đầy đủ cô lập tốt hơnNamespace, cgroup, AppArmor, user namespace; lỗ hổng nhân của node ảnh hưởng mọi CT
Khi bị chiếm quyền rootỞ trong VMLà uid 100000 trên node nhưng cùng nhân với node
Tài nguyênCấp RAM/CPU cho cả OS kháchKhông có OS thứ hai, RAM dùng đến đâu tính đến đó
Di chuyểnLive migrationChỉ restart migration
Hệ điều hành, thiết bịMọi OS; PCI/USB passthroughChỉ Linux; thiết bị hạn chế

Rủi ro cần nhớ: (1) reboot node sau khi cập nhật nhân (bài 06) làm CT trên node đó khởi động lại vì CT không live migrate được, kế hoạch bảo trì phải tính downtime ngắn cho từng CT; (2) không dùng CT đặc quyền (LXC coi là không an toàn) và đừng bật thêm nesting, keyctl, fuse, mount nếu dịch vụ không đòi hỏi; (3) nếu dịch vụ systemd báo lỗi namespace (status=226/NAMESPACE) thì bật pct set <CTID> --features nesting=1 (tài liệu: systemd dùng nesting để cô lập dịch vụ) rồi ghi lại là ngoại lệ, cần kiểm lại trên máy thật; (4) CT là hạ tầng nhẹ nên vẫn cần cập nhật định kỳ (apt trong CT) và cập nhật template CT hàng tháng như mục 10.1; (5) dịch vụ nào về sau cần Docker, ACL phức tạp hoặc live migration thì đổi sang VM (clone từ 9000/9001) và chuyển dữ liệu qua rsync/PBS.

Mở rộng tới hàng trăm node/VM

ViệcCách làm khi từ 1 cluster lên nhiều cluster
Đơn vị triển khaiMỗi cluster là một "đơn vị": thư mục riêng clusters/<tên>/ trong Git gồm vms.csv, tofu/ (một state riêng) và inventory Ansible; token API riêng cho mỗi cluster
Template đồng nhấtTemplate là tài nguyên của từng cluster (đĩa nằm trên storage của cluster, không sao chép giữa cluster). Đồng nhất bằng cách chạy cùng ảnh (đối chiếu SHA-256) và cùng lab-bake.sh trên mỗi cluster, giữ VMID template giống nhau (9000/9001) để CSV/module dùng chung
Thứ tự phát hànhCluster staging trước (bài 06 nêu quy trình theo vòng), kiểm thử, rồi production; không build template trực tiếp trên production
Tốc độOpenTofu mặc định chạy 10 thao tác song song (-parallelism), clone.retries xử lý timeout khi clone nhiều VM một lúc; Ansible dùng forks và throttle cho tác vụ clone. Clone đồng thời nhiều VM tranh I/O Ceph: đo thời gian clone trên cluster của bạn, đừng dùng số liệu của bài
Quan sát tập trungProxmox Datacenter Manager (bài 04) hiển thị nhiều cluster và thực hiện migration liên cluster, cập nhật; tài liệu PDM không nêu chức năng tạo VM hàng loạt nên việc dựng VM vẫn do IaC đảm nhiệm
Dựng node mớiPVE hỗ trợ cài tự động bằng tệp trả lời (xem tài liệu "Automated Installation", ngoài phạm vi bài); sau khi node lên, Ansible áp cấu hình nền (bài 05, 06, 09)
Nguồn sự thậtQuy mô nhỏ: vms.csv trong Git. Quy mô lớn: NetBox (bài 23) giữ VM dự kiến (trạng thái planned), IaC đọc từ đó

NetBox làm nguồn sự thật (tuỳ chọn, làm sau bài 23). Ý tưởng: nhân viên khai VM trong NetBox → OpenTofu đọc danh sách VM planned, dựng, rồi bạn đổi trạng thái sang active. Provider e-breuninger/netbox có data source netbox_virtual_machines trả về name, vcpus, memory_mb, disk_size_mb, primary_ip4, custom_fields; thông tin riêng của Proxmox (VMID, node, VLAN, template) đặt trong custom field. Inventory Ansible thay csv_inventory.py bằng plugin netbox.netbox.nb_inventory (cần thư viện pynetbox).

Cột vms.csvNguồn trong NetBox
name, cores, mem, diskTên VM, vcpus, memory_mb, disk_size_mb / 1024
ipprimary_ip4 (dạng 10.11.45.151/24, bỏ phần mặt nạ)
vmid, node, vlan, tpl, poolCustom field (pve_vmid, pve_node, pve_vlan, pve_template, pve_pool)
data "netbox_virtual_machines" "planned" {
  filter {
    name  = "status"
    value = "planned"
  }
}
locals {
  vms = { for v in data.netbox_virtual_machines.planned.vms : v.name => {
    ip = split("/", v.primary_ip4)[0], cores = v.vcpus, mem = v.memory_mb, disk = v.disk_size_mb / 1024
    vmid = v.custom_fields["pve_vmid"], node = v.custom_fields["pve_node"]
  } }
}
Đoạn trên là bản phác thảo: bảng tương thích của provider ghi NetBox 4.3–4.6.5, còn bài 23 dùng NetBox 4.7 — cần kiểm lại trên máy thật (provider chỉ cảnh báo không chặn). Tên trường custom và định dạng primary_ip4 cũng cần kiểm.

Tích hợp (làm sau khi hoàn thành bài NN)

Sau bàiViệc cần làm
05 (Firewall)Mở 22/tcp từ ops01 tới các node, 8006/tcp từ ops01 tới API; bật firewall VM và rule theo mục 7 của bài 05 (IPSet ipfilter-net0 đã được script sinh bằng --ipfilter)
06 (Cập nhật cuốn chiếu)Playbook chạy từ ops01 bằng sysadmin (Bước 7.3); thư mục /srv/backup/pve-preupdate đã tạo. Bài 06 hướng dẫn apt install ansible (9.2.0): bỏ lệnh đó nếu đã cài bằng pipx ở bài này, playbook vẫn chạy với ansible-core 2.20 (chưa chạy thử trên máy thật)
08 (RBAC)pve-rbac-apply.sh chuẩn hoá token svc-automation@pve!ansible; đặt hạn dùng và quy trình xoay vòng token
09 (Chứng chỉ)Node dùng chứng chỉ của step-CA: bật xác thực chứng chỉ (validate_certs: true, bỏ insecure = true/PROXMOX_VE_INSECURE) sau khi ops01 tin cậy root CA
10, 11 (Thông báo, Runbook)Bật cảnh báo dung lượng Ceph (OSD_NEARFULL, rule CephOsdUsageN1 60%, bài 10 mục 5 và 8.4) cho cả hai tầng SSD/HDD trước khi dựng VM nặng; mục 8.7 của bài này dùng lại quy trình "Ceph đầy" ở bài 11 mục 9.1
12 (Pi-hole)./create-lab-vms.sh --reconfigure để chuyển DNS các VM sang 10.11.45.53; thêm bản ghi cho ops01 (đã có trong script bài 12)
15 (Giám sát)Cài node_exporter 1.12.1 cho ops01 bằng script Bước 5 của bài 15 (không nướng vào template để tránh trùng với VM235/VM236)
22 (Gitea)Đưa ~/lab-iac lên Git (loại *.tfstate, pve.env)
23 (NetBox)Nguồn sự thật tuỳ chọn như mục trên; khai VM ops01 và 30 VM vào NetBox
32, 34 (SeaweedFS S3, Vault)Backend S3 cho state của OpenTofu (bucket tofu-state, bài 32 mục 4.6); token API lưu trong Vault thay cho tệp pve.env

Troubleshooting

Triệu chứngNguyên nhânCách xử lý
qm set --sshkeys báo khoá không hợp lệTệp khoá có dòng trống, sai định dạng OpenSSH hoặc là khoá riêngMỗi dòng một khoá công khai (ssh-ed25519 AAAA… ghi chú); kiểm bằng ssh-keygen -lf /root/lab/admin_keys.pub
VM clone boot nhưng không có mạngThiếu ipconfig0; sai VLAN tag; không có ổ cloud-init; gateway saiqm cloudinit dump <VMID> network; trong VM cloud-init status --long, /var/log/cloud-init.log; ip -br addr (NIC tên eth0)
Hostname/user không đổi sau cloneTemplate còn trạng thái cũ trong /var/lib/cloudDựng lại template, chắc chắn cloud-init clean đã chạy (mục 2.3)
Cảnh báo "REMOTE HOST IDENTIFICATION HAS CHANGED"Clone sinh khoá SSH host mới; hoặc đổi cloud-init làm sinh lại khoássh-keygen -R <IP>; kiểm ssh_deletekeys: false trong /etc/cloud/cloud.cfg.d/99-lab.cfg
QEMU guest agent is not runningChưa cài agent, chưa agent=1, hoặc VM chưa khởi động lại sau khi bật tuỳ chọnqm config <VMID> | grep agent; trong VM systemctl status qemu-guest-agent
can't clone VM to node 'node2' (VM uses local storage)Đĩa template nằm trên storage cục bộChuyển đĩa sang vm-ceph (qm disk move) hoặc clone trên đúng node chứa đĩa
VM không khởi động: volume 'local:snippets/…' does not existSnippet cicustom chưa có trên node đích (migration/HA)sync-snippets.sh hoặc dùng storage chia sẻ; hoặc gỡ cicustom
Permission check failed (/vms/9000, VM.Clone) với tokenThiếu ACL cho token hoặc user (token tách quyền lấy giao)pveum user permissions 'svc-automation@pve!ansible' --path /vms/9000; gán ACL cho cả --users lẫn --tokens; token chỉ tạo VM trong pool-test (bài 08)
VM mất mạng ra ngoài sau khi bật firewall VMipfilter-net0 sai IP (clone sao chép .fw của template)Chạy ./create-lab-vms.sh --reconfigure --ipfilter; template không được có .fw (bài 05, mục 7.2)
Failed to import the required Python library (proxmoxer)Playbook chạy bằng Python hệ thống thay vì venv pipxGiữ ansible_python_interpreter: "{{ ansible_playbook_python }}"; pipx inject ansible-core "proxmoxer>=2.3" requests
tofu apply treo rất lâu ở bước chờ IPGuest agent không chạy trong VM (provider chờ tối đa theo agent.timeout)Sửa template (cài agent) hoặc đặt agent { enabled = false } cho VM đó
Ubuntu cloud image không boot đĩa scsi0Bộ điều khiển SCSI không phải virtio-scsi-pciqm set <VMID> --scsihw virtio-scsi-pci
Đĩa đã qm resize nhưng df vẫn nhỏVM đã chạy: cloud-init chỉ nới ở lần boot đầuTrong VM: sudo growpart /dev/sda 1 && sudo resize2fs /dev/sda1 (kiểm tên phân vùng bằng lsblk)
ceph health báo nearfull sau khi dựng nhiều VMDữ liệu thật (cộng cả phần các full clone chép ngay từ template) vượt vùng an toàn của tầng đóceph df detail, ceph osd df tree; sao lưu rồi qm destroy --purge VM chưa cần (tắt VM không trả chỗ), fstrim -av, thêm OSD (bài 03 mục 7.6); xem mục 8.7
create-lab-vms.sh thoát: Storage 'vm-bulk' không tồn tạiChưa tạo pool/storage HDD hoặc gõ sai IDLàm mục 8.5 (pveceph pool create vm-bulk … --add_storages 1, kiểm pvesm status); hoặc tạm --no-data-disk
Đĩa dữ liệu của VM vẫn nằm trên SSD dù đặt LAB_DATA_STORAGEQuên đặt biến (mặc định bằng LAB_STORAGE, script có in cảnh báo), hoặc vm-bulk dùng nhầm rule SSDqm config <VMID> | grep scsi1; ceph osd pool ls detail | grep vm-bulk phải có rule-hdd; chuyển bằng qm disk move <VMID> scsi1 vm-bulk --delete 1
ceph osd pool autoscale-status không in gì, hoặc vm-ceph đang nằm cả trên OSD HDDCó pool (thường là .mgr) còn dùng replicated_rule bao trùm mọi class; hoặc OSD bị nhận sai classceph osd pool set .mgr crush_rule rule-ssd; ceph osd tree kiểm CLASS rồi sửa bằng rm-device-class/set-device-class (mục 8.5)
pct create không cho chọn vm-ceph làm rootfs, hoặc báo không tìm thấy template trên node2Storage thiếu loại nội dung Container (rootdir); hoặc tệp template chỉ được tải ở local của node khácpvesm set vm-ceph --content images,rootdir (giữ các loại cũ); pveam download local <tên> trên đúng node đang tạo CT (Bước 11)
Dịch vụ trong CT không khởi động, systemctl status có status=226/NAMESPACEnesting=0 chặn cơ chế cô lập dịch vụ của systemd (tài liệu PVE: systemd dùng nesting)pct set <CTID> --features nesting=1, khởi động lại CT và ghi là ngoại lệ; cần kiểm lại trên máy thật

Checklist nghiệm thu

  • Storage local bật Snippets; thư mục /var/lib/vz/snippets có trên cả 4 node
  • Ba pool pool-infra, pool-prod, pool-test tồn tại
  • Ảnh Ubuntu cloud đã kiểm SHA-256 và chữ ký GPG (fingerprint D2EB 4462 …7C81)
  • Template 9000 tpl-ubuntu-2404 là template, agent=1, ciupgrade=0, có ổ cloud-init, nằm trong pool-infra
  • Template 9001 tpl-ubuntu-2404-docker có Docker 29.9.1 (repo noble) và nằm trong pool-infra
  • Không tồn tại /etc/pve/firewall/9000.fw và 9001.fw; net0 của template firewall=0
  • Clone thử boot được: hostname, user sysadmin, khoá SSH, IP, DNS đúng; NIC eth0
  • Khoá SSH host và machine-id của clone khác template
  • ops01 (VM290, 10.11.45.20, node2, pool-infra) chạy, có Ansible, OpenTofu, proxmoxer
  • Token svc-automation@pve!ansible (privsep) gọi được API; pveum user permissions thấy VM.Clone trên /vms/9000
  • sysadmin có sudo trên 4 node; ops01 SSH vào node bằng khoá có from=; /srv/backup/pve-preupdate tồn tại trên ops01
  • ./create-lab-vms.sh --list khớp bảng quy hoạch (30 VM + ops01); đã đối chiếu dung lượng thật của vm-ceph và vm-bulk (mục 8.4) và RAM từng node
  • ceph osd tree có OSD class ssd (4 OSD) và hdd (4 OSD); ceph osd pool ls detail cho vm-ceph dùng rule-ssd, vm-bulk dùng rule-hdd; .mgr đã chuyển sang rule-ssd
  • Storage vm-bulk active trên cả 4 node (pvesm status); đĩa phụ scsi1 của VM235/239/241/251/267/268 nằm trên vm-bulk, không có ssd=1
  • Đã dựng VM theo giai đoạn (mục 8.6), sau mỗi giai đoạn ceph df detail còn dưới vùng an toàn (≈ 60% raw); quota pool và cảnh báo CephOsdUsageN1 (bài 10) đã bật
  • Ít nhất một lần dựng VM bằng script, một lần bằng Ansible và một lần bằng OpenTofu cho VM thử (pool-test) rồi dọn
  • VM mới nằm đúng pool; ipfilter-net0 đúng IP từng VM (khi dùng --ipfilter)
  • Đã ghi lịch cập nhật template (hàng tháng) và người phụ trách
  • (Nếu dùng LXC) CT template 9020 tpl-ct-ubuntu-2404 là template, unprivileged: 1, nesting=0, nằm trong pool-infra; CT clone có user sysadmin + sudo, khoá SSH host và machine-id khác template, CTID trùng VMID chuẩn của dịch vụ
  • (Nếu dùng LXC) CT thử đã backup lên pbs-primary (mode snapshot) và pct restore thử thành công; CT dịch vụ trong HA có rootfs và mọi mount point trên vm-ceph

Tài liệu tham khảo

Zalo