System & Network Cluster · Ceph · HA
Bài 03 · Lab thực chiến · 4 node · Step-by-Step

Triển khai Cluster + Ceph + HA

Từ 4 node Proxmox rời rạc thành một cụm HA hoàn chỉnh: corosync cluster, Ceph Tentacle 20.2 với MON/MGR/OSD, pool vm-ceph replication 3, watchdog softdog và HA rules để VM tự migrate khi node chết.

Proxmox VE 9.2.20 Ceph Tentacle 20.2.4 4 node · 4 OSD SSD · 800 GB (745 GiB) ~3 giờ
00

Quorum & điều kiện triển khai

Vì sao cần số node lẻ · QDevice cho 2 node · Checklist trước khi bắt đầu

Proxmox dùng Corosync để quản lý cluster, đòi hỏi phải có quorum (số phiếu quá bán) thì hệ thống mới tự động di chuyển và khởi động lại VM khi một node gặp sự cố. Không có quorum → cluster chuyển sang read-only và HA không kích hoạt.

Quorum theo số node

Cấu hình Mất 1 node Mất 2 node HA hoạt động?
4 node (lab này)3/4 phiếu — quorum OK2/4 phiếu — mất quorum (cần > 2/4, tức tối thiểu 3 phiếu)⚠️ Chịu được 1 node chết; mất 2 node thì cụm chuyển read-only
3 node2/3 phiếu — quorum OK1/3 — mất quorum⚠️ Chỉ chịu được 1 node chết
2 node1/2 = 50% — mất quorum—❌ Không, cần QDevice
Chỉ có ngân sách cho 2 server? Bắt buộc cài thêm QDevice — một dịch vụ rất nhẹ cung cấp phiếu bầu thứ 3, chạy được trên Raspberry Pi, một VM ở nền tảng khác, hoặc NAS hỗ trợ container. 2 node Proxmox + 1 QDevice = 3 phiếu → HA hoạt động chính xác.
Split-brain: khi cụm mất quorum, Proxmox tự chuyển /etc/pve sang chế độ chỉ đọc. Đây là cơ chế bảo vệ dữ liệu, không phải lỗi — nếu hai nửa cụm cùng ghi sẽ hỏng dữ liệu vĩnh viễn.

Điều kiện cần & đủ cho Ceph + HA

Phải đáp ứng TẤT CẢ trước khi bắt đầu:

  • PVE cluster: ≥ 3 node đã join (pvecm status → Quorum OK, Votes ≥ 3)
  • Ceph OSDs: ≥ 3 OSD trên ≥ 3 host vật lý riêng biệt (để replication=3 hoạt động)
  • RAM mỗi node: ≥ 4 GB dành riêng cho Ceph (khuyến nghị 8 GB+ nếu nhiều OSD)
  • Disk OSD: raw block device sạch — không partition / filesystem / LVM
  • Network: ít nhất 1 NIC cho Ceph public/cluster network (lab: 10.11.45.0/24)
  • OS: Proxmox VE 9 / Debian 13 Trixie — Ceph Tentacle 20.2 yêu cầu trixie trở lên
Dung lượng trong bài là đĩa mẫu. Ảnh chụp và số trong ảnh (1,2 TiB raw, weight 0.29300, vm-ceph ≈ 380 GiB) lấy từ lab mẫu 4 OSD × ~300 GiB. Phần cứng của series là 800 GB SSD + 1 TB HDD, thin provisioning, hai tầng Ceph: 4 node × 200 GB SSD (/dev/sdb, OSD ở mục 5.7, pool vm-ceph, ≈ 745 GiB raw, usable ≈ 248 GiB, vùng an toàn ≈ 149 GiB) và 4 node × 250 GB HDD (/dev/sdc, OSD thêm ở mục 7.6, pool vm-bulk, ≈ 931 GiB raw). Số trong khối lệnh và ghi chú đã tính theo phần cứng này; số trong ảnh giữ nguyên và có nhãn Lab mẫu. Đĩa của bạn khác thì thay vào công thức ở bài 07 mục 8.4. Phần "Bài toán thực tế: chọn storage" ở cuối bài là kịch bản mua phần cứng riêng (3 server, 10 VM), không phải đĩa của lab.
Mục đích của Ceph: cung cấp hệ thống lưu trữ phân tán mở rộng linh hoạt, độ tin cậy cao và không có điểm lỗi đơn (no single point of failure), xây trên phần cứng thông thường. Ceph lo dữ liệu không mất, HA Manager lo VM tự chạy lại — cần cả hai mới bảo vệ trọn vẹn.
01

Cấu hình /etc/hosts và network

Phân giải tên nội bộ · Bridge vmbr0 VLAN-aware · Áp dụng không cần reboot

Làm trước khi tạo cluster: corosync dùng hostname để định danh node. Nếu một node không phân giải được tên của node khác, bước join sẽ treo hoặc lỗi certificate. Chạy khối lệnh dưới đây trên cả 4 node.

1.1 Thêm hostname resolution vào /etc/hosts

# ── Thêm hostname resolution vào /etc/hosts ────────────────
cat >> /etc/hosts << 'EOF'
10.11.45.210  node1  node1.hoatranlabs.local
10.11.45.211  node2  node2.hoatranlabs.local
10.11.45.212  node3  node3.hoatranlabs.local
10.11.45.213  node4  node4.hoatranlabs.local
EOF

# ── Kiểm tra từ node1 ──────────────────────────────────────
ping -c 2 node2          # phải trả về 10.11.45.211
ping -c 2 node3          # phải trả về 10.11.45.212
ping -c 2 node4          # phải trả về 10.11.45.213

# ── Kiểm tra từ node2 ──────────────────────────────────────
ping -c 2 node1          # phải trả về 10.11.45.210
ping -c 2 node3          # phải trả về 10.11.45.212
ping -c 2 node4          # phải trả về 10.11.45.213
Lỗi gõ nhầm hay gặp — kiểm tra kỹ ảnh dưới: trong lab gốc dòng cuối bị gõ thành 10.11.45.213 node3 node4.hoatranlabs.local — tên ngắn là node3 thay vì node4. Hai dòng cùng tên node3 làm ping node4 thất bại và corosync định danh sai node. Chạy getent hosts node4 để xác nhận trước khi đi tiếp.

1.2 Ghi file /etc/network/interfaces

Làm trên node1 trước, rồi lặp lại cho node2/3/4 — chỉ đổi dòng address theo IP của từng node.

# ── Ghi file /etc/network/interfaces ───────────────────────
cat > /etc/network/interfaces << 'EOF'
auto lo
iface lo inet loopback

# Uplink vật lý — không cần auto stanza, bridge tự bring up
iface nic0 inet manual

# Bridge duy nhất — VLAN-aware, mang tất cả VLAN
auto vmbr0
iface vmbr0 inet static
    address  10.11.45.210/24
    gateway  10.11.45.1
    dns-nameservers 8.8.8.8
    bridge-ports    nic0
    bridge-stp      off
    bridge-fd       0
    bridge-vlan-aware yes
    bridge-vids     25 35 45 55 65 75 85
EOF

# ── Áp dụng không cần reboot ───────────────────────────────
ifreload -a

# ── Kiểm tra bridge đã nhận VLAN IDs ───────────────────────
bridge vlan show dev vmbr0
# Phải thấy: 25, 35, 45, 55, 65, 75, 85 trong cột VLAN
Shell node1 hiển thị nội dung /etc/hosts, /etc/network/interfaces và kết quả bridge vlan show
Toàn bộ quá trình trên node1: ghi /etc/hosts → ghi /etc/network/interfaces với bridge-vlan-aware yes → ifreload -a → bridge vlan show dev vmbr0.
Trong ảnh, bridge vlan show mới chỉ hiện 1 PVID Egress Untagged — chưa thấy 25…85. Nếu gặp tình trạng này, kiểm tra ifreload -a có báo lỗi không, hoặc chạy systemctl restart networking. VLAN chỉ thật sự cần khi gắn VM vào VLAN tag — cluster và Ceph trong bài này chạy trên VLAN mặc định nên không chặn các bước sau.
02

Tạo Cluster trên node1

Datacenter › Cluster › Create Cluster · Ring 0 Address

  1. Mở WebUI node1: https://10.11.45.210:8006 → đăng nhập root
  2. Vào Datacenter › Cluster › Create Cluster
  3. Cluster Name: HOATRANHUB · Link 0: 10.11.45.210 (tự động điền)
  4. Click Create → chờ task "Create cluster" hoàn tất
  5. Verify: Datacenter › Cluster → hiện HOATRANHUB, Node count: 1, Quorum: OK
Tên cluster không đổi được sau này. Chọn xong là gắn vĩnh viễn với cụm — muốn đổi phải phá cluster và dựng lại. Đặt tên ngắn, không dấu, không khoảng trắng.
Hộp thoại Create Cluster với ô Cluster Name và Cluster Network Link 0 = 10.11.45.210
Hộp thoại Create Cluster — node1 còn ở trạng thái Standalone node - no cluster defined. Link 0 = 10.11.45.210. Ảnh chụp lúc đang gõ tên; tên chốt cuối cùng trong lab là HOATRANHUB.
Cluster đã tạo xong, Cluster Information hiển thị tên cluster và node1
Sau khi Create — Cluster Information hiện tên cluster, Number of Nodes = 1, node1 có Votes = 1.
03

Join node2 · node3 · node4 vào cluster

Copy Join Information · Assisted join · Verify 4 votes · Rolling restart corosync

3.1 Lấy Join Information từ node1

Trên node1: Datacenter › Cluster › Join Information → bấm Copy Information.

Cửa sổ Cluster Join Information hiển thị IP Address, Fingerprint và chuỗi Join Information mã hóa
Cluster Join Information — gồm IP Address 10.11.45.210, Fingerprint và chuỗi base64 chứa toàn bộ thông tin join. Bấm Copy Information.
Chi tiết chuỗi Join Information và nút Copy Information
Chuỗi Join Information đầy đủ — copy nguyên chuỗi, không cắt bớt.

3.2 Join từ node2 (lặp lại cho node3, node4)

Mở WebUI node cần join → Datacenter › Cluster › Join Cluster → dán chuỗi vào ô Information → nhập Password của root node1 → bấm Join 'HOATRANHUB'.

Hộp thoại Cluster Join với chuỗi Information đã dán, Peer Address 10.11.45.210 và ô Password
B01 dán chuỗi Join Information — Peer Address và Fingerprint tự điền. B02 nhập mật khẩu root của node1 rồi bấm Join.
Task join cluster đang chạy trên node
Task join đang chạy — quá trình đồng bộ certificate và corosync config.
Trình duyệt sẽ mất kết nối — đây là bình thường. Khi join, node sinh certificate mới nên phiên WebUI cũ bị ngắt. Đăng nhập lại để xem kết quả. Đừng bấm lại nút Join.
Server View hiển thị Datacenter HOATRANHUB với node1 đến node4, bảng Cluster Nodes 4 dòng
Sau khi join đủ — Datacenter (HOATRANHUB) với 4 node trong Server View. Cluster Nodes: node1 (.210), node2 (.211), node3 (.212), node4 (.213), mỗi node Votes = 1, Config Version = 4.

3.3 Verify từ CLI

# SSH vào node bất kỳ
pvecm status
pvecm nodes
Kết quả pvecm status từ node2 hiển thị Nodes 4, Total votes 4, Quorum 3, Quorate Yes
pvecm status chạy từ node2 — Name HOATRANHUB, Nodes 4, Quorate: Yes, Expected votes 4, Total votes 4, Quorum 3, membership đủ .210 → .213.
pvecm status và pvecm nodes chạy trên node1 hiển thị 4 node và tên node1-node4
pvecm nodes — bảng membership hiện đủ tên node1 … node4, xác nhận phân giải hostname hoạt động đúng.

3.4 Rolling restart corosync

Restart LẦN LƯỢT, không đồng loạt. Thứ tự bắt buộc: node4 → node3 → node2 → node1 (node1 là Master, restart cuối). Sau mỗi lần restart, chờ pvecm status hiện đủ 4/4 votes rồi mới sang node tiếp theo. Restart cùng lúc = mất quorum toàn cụm.
# ── BƯỚC 1: Restart node4 trước ────────────────────────────
#    Chạy trên node4:
systemctl restart corosync pve-cluster
#    Chạy trên node1 — chờ node4 online lại:
pvecm status       # phải thấy 4/4 votes trước khi tiếp tục

# ── BƯỚC 2: Restart node3 ──────────────────────────────────
#    Chạy trên node3:
systemctl restart corosync pve-cluster
pvecm status       # chờ 4/4 votes

# ── BƯỚC 3: Restart node2 ──────────────────────────────────
#    Chạy trên node2:
systemctl restart corosync pve-cluster
pvecm status       # chờ 4/4 votes

# ── BƯỚC 4: Restart node1 cuối cùng ────────────────────────
#    Chạy trên node1:
systemctl restart corosync pve-cluster

#    Kiểm tra từ bất kỳ node nào:
pvecm status       # Expected: 4, Total: 4, Quorum: 3
04

Cài Ceph Tentacle 20.2 trên cả 4 node

Dọn repo cũ · Thêm ceph-tentacle no-subscription · Cài package · Verify version

Tên bản Ceph — đọc kỹ: tài liệu gốc có chỗ ghi "Ceph Squid" nhưng thực tế lab cài Ceph Tentacle 20.2.4 (Squid là 19.2). Repo đúng là download.proxmox.com/debian/ceph-tentacle suite trixie. Bài này dùng Tentacle nhất quán theo ảnh chụp thực tế.

4.1 Script cài đặt đầy đủ

Mở 4 terminal SSH và chạy đồng thời trên cả 4 node — bước này có thể làm song song vì chưa đụng tới cluster state.

set -e

echo "===== 1. Backup APT repo configuration ====="
BACKUP_DIR="/root/apt-repo-backup-$(date +%F-%H%M%S)"
mkdir -p "$BACKUP_DIR"
cp -a /etc/apt/sources.list /etc/apt/sources.list.d "$BACKUP_DIR/" 2>/dev/null || true
echo "Backup: $BACKUP_DIR"

echo "===== 2. Remove duplicate PVE no-subscription source ====="
# Giữ file deb822 mới; disable file legacy .list trùng lặp để bỏ warning.
if [ -f /etc/apt/sources.list.d/pve-no-subscription.list ]; then
    mv -v \
      /etc/apt/sources.list.d/pve-no-subscription.list \
      /etc/apt/sources.list.d/pve-no-subscription.list.disabled
fi

echo "===== 3. Disable all old/conflicting Ceph repository definitions ====="
mkdir -p /root/disabled-apt-repos

find /etc/apt/sources.list.d -maxdepth 1 -type f \
  \( -iname 'ceph*.list' -o -iname 'ceph*.sources' -o -iname '*squid*.list' -o -iname '*squid*.sources' -o -iname '*tentacle*.list' -o -iname '*tentacle*.sources' \) \
  -exec mv -v {} /root/disabled-apt-repos/ \;

echo "===== 4. Disable Ceph enterprise repo if it exists elsewhere ====="
# Không có subscription thì enterprise trả HTTP 401.
grep -RIl 'enterprise.proxmox.com/debian/ceph' \
  /etc/apt/sources.list \
  /etc/apt/sources.list.d 2>/dev/null \
| while IFS= read -r file; do
    case "$file" in
        /etc/apt/sources.list.d/*)
            mv -v "$file" "/root/disabled-apt-repos/$(basename "$file").enterprise-disabled"
            ;;
        /etc/apt/sources.list)
            cp -a /etc/apt/sources.list "$BACKUP_DIR/sources.list.before-ceph-enterprise-disable"
            sed -i '\|enterprise\.proxmox\.com/debian/ceph|d' /etc/apt/sources.list
            ;;
    esac
done

echo "===== 5. Create the sole Ceph Tentacle no-subscription source ====="
cat > /etc/apt/sources.list.d/ceph.sources <<'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/ceph-tentacle
Suites: trixie
Components: no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF

echo "===== 6. Refresh package indexes ====="
rm -rf /var/lib/apt/lists/*
mkdir -p /var/lib/apt/lists/partial
apt-get update

echo "===== 7. Confirm Ceph Tentacle is selected ====="
apt-cache policy \
  ceph-common ceph-fuse ceph-base ceph-osd ceph-mon ceph-mgr \
  librbd1 librados2 libcephfs2 libradosstriper1 librgw2 \
  python3-cephfs python3-ceph-argparse python3-ceph-common \
  python3-rados python3-rbd python3-rgw

echo "===== 8. Repair interrupted package state ====="
dpkg --configure -a
apt-get -f install -y

echo "===== 9. Install Ceph Tentacle services and dependencies ====="
apt-get install -y \
  ceph ceph-base ceph-common ceph-fuse \
  ceph-mon ceph-mgr ceph-mgr-modules-core \
  ceph-osd ceph-volume \
  python3-pecan python3-werkzeug

echo "===== 10. Verify installed versions ====="
ceph --version
ceph-osd --version
ceph-mon --version
ceph-mgr --version

echo "===== COMPLETE ====="
Kết quả verify hiển thị ceph version 20.2.4 tentacle stable và danh sách package 20.2.4-pve4
Kết quả cuối script: ceph version 20.2.4 … tentacle (stable), toàn bộ package ở bản 20.2.4-pve4, source trỏ đúng download.proxmox.com/debian/ceph-tentacle.
Vì sao phải dọn repo trước khi cài
Vấn đề Hậu quả nếu bỏ qua
Trùng .list và .sourcesapt cảnh báo duplicate, khó đọc log khi gỡ lỗi
Còn repo Squid/Reef cũapt trộn phiên bản, cài nhầm bản không khớp giữa các node
Repo enterprise còn bậtapt update trả HTTP 401, dừng toàn bộ quá trình
Version lệch giữa các nodeOSD/MON không join được cluster, health WARN kéo dài
05

Khởi tạo Ceph: MON · MGR · OSD

pveceph init · Fix bug mon_host · MGR standby · OSD trên /dev/sdb

5.0 Ba thành phần cốt lõi

MON — Monitor

"Trọng tài" của cluster. Giữ cluster map (ai là node, OSD nào up/down, data ở đâu). Mọi client hỏi MON trước khi làm gì. Cần số lẻ (1, 3, 5) để bầu cử đa số — mất 1 trong 3 MON, 2 còn lại vẫn chạy.

MGR — Manager

"Thư ký" của cluster. Cung cấp dashboard, REST API, metrics, plugin (alert, balancer, telemetry). Không ảnh hưởng IO — cluster vẫn đọc/ghi khi MGR down. Cần ≥1 active + 1 standby cho HA.

OSD — Object Storage Daemon

"Kho chứa" thực sự. Mỗi disk = 1 OSD. OSD lưu data, tự nhân bản sang OSD khác (replication=3 → 1 block ghi lên 3 OSD), tự phục hồi khi có OSD lỗi. Cần ≥3 OSD trên ≥3 host khác nhau.

Client → hỏi MON: "data này ở đâu?"
       → MON trả về map: "OSD 0, 1, 2"
       → Client ghi thẳng vào OSD 0, 1, 2 (bỏ qua MON)
MGR    → đứng ngoài quan sát, báo cáo trạng thái

5.1 Init cluster Ceph (CHỈ trên node1)

Tạo cluster ID và /etc/pve/ceph.conf với network Ceph. Node1 là bootstrap — cluster "sinh ra" ở đây.

pveceph init --network 10.11.45.0/24
Lệnh pveceph init --network 10.11.45.0/24 tạo ceph.client.admin.keyring
pveceph init báo creating /etc/pve/priv/ceph.client.admin.keyring — cluster Ceph đã được khởi tạo.

5.2 Tạo MON đầu tiên + fix mon_host

BUG đã biết: pveceph init KHÔNG tự thêm mon_host → ceph -s báo "cannot identify monitors". Phải fix NGAY sau pveceph mon create.
pveceph mon create

# Fix mon_host ngay lập tức:
grep -q 'mon_host' /etc/pve/ceph.conf || \
    sed -i '/^\[global\]/a\\tmon_host = 10.11.45.210' /etc/pve/ceph.conf

# Verify (sau 10 giây):
sleep 10 && ceph -s
# → phải thấy: mon: 1 daemons, quorum node1
Sau khi fix mon_host, ceph -s hiển thị mon 1 daemons quorum node1 và HEALTH_WARN OSD count 0
ceph -s đã kết nối được: mon: 1 daemons, quorum node1, mgr: node1(active). HEALTH_WARN "OSD count 0 < osd_pool_default_size 3" là bình thường vì chưa có OSD.

5.3 Dọn cảnh báo bảo mật

# Bật giao thức mã hóa msgr2
ceph mon enable-msgr2

# Tắt lỗ hổng global_id reclaim cũ
ceph config set mon auth_allow_insecure_global_id_reclaim false

ceph health detail
# → HEALTH_OK (hoặc WARN "OSD count 0" — bình thường khi chưa có OSD)
Kết quả ceph health detail sau khi bật msgr2 và tắt insecure global id reclaim
ceph health detail — hai cảnh báo bảo mật đã biến mất, chỉ còn cảnh báo thiếu OSD.

5.4 Tạo MGR trên node1

BUG đã biết: pveceph mgr create lỗi "No such file or directory" nếu /var/lib/ceph/mgr/ chưa tồn tại. Phải mkdir trước.
mkdir -p /var/lib/ceph/mgr && chown ceph:ceph /var/lib/ceph/mgr
pveceph mgr create
sleep 10
ceph mgr stat
# → active_name: node1, num_standby: 0
Kết quả pveceph mgr create và ceph mgr stat trên node1
MGR đầu tiên chạy trên node1 — active_name: node1.

5.5 Thêm MON trên node2, node3, node4

# Chạy trên node2:
pveceph mon create

# Chạy trên node3:
pveceph mon create

# Chạy trên node4:
pveceph mon create

# Verify từ node1 (sau ~30 giây):
ceph mon stat
Số MON nên là số LẺ. Lab này tạo MON trên cả 4 node → 4 MON, quorum vẫn cần 3/4 — tức là chịu được đúng 1 MON chết, y hệt cấu hình 3 MON nhưng tốn thêm tài nguyên. Khuyến nghị thực tế: 3 MON trên node1/2/3, node4 chỉ chạy OSD.
Kết quả pveceph mon create chạy lần lượt trên node2 đến node4
Tạo MON trên các node còn lại — chạy lần lượt, không song song.
ceph mon stat hiển thị 4 mons node1 đến node4, quorum 0,1,2,3, leader node1
ceph mon stat — 4 mons tại node1…node4 (mỗi MON lắng nghe v2:3300 và v1:6789), election epoch 16, leader node1, quorum 0,1,2,3.

5.6 Thêm MGR standby trên node2

Nếu node1 down, MGR tự failover sang node2. Không bắt buộc nhưng cần cho HA thực sự.

# Chạy trên node2:
mkdir -p /var/lib/ceph/mgr && chown ceph:ceph /var/lib/ceph/mgr
pveceph mgr create

# Verify từ node1:
ceph mgr stat
# → active_name: node1, num_standby: 1
pveceph mgr create chạy trên node2
Tạo MGR thứ hai trên node2.
ceph mgr stat trả về JSON với active_name node1 và num_standby 1
"active_name": "node1", "num_standby": 1 — MGR đã có dự phòng.

5.7 Tạo OSD trên cả 4 node

Làm TỪNG NODE — đợi lệnh trả về xong mới sang node tiếp theo. Mỗi OSD phải đăng ký với MON; làm song song dễ gây race condition. Lệnh này xóa sạch /dev/sdb — kiểm tra kỹ đúng disk trước khi chạy.
# Chạy lần lượt trên node1, node2, node3, node4 (khai class ssd tường minh, đừng để Ceph tự đoán):
pveceph osd create /dev/sdb --crush-device-class ssd

# Verify từ node1 sau khi xong tất cả:
ceph osd tree
# → 4 host, mỗi host 1 OSD (osd.0/1/2/3), STATUS = "up", CLASS = ssd
ceph osd crush class ls
# → [ "ssd" ]   (thấy "hdd": đĩa bị nhận sai class, xem lưu ý bên dưới)

ceph status
# → osd: 4 osds: 4 up, 4 in, ~745 GiB raw (4 × 200 GB SSD)
Khai class tường minh: --crush-device-class ssd (tham số của pveceph osd create) đặt nhãn class cho OSD ngay lúc tạo. Không khai thì Ceph tự đoán theo cờ rotational của ổ; SSD gắn qua máy ảo, RAID hoặc HBA thường bị nhận thành hdd (ảnh ceph osd tree mẫu bên dưới hiện class hdd). Class sai thì CRUSH rule rule-ssd/rule-hdd về sau chọn sai OSD, nên tạo xong hãy kiểm cột CLASS của ceph osd tree và danh sách ceph osd crush class ls. Nếu /dev/sdb của bạn là ổ quay thật thì đổi sang hdd. Rule rule-ssd/rule-hdd và pool vm-bulk làm ở bài 07 mục 8.5.
Log chi tiết pveceph osd create /dev/sdb tạo LVM volume group và bluestore OSD 0
pveceph osd create /dev/sdb — wipe disk, tạo LVM volume group ceph-…, khởi tạo BlueStore, enable và start ceph-osd@0. Kết thúc bằng ceph-volume lvm create successful for: /dev/sdb.
ceph osd tree hiển thị 4 host node1-node4, mỗi host 1 OSD class hdd weight 0.29300 status up
[Lab mẫu 4 × ~300 GiB] ceph osd tree — root default weight 1.17200, 4 host (node1…node4), mỗi host một OSD class hdd weight 0.29300, toàn bộ STATUS = up.
ceph status hiển thị HEALTH_OK, mon 4 daemons, mgr node1 active standby node2, osd 4 up 4 in, 1.2 TiB avail
[Lab mẫu 4 × ~300 GiB] ceph status — HEALTH_OK, mon 4 daemons quorum node1…node4 [leader: node1], mgr node1(active) standbys node2, osd: 4 osds: 4 up, 4 in, usage 107 MiB / 1.2 TiB.
06

Tạo pool vm-ceph và đăng ký storage

size 3 / min_size 2 · PG autoscale · Tự thêm vào Proxmox storage

# Chạy trên node1
pveceph pool create vm-ceph --size 3 --min_size 2 \
    --pg_autoscale_mode on --add_storages 1
Giải thích tham số
Tham số Giá trị Ý nghĩa
vm-cephtên poolTên hiển thị trong Proxmox storage list
--size 33 bản saoMỗi block data ghi lên 3 OSD thuộc 3 node khác nhau → mất tối đa 2 node vẫn không mất dữ liệu (nhưng I/O có thể dừng, xem bên dưới)
--min_size 2tối thiểu 2Vẫn cho phép ghi khi chỉ còn 2 bản sao sống — mất 1 node thì IO không đứng
--pg_autoscale_mode ontự điều chỉnh PGPG (Placement Group) là đơn vị phân phối data. on = Ceph tự tính số PG tối ưu theo số OSD
--add_storages 1đăng ký vào PVETự thêm pool vào Proxmox storage (pvesm) — VM chọn được vm-ceph làm disk ngay
Pool vm-ceph vừa tạo dùng rule mặc định (chọn mọi loại ổ; kiểm bằng ceph osd pool ls detail). Nếu cụm sẽ có thêm OSD HDD (mục 7.6), pool này phải gắn rule-ssd để dữ liệu VM không tràn lên HDD: tạo rule-ssd/rule-hdd rồi ceph osd pool set vm-ceph crush_rule rule-ssd (cả pool .mgr) trước khi thêm OSD HDD đầu tiên (bài 07 mục 8.5, bước 3 và 4). Lỡ thêm OSD HDD trước thì vẫn gắn rule-ssd ngay sau đó, nhưng Ceph phải chuyển dữ liệu VM đang nằm trên HDD về SSD (rebalance lớn, làm ngoài giờ). Cụm chỉ có SSD thì không cần.

Mất node thì sao?

Mất 1 node (còn 3/4 OSD) → vẫn đủ size=3 trên 3 node còn lại → I/O hoạt động bình thường. Sau mon_osd_down_out_interval (mặc định 10 phút) Ceph tự dựng lại bản sao thứ 3 trên các node còn lại (rebalance); lúc đó mỗi OSD còn lại đầy lên khoảng 4/3, đó là lý do vùng an toàn của cụm chỉ ≈ 60% usable (bài 07 mục 8.4).
Mất 2 node (còn 2/4 node) → mất quorum MON (4 MON cần ≥ 3) và nhiều PG chỉ còn 1 bản sao, thấp hơn min_size=2 → I/O của cụm Ceph dừng; dữ liệu chưa mất và hoạt động trở lại khi có node quay về (xem runbook ở bài 11).
Mất 3 node (còn 1/4 node) → không còn quorum MON, mọi PG dưới min_size → cụm Ceph ngừng phục vụ hoàn toàn (không đọc, không ghi) cho tới khi khôi phục đủ node.

Verify

ceph status         # → HEALTH_OK
pvesm status        # → vm-ceph  rbd  active  ~235 GiB
ceph osd pool ls    # → .mgr, vm-ceph
ceph status HEALTH_OK 2 pools 120 pgs, pvesm status vm-ceph rbd active, ceph osd pool ls hiển thị .mgr và vm-ceph
[Lab mẫu 4 × ~300 GiB] Ba lệnh verify: ceph status HEALTH_OK với 2 pools, 120 pgs active+clean; pvesm status hiện vm-ceph rbd active ~380 GiB khả dụng; ceph osd pool ls liệt kê .mgr và vm-ceph.

Kiểm tra qua GUI

Datacenter Storage hiển thị vm-ceph type RBD (PVE) shared Yes, Server View có vm-ceph trên cả 4 node
Datacenter → Storage — vm-ceph type RBD (PVE), Content "Disk image, Container", Shared = Yes. Server View hiện vm-ceph trên cả 4 node. Bảng Tasks bên dưới ghi lại đúng trình tự đã làm: mon.node1 → mgr.node1 → mon.node2/3/4 → mgr.node2 → 4 OSD → pool.
Datacenter Ceph hiển thị HEALTH_OK, OSDs 4 up, Monitors node1-4, Managers node1-2, Ceph Version 20.2.4
[Lab mẫu 4 × ~300 GiB] Datacenter → Ceph — badge xanh HEALTH_OK, Ceph Version 20.2.4, OSDs: 4 Up / 0 Down, Monitors node1–node4 ✓, Managers node1 + node2 ✓, PGs 78 active+clean. Usage 219.34 MiB / 1.17 TiB.
Trong bảng Tasks có 2 dòng đỏ: "Ceph Manager mgr.node1 - Create → Error: ceph manager director…" và "Ceph Pool vm-ceph - Create → Error: adding PVE storage fo…". Đó chính là hai bug đã nêu ở mục 5.4 và lần chạy đầu của pool create; lần chạy thứ hai (sau khi mkdir /var/lib/ceph/mgr) đều OK. Thấy dòng đỏ trong lịch sử task là bình thường, miễn có dòng OK ngay sau đó.
07

Bật High Availability cho VM

Watchdog softdog · HA resource · Node-affinity rule · Test failover

Điều kiện: pvecm status → Quorum OK (4 node) và ceph status → HEALTH_OK. HA Manager đảm bảo VM tự migrate khi node down; Ceph đảm bảo data không mất. Cần cả hai.

7.1 Kích hoạt watchdog trên cả 4 node

HA Manager cần watchdog để fence (tự tắt) node lỗi. Thiếu watchdog, HA có thể rơi vào split-brain — hai node cùng chạy một VM trên cùng một RBD image và hỏng filesystem của VM.
# Chạy trên TẤT CẢ 4 node:
echo "softdog" >> /etc/modules
modprobe softdog

# Kích hoạt watchdog cho pve-ha-lrm:
echo 'WATCHDOG_MODULE=softdog' >> /etc/default/pve-ha-manager
systemctl restart pve-ha-lrm

# Verify:
lsmod | grep softdog   # → softdog ...
Shell node1 nạp module softdog, cấu hình WATCHDOG_MODULE và lsmod xác nhận softdog đã load
lsmod | grep softdog trả về softdog 12288 2 — module đã nạp và đang được dùng.
Production: dùng IPMI fence thay softdog — Datacenter → HA → Fencing → Add IPMI. Softdog là watchdog phần mềm; nếu kernel treo hoàn toàn thì nó cũng treo theo.

7.2 Thêm VM vào HA và tạo node-affinity rule

PVE 9 đổi cú pháp: HA Groups đã bị thay bằng HA Rules, và --resources là bắt buộc — rule mới phải gắn với VM cụ thể ngay lúc tạo. Tạo rule trước khi có VM sẽ báo 400 Parameter verification failed.

Bước 1 — add VM vào HA trước (ví dụ VMID 100):

ha-manager add vm:100 --state started --max_restart 2 --max_relocate 1

Bước 2 — tạo rule kèm VM:

pvesh create /cluster/ha/rules \
    --rule ha-node-affinity \
    --type node-affinity \
    --nodes "node1:2,node2:2,node3:1,node4:1" \
    --affinity positive \
    --strict 0 \
    --resources "vm:100"

# Verify:
pvesh get /cluster/ha/rules
ha-manager status
Shell hiển thị lỗi 400 khi thiếu --resources, sau đó ha-manager add và tạo rule thành công, ha-manager status quorum OK master node2
Lần đầu thiếu --resources → 400 Parameter verification failed … resources: property is missing. Sau khi ha-manager add vm:100 rồi tạo lại rule kèm --resources "vm:100" thì thành công. ha-manager status: quorum OK, master node2, fencing armed (CRM watchdog active), lrm node1 active, node2–4 idle/standby, service vm:100 (node1, started).

7.3 Thêm VM mới vào rule đã có

Mỗi VM mới chỉ cần 2 lệnh, không cần tạo lại rule — rule node-affinity dùng chung mãi:

# 1. Add VM 101 vào HA:
ha-manager add vm:101 --state started --max_restart 2 --max_relocate 1

# 2. Thêm VM 101 vào rule đã có:
pvesh set /cluster/ha/rules/ha-node-affinity \
    --resources "vm:100,vm:101"

7.4 Ý nghĩa priority và luồng failover

Tham số Giá trị Ý nghĩa
node1:2, node2:2priority 2VM ưu tiên chạy trên node1 hoặc node2 trước
node3:1, node4:1priority 1VM chỉ chạy trên node3/4 khi node1 + node2 đều down
--strict 0không giới hạnVM migrate ra ngoài danh sách node được nếu cần → an toàn hơn. 1 = chỉ chạy trong danh sách; cả nhóm down thì VM không start
--affinity positivebám theo nodeVM ưu tiên bám các node trong danh sách theo priority; khi node ưu tiên cao phục hồi, VM tự quay về
Bình thường   : VM chạy trên node1 hoặc node2   (priority 2)
node1 down    : VM tự migrate sang node2        (cùng priority 2)
node1+2 down  : VM tự migrate sang node3/4      (priority 1)
node1 phục hồi: VM tự quay về node1             (priority cao hơn)

7.5 Test HA — tắt 1 node, theo dõi migration

# Mở terminal ping liên tục vào IP của VM TRƯỚC khi test:
ping -t <IP_VM>   # Windows — đo downtime

# Trên node1: shutdown graceful
shutdown -h now

# Theo dõi từ node2 (node còn sống):
watch -n2 "ha-manager status; echo; ceph status | grep -E '(health|osd|mon)'"

# Kết quả mong đợi:
# - VM tự migrate sang node khác trong vòng 30-60s
# - ceph status → HEALTH_WARN (do OSD của node1 down) nhưng IO tiếp tục
# - Khi node1 boot lại → OSD tự join, ceph status → HEALTH_OK

7.6 Mở rộng storage — thêm OSD /dev/sdc (tùy chọn)

Với phần cứng của series, /dev/sdc là HDD 250 GB: một tầng riêng, không phải thêm chỗ cho vm-ceph. Thứ tự bắt buộc: (1) kiểm class của OSD SSD là ssd (ceph osd tree, ceph osd crush class ls); (2) tạo rule-ssd/rule-hdd và gắn rule-ssd cho vm-ceph (cả .mgr), chờ active+clean; (3) mới thêm OSD HDD bằng lệnh bên dưới; (4) tạo pool vm-bulk với rule-hdd. Làm ngược thì dữ liệu VM tràn lên HDD rồi phải chuyển lại. Lệnh đầy đủ ở bài 07 mục 8.5. Chỉ muốn thêm chỗ cho tầng SSD (thêm đĩa SSD) thì dùng --crush-device-class ssd và không cần rule mới.
Chỉ thực hiện khi ceph status = HEALTH_OK. Làm từng node, đợi rebalance xong rồi mới sang node tiếp — không làm song song.
# Lặp lại cho node1 → node2 → node3 → node4

# 1. Verify disk mới sạch:
lsblk /dev/sdc   # → FSTYPE và MOUNTPOINT trống

# 2. Wipe phòng ngừa:
wipefs -a /dev/sdc && sgdisk --zap-all /dev/sdc
dd if=/dev/zero of=/dev/sdc bs=1M count=10 2>/dev/null

# 3. Tạo OSD, khai class tường minh (đĩa HDD → hdd; nếu /dev/sdc là SSD thì dùng ssd):
pveceph osd create /dev/sdc --crush-device-class hdd

# 4. Theo dõi rebalance (Ctrl+C để dừng):
watch -n5 "ceph -s | grep -E '(health|osd|pgs|usage)'"
# Đợi đến khi không còn "remapped" → sang node tiếp theo

# 5. Sau khi xong tất cả:
ceph osd tree      # → 8 OSD, toàn bộ up; CLASS = ssd (4 OSD /dev/sdb) và hdd (4 OSD /dev/sdc)
ceph osd crush class ls   # → [ "hdd", "ssd" ]
ceph status        # → HEALTH_OK, ~1.6 TiB raw (745 GiB SSD + 931 GiB HDD)

7.7 Fix lỗi mở console VM từ node khác

Triệu chứng: VM 100 đang chạy trên node1, mở console từ GUI của node2 thì báo lỗi vncproxy failed. Nguyên nhân: Proxmox cần SSH từ node2 → node1 để tunnel VNC, mà SSH key giữa các node đang lỗi.

rm -f /root/.ssh/id_rsa /root/.ssh/id_rsa.pub
ssh-keygen -t rsa -b 4096 -f /root/.ssh/id_rsa -N ""
pvecm updatecerts --force
systemctl restart pvedaemon pveproxy

Reset sạch môi trường Ceph (khi cần cài lại)

6 bước dọn dẹp · Chạy theo thứ tự node4 → node3 → node2 → node1

Khối lệnh này xóa TOÀN BỘ dữ liệu Ceph và không hoàn tác được. Chỉ chạy khi cluster trống hoặc bạn được phép reset. Thứ tự bắt buộc: node4 → node3 → node2 → node1 (node1 cuối cùng vì giữ /etc/pve/ceph.conf).

C.1 — Stop và disable services

systemctl stop ceph-osd@* ceph-mon@* ceph-mgr@* ceph-mds@* 2>/dev/null || true
systemctl disable ceph-osd@* ceph-mon@* ceph-mgr@* 2>/dev/null || true
systemctl reset-failed 2>/dev/null || true

C.2 — Xóa LVM Ceph

for dm in $(dmsetup ls 2>/dev/null | grep ceph | awk '{print $1}'); do
  dmsetup remove --force "$dm" 2>/dev/null
done
for vg in $(vgs 2>/dev/null | grep ceph | awk '{print $1}'); do
  vgremove -f "$vg" 2>/dev/null
done

C.3 — Lazy unmount OSD directories

Dùng umount -l (lazy). KHÔNG dùng fuser -km — nó giết luôn cả tiến trình hệ thống và có thể làm node treo.
umount -l /var/lib/ceph/osd/ceph-* 2>/dev/null || true
umount -l /var/lib/ceph/osd/* 2>/dev/null || true

C.4 — Wipe disk OSD

# sdb = SSD OSD, sdc = HDD OSD (node nào không có HDD thì bỏ /dev/sdc)
for d in /dev/sdb /dev/sdc; do
  wipefs -a $d
  sgdisk --zap-all $d
  dd if=/dev/zero of=$d bs=1M count=10 2>/dev/null
done

# Verify:
lsblk /dev/sdb /dev/sdc   # → FSTYPE và MOUNTPOINT trống

C.5 — Force gỡ Ceph packages

# Fix apt trước nếu bị hỏng:
rm -f /etc/apt/sources.list.d/ceph.sources   # Xóa file deb822 lỗi
apt --fix-broken install -y 2>/dev/null

# Force purge:
DEBIAN_FRONTEND=noninteractive dpkg --purge --force-all \
    ceph-osd ceph-mon ceph-mgr ceph-mgr-modules-core \
    ceph-volume ceph-base ceph-common ceph ceph-mds ceph-fuse 2>&1
apt-get autoremove -y 2>/dev/null

# Verify sạch:
dpkg -l | grep ceph-osd   # → không còn dòng "ii" nào

C.6 — Xóa data và config còn sót

rm -rf /var/lib/ceph /var/log/ceph /etc/ceph/
rm -f /etc/pve/ceph.conf      # CHỈ TRÊN NODE1
find /etc/systemd/system -name "ceph*" -delete 2>/dev/null
systemctl daemon-reload

# Verify:
test -d /var/lib/ceph && echo "STILL_EXISTS — cần kiểm tra" || echo "GONE OK"
dpkg -l | grep -c "^ii.*ceph-osd" || echo "0 — OK"

Bài toán thực tế: chọn storage cho Proxmox

Ceph OSD vs Synology HA + Fiber Channel — phân tích chi phí, hiệu năng, HA

Kịch bản: 3 server (16C / 64 GB RAM / RAID1-480GB / 2 NIC) · 10 VM × (8 vCPU / 4 GB RAM / 100 GB storage).

Phân tích workload hiện tại

Tài nguyên Yêu cầu (10 VM) Có sẵn (3 server) Nhận xét
vCPU80 vCPU96 thread (16C×2HT×3)0.83× — OK, không overcommit
RAM40 GB192 GB21% — thoải mái, dư nhiều
Storage1,000 GB usable0 GB (RAID1 dùng cho OS)THIẾU — phải đầu tư thêm
Kết luận: điểm nghẽn duy nhất là storage. CPU và RAM dư thừa lớn.

Ceph OSD không cần RAID trên disk OSD

Đặc điểm Ceph OSD RAID truyền thống
Bảo vệ data3× software replication (Ceph tự quản lý)Hardware RAID1/5/6
Disk cần/server1 disk OSD raw — không cần RAID controller2 disk minimum (RAID1)
Quản lýCeph tự heal, tự rebalance khi OSD dieRAID controller phần cứng
Chi phí disk3 disk cho 3 node (1/node)6 disk cho 3 node (2/node)

Tính toán disk cần mua

10 VM × 100 GB = 1 TB usable, replication 3×:

Cấu hình OSD Raw/server Total raw (3 node) Usable (÷3) Phù hợp?
1× 1TB SSD/server1 TB3 TB~1 TB✅ Vừa đủ
2× 1TB SSD/server2 TB6 TB~2 TB✅ Tốt, có headroom
1× 2TB NVMe/server2 TB6 TB~2 TB✅ Performance cao
Tối thiểu cần mua: 3× 1TB SSD (~5–9 triệu). Không phải 6 disk như RAID truyền thống.

Bảng so sánh toàn diện

Tiêu chí Ceph OSD (thêm disk vào server) Synology HA + Fiber Channel
Chi phí đầu tư thêm3–9 triệu (3× 1TB SSD)80–200 triệu (2 NAS HA + FC switch + 3× HBA)
Thời gian triển khai1–2 ngày3–7 ngày (FC zoning phức tạp)
TCO 3 nămThấp — ~10–20 triệu totalCao — 100–250 triệu + bảo trì hằng năm
Latency1–3 ms (NVMe OSD: <1 ms)FC: 0.1–0.3 ms / NFS 10GbE: 1–2 ms
IOPS50K–200K (scale tuyến tính theo số OSD)FC: 500K+ / NFS 10GbE: 100K–200K
Throughput1–3 GB/s (aggregate cluster)FC 16G: 1.6 GB/s/port; multi-port cao hơn
Storage usable~1–2 TB (tuỳ OSD chọn)Tuỳ NAS model: 4–40 TB+
HA khi 1 PVE node die✅ VM migrate tự động, 2 replica còn✅ VM migrate, NAS serve qua VIP
HA khi 1 OSD/disk die✅ Ceph tự rebalance, zero downtime✅ SHA VIP failover ~60s
HA khi toàn bộ storage die✅ Không ảnh hưởng (distributed 3 node)⚠️ Cả cụm NAS chết → downtime
RPO~0 (3× replication đồng bộ)~0 (SHA mirror real-time)
RTO khi storage fail~giây (Ceph tự route, không đợi failover)~60s (VIP failover NAS-1 → NAS-2)
Yêu cầu mạng⚠️ Cần 2 network riêng: NIC1 = public (VM), NIC2 = cluster (replication)✅ Đơn giản hơn: NIC1 = mgmt/VM, NIC2 = FC/storage
Giao thức storageCeph RBD (native, tối ưu)Fiber Channel iSCSI hoặc NFS over FC
Scale-out storage✅ Thêm server/OSD → pool tự mở rộng⚠️ Giới hạn bởi slot NAS phần cứng
Scale-out compute✅ Thêm node PVE → tự join Ceph cluster✅ Thêm server mount FC/NFS thêm
Phức tạp setup⭐⭐⭐ Cao — CRUSH map, OSD, PG tuning⭐⭐⭐⭐ Rất cao — FC zoning, multipath, NAS admin
Vận hành hàng ngày⭐⭐⭐ Cần hiểu Ceph health, rebalancing⭐⭐ GUI DSM quen thuộc; FC cần chuyên gia riêng
Vendor lock-in✅ Không — open source hoàn toàn⚠️ Phụ thuộc Synology + FC vendor
Phù hợp 10 VM văn phòng✅ Đủ, tối ưu chi phí⚠️ Overkill về hiệu năng lẫn chi phí

Ma trận quyết định theo nhu cầu

Nhu cầu / Tình huống Ceph OSD Synology HA + FC
Budget eo hẹp (<20 triệu)✅ Chọn Ceph❌ Không phù hợp
10 VM thông thường (ERP, web, email, CSDL vừa)✅ Đủ, tối ưu⚠️ Overkill
Cần >500K IOPS / latency <0.5 ms bắt buộc⚠️ Cần NVMe OSD✅ FC phù hợp
Kế hoạch scale 30–50 VM trong 2 năm✅ Thêm server/OSD dễ⚠️ NAS có giới hạn slot
Không có IT chuyên sâu về storage⚠️ Học Ceph ~1–2 tuần✅ GUI Synology trực quan
Không muốn phụ thuộc vendor✅ Open source hoàn toàn❌ Lock-in Synology + FC
Đã có FC switch/infrastructure sẵn—✅ Tận dụng ngay
Oracle RAC / SQL Server AlwaysOn (I/O nặng)⚠️ NVMe OSD ổn✅ FC tối ưu nhất

Kết luận và khuyến nghị dài hạn

Giai đoạn Hành động khuyến nghị Lý do
Giai đoạn 1
Hiện tại — 10 VM
Ceph OSD: mua 3× 1TB SSD NVMe. Chi phí ~9–15 triệuĐủ 1TB usable, không cần FC, scale tốt, TCO thấp nhất
Giai đoạn 2
Scale 30–50 VM
Thêm OSD disk hoặc thêm node PVE vào Ceph clusterKhông cần thay kiến trúc, pool tự mở rộng tuyến tính
Xét FC SAN khi nàoOracle RAC, SQL Server AlwaysOn · Latency <0.5 ms bắt buộc từ ứng dụng · Có nhân sự Storage Admin chuyên biệtFC chỉ hợp lý cho I/O-intensive database, không phải VM văn phòng
Lưu ý quan trọng: FC không phải "nhanh hơn = tốt hơn" trong mọi trường hợp. Với 10 VM văn phòng doanh nghiệp vừa, Ceph + 10GbE đạt 100–200K IOPS là quá đủ, tiết kiệm ~90% chi phí so với FC SAN.

Kiểm tra & xử lý lỗi thường gặp

Checklist CLI/GUI sau triển khai và các lỗi hay gặp nhất

Kiểm tra nhanh bằng CLI (node1)

# Tổng quan:
ceph status

# Chi tiết OSD:
ceph osd tree

# Pool stats:
ceph osd pool stats vm-ceph

# HA status:
ha-manager status

# Storage PVE:
pvesm status

Kiểm tra qua GUI Proxmox

Datacenter → Ceph → Status
  Health    : HEALTH_OK  (badge xanh lá)
  OSDs      : 4 osds: 4 up, 4 in
  Monitors  : node1, node2, node3, node4
  MGR       : node1 (active), node2 (standby)

Datacenter → Ceph → OSD
  4 dòng: osd.0/1/2/3 — Status = up, Class = ssd (khai ở mục 5.7), Host = nodeX

Datacenter → Ceph → Monitor
  Các dòng node1…node4 — Quorum = Yes

Datacenter → Ceph → Pools
  vm-ceph — Size=3 / Min=2, PGs active+clean

Datacenter → Storage
  vm-ceph  rbd  active  ~235 GiB available

Checklist tổng hợp sau triển khai

  • pvecm status → 4 node, Quorum OK
  • ceph status → HEALTH_OK
  • mon: đủ daemon, quorum có tên tất cả node đã tạo MON
  • mgr: node1(active), standbys: node2
  • osd: 4 osds: 4 up, 4 in, ~745 GiB raw
  • pvesm status → vm-ceph rbd active
  • GUI: Ceph → Status = HEALTH_OK (xanh lá)
  • GUI: OSD tab — 4 OSDs, tất cả up + in
  • GUI: Monitor tab — Quorum = Yes
  • Tạo thử 1 VM → disk trên vm-ceph → VM boot bình thường
  • lsmod | grep softdog có kết quả trên cả 4 node
  • ha-manager status → service vm:XXX started nodeX, fencing armed
  • Test shutdown 1 node → VM tự migrate < 60s
  • Node phục hồi → OSD join lại, cluster về HEALTH_OK
ceph -s báo "cannot identify monitors"

pveceph init không tự thêm mon_host vào /etc/pve/ceph.conf. Thêm tay:

grep -q 'mon_host' /etc/pve/ceph.conf || \
  sed -i '/^\[global\]/a\\tmon_host = 10.11.45.210' /etc/pve/ceph.conf
sleep 10 && ceph -s
pveceph mgr create → "No such file or directory"

Thư mục /var/lib/ceph/mgr/ chưa được tạo. Chạy trước:

mkdir -p /var/lib/ceph/mgr && chown ceph:ceph /var/lib/ceph/mgr
400 Parameter verification failed — resources: property is missing

PVE 9 bắt buộc --resources khi tạo HA rule. Phải ha-manager add vm:<VMID> trước, rồi mới tạo rule kèm --resources "vm:<VMID>". Xem lại mục 7.2.

apt update trả HTTP 401 từ enterprise.proxmox.com/debian/ceph

Repo Ceph enterprise cần subscription. Script ở Bước 4 tự phát hiện và vô hiệu hóa repo này, đồng thời tạo file /etc/apt/sources.list.d/ceph.sources trỏ sang ceph-tentacle no-subscription.

Node join cluster thất bại / treo ở bước join
  • Kiểm tra getent hosts node1 node2 node3 node4 — mỗi tên phải trả đúng 1 IP
  • Node sắp join phải chưa có VM/CT nào — join sẽ xóa /etc/pve của node đó
  • Thời gian giữa các node phải đồng bộ: timedatectl
  • Mất WebUI sau khi join là bình thường — đăng nhập lại, đừng bấm Join lần hai
pveceph osd create báo disk không sạch

Disk còn partition / filesystem / LVM cũ. Wipe đúng disk bị báo lỗi (sdb = SSD, sdc = HDD; ví dụ dưới là sdb, với sdc thì thay tên disk):

wipefs -a /dev/sdb
sgdisk --zap-all /dev/sdb
dd if=/dev/zero of=/dev/sdb bs=1M count=10
lsblk /dev/sdb # FSTYPE và MOUNTPOINT phải trống
Mở console VM từ node khác báo vncproxy failed

SSH key giữa các node bị lỗi. Chạy 4 lệnh ở mục 7.7 để sinh lại key và cập nhật certificate.

HEALTH_WARN sau khi tắt 1 node — có sao không?

Không. OSD của node đó down nên Ceph báo WARN, nhưng vì min_size=2 nên IO vẫn tiếp tục. Khi node boot lại, OSD tự join và cluster quay về HEALTH_OK. Chỉ lo khi WARN kéo dài sau lúc node đã online — kiểm tra systemctl status ceph-osd@<id>.

Zalo