System & Network Proxmox VE 9 Standalone
Bài 02 · Lab thực hành · Step-by-Step · Server vật lý

Cài đặt Proxmox VE 9 Standalone

Toàn trình từ BIOS đến node chạy được: bật ảo hóa phần cứng, tạo USB boot bằng Rufus, cài Proxmox VE 9.2, bật xác thực 2 bước TOTP, gắn thêm disk làm Directory storage và post-install tắt subscription repo.

Proxmox VE 9.2.2 Debian 13 Trixie Standalone · 1 node ~60 phút
00

Tổng quan & chuẩn bị

Cần gì trước khi bắt đầu · Luồng triển khai · Quy hoạch trước khi cài

Bài này cài một node Proxmox VE 9 chạy độc lập (standalone). Toàn bộ các bước dưới đây lặp lại y hệt cho node thứ 2, thứ 3 nếu sau này bạn muốn gom thành Cluster — chỉ khác hostname và IP.

Luồng triển khai tổng thể

01
BIOS

Bật Virtualization Technology + VT-d/IOMMU.

02
USB boot

Ghi ISO Proxmox VE bằng Rufus, giữ mặc định.

03
Cài đặt

Chọn disk OS, timezone, mật khẩu root, hostname + IP.

04
Web GUI + 2FA

Đăng nhập :8006, bật TOTP cho tài khoản quản trị.

05
Thêm disk

wipefs → parted → mkfs.ext4 → fstab → Directory storage.

06
Post-install

Chuyển no-subscription repo, full-upgrade, reboot.

Quy hoạch TRƯỚC khi cài: hostname và IP quản trị sẽ theo node suốt vòng đời. Đổi hostname sau khi đã join cluster / đã chạy VM rất dễ phát sinh lỗi certificate, corosync và storage. Hãy thống nhất quy tắc đặt tên (ví dụ node01, node02…) và dải IP quản trị ngay từ đầu.
Cần chuẩn bị trước
Hạng mục Chi tiết
ServerCPU hỗ trợ ảo hóa (Intel VT-x / AMD-V). Lab trong bài: 16 × Xeon E5-2680 v4, 16 GB RAM
Disk hệ điều hànhRAID1 khuyến nghị. Tối thiểu 32 GB, thực tế nên ≥ 120 GB SSD
Disk dữ liệuTùy chọn — dùng cho VM/ISO/backup. Bài này gắn thêm 1 disk 300 GB
USB≥ 4 GB (ISO PVE ~1.5 GB). Dữ liệu trên USB sẽ bị xóa sạch
Phần mềmRufus + ISO Proxmox VE
Thông tin mạngIP tĩnh + subnet + gateway + DNS. Nhiều NIC thì chọn sẵn NIC nào làm management
App TOTPMicrosoft/Google Authenticator hoặc tương đương — dùng ở Bước 4
01

Thiết lập BIOS

Bật ảo hóa phần cứng trước khi cài — không có bước này VM sẽ không chạy

Bắt buộc: nếu Virtualization Technology bị Disabled, Proxmox vẫn cài được nhưng KVM sẽ không khởi tạo được VM. Bật luôn cả VT-d / IOMMU nếu sau này cần passthrough GPU, HBA hoặc NIC.

1.1 Vào System Setup

  • Bật hoặc khởi động lại máy chủ.
  • Khi logo nhà sản xuất xuất hiện, nhấn liên tục F2 (Dell PowerEdge) để vào System Setup / BIOS. Một số dòng máy hoặc BIOS đời cũ dùng F12.

1.2 Tìm mục Processor

Dùng phím mũi tên di chuyển tới Processor Settings — tùy hãng có thể nằm dưới tên CPU Configuration hoặc Virtualization Support.

1.3 Bật ảo hóa phần cứng

Tùy chọn BIOS Tên gọi khác Đặt thành
Virtualization TechnologyIntel VT-x · SVM Mode (AMD)Enabled
Virtualization for Direct-IOVT-d · IOMMU Support · AMD-ViEnabled

1.4 Lưu và khởi động lại

Nhấn F10 hoặc chọn Save & Exit. Máy chủ tự khởi động lại và áp dụng cấu hình ảo hóa mới.

02

Burn ISO lên USB bằng Rufus

Tạo USB boot cài Proxmox VE — giữ toàn bộ tùy chọn ở mặc định

Rufus xóa sạch USB: toàn bộ dữ liệu trên ổ đĩa được chọn sẽ mất. Sao lưu trước và kiểm tra kỹ đúng ổ USB ở menu Device — chọn nhầm ổ ngoài là mất dữ liệu thật.
  1. Tải Rufus — vào rufus.ie, lấy bản portable (chạy ngay) hoặc bản cài đặt mới nhất cho Windows.
  2. Cắm USB — sao lưu các tệp quan trọng trên ổ trước khi tiếp tục.
  3. Mở Rufus — chạy tệp thực thi vừa tải.
  4. Chọn thiết bị — ở menu Device trên cùng, xác nhận đúng ổ USB của bạn.
  5. Chọn tệp ISO — giữ Boot selection là Disk or ISO image, bấm SELECT và mở file ISO Proxmox VE đã tải.
  6. Giữ nguyên mặc định — Partition scheme và File system để nguyên giá trị Rufus tự chọn; đây là cấu hình tương thích tốt nhất.
  7. Bắt đầu ghi — bấm START, chấp nhận các cảnh báo về xóa dữ liệu hoặc tải thêm file cần thiết.
  8. Chờ hoàn tất — đến khi thanh trạng thái hiện READY thì đóng Rufus và rút USB.
GPT hay MBR? Server đời mới boot UEFI → chọn GPT. Server đời cũ hoặc đang để Legacy/CSM → chọn MBR. Nếu Rufus hỏi ghi theo ISO Image mode hay DD Image mode, chọn DD Image mode cho ISO Proxmox.
03

Boot USB và cài đặt

EULA · Disk đích · Timezone · Mật khẩu root · Hostname & IP · Summary

3.1 Chọn Install Proxmox VE (Graphical)

Menu boot ISO Proxmox VE 9.2 với mục Install Proxmox VE (Graphical) được chọn
Màn hình boot Proxmox VE 9.2 (iso release 1) — chọn Install Proxmox VE (Graphical). Mục Terminal UI dùng khi card màn hình không hiển thị được GUI.

3.2 Đọc và đồng ý EULA

Màn hình End User License Agreement của Proxmox VE Installer
End User License Agreement — bấm I agree để tiếp tục.

3.3 Chọn disk cài hệ điều hành

Toàn bộ dữ liệu trên disk đích sẽ bị xóa. Kiểm tra kỹ model và dung lượng ở ô Target Harddisk. Nút Options cho phép đổi filesystem (ext4 / xfs / ZFS RAID) và giới hạn hdsize nếu muốn chừa dung lượng trống cho mục đích khác.
Màn hình chọn Target Harddisk /dev/sda 20 GiB QEMU HARDDISK
Target Harddisk — trong lab là /dev/sda (20.00GiB, QEMU HARDDISK). Trên server thật hãy chọn đúng volume RAID1 dành cho OS.

3.4 Đặt Location & Time Zone

Màn hình Location and Time Zone selection với Country Vietnam, Time zone Asia/Ho_Chi_Minh
Country Vietnam → Time zone tự chuyển sang Asia/Ho_Chi_Minh. Keyboard Layout giữ U.S. English.

3.5 Mật khẩu và email quản trị

User mặc định là root — installer không cho đặt tên khác. Mật khẩu đặt ở đây dùng cho cả SSH lẫn Web GUI (realm Linux PAM). Email nên điền địa chỉ thật vì Proxmox gửi cảnh báo backup/ZFS/SMART về đây.
Màn hình Administration Password and Email Address của Proxmox VE Installer
Administration Password and Email Address — đặt mật khẩu mạnh cho root và email nhận cảnh báo hệ thống.

3.6 Hostname và IP quản trị

Nếu server có nhiều NIC, chọn đúng NIC làm đường quản trị ở ô Management Interface. Nên tick Pin network interface names để tên card (nic0, enp…) không đổi sau khi thay phần cứng hoặc nâng kernel. Hostname phải nhập dạng FQDN.
Màn hình Management Network Configuration với hostname node4 và IP 10.11.45.213/24
Management Network Configuration — Interface nic0 (e1000), Hostname (FQDN) node4.hoatranlabs.local, IP 10.11.45.213/24, Gateway 10.11.45.1, DNS 8.8.8.8. Domain nội bộ chuẩn của cả loạt bài là hoatranlabs.local (khớp /etc/hosts ở Bài 03); ảnh chụp lúc cài còn hiện domain cũ hoatranlab.io.vn — bạn có thể sửa lại bằng hostnamectl sau khi cài.

3.7 Summary — rà lại lần cuối

Màn hình Summary tổng hợp filesystem ext4, disk /dev/sda, hostname node4, IP CIDR 10.11.45.213/24
Summary — kiểm tra lại toàn bộ thông tin. Ô Automatically reboot after successful installation tick sẵn; bỏ tick nếu muốn tự rút USB trước khi reboot. Bấm Install.

3.8 Theo dõi tiến trình cài

Màn hình cài đặt Proxmox VE đang extract package với thanh tiến trình 63%
Installer giải nén và cài package. Xong 100% máy tự reboot — nhớ rút USB để không boot lại vào installer.

3.9 Màn hình console sau khi boot

# Truy cập Web GUI (bỏ qua cảnh báo chứng chỉ self-signed)
https://10.11.45.213:8006/

# Hoặc quản trị qua SSH
ssh [email protected]
Console Proxmox hiển thị Welcome to the Proxmox Virtual Environment và URL https://10.11.45.213:8006
Console in ra địa chỉ Web GUI https://10.11.45.213:8006/ và prompt node4 login: — cài đặt đã thành công.
04

Đăng nhập Web GUI & bật 2FA

Login realm Linux PAM · Kiểm tra node · Thêm TOTP login factor

4.1 Đăng nhập lần đầu

Màn hình Proxmox VE Login với user root và realm Linux PAM standard authentication
Proxmox VE Login — User root, Realm Linux PAM standard authentication, mật khẩu đã đặt ở Bước 3.5.

4.2 Kiểm tra trang Summary của node

Trang Summary của node4 hiển thị CPU, RAM, kernel version, manager version và repository status
Node node4 — 16 × Xeon E5-2680 v4, RAM 15.24 GiB, Manager Version pve-manager/9.2.2, Boot Mode EFI.
Chú ý dòng Repository Status: ngay sau khi cài sẽ báo "Enterprise repository needs valid subscription" và lệnh apt-get update sẽ lỗi 401. Đây là hành vi bình thường — Bước 6 sẽ chuyển sang no-subscription repo.

4.3 Mở trang TFA

Bấm vào tên tài khoản góc phải trên (root@pam) → chọn TFA. Cách khác: Datacenter → Permissions → Two Factor.

Menu tài khoản root@pam mở ra với mục TFA được khoanh đỏ
Menu root@pam → TFA.

4.4 Add → TOTP

Menu Add trong Two Factor với các lựa chọn TOTP, WebAuthn, Recovery Keys, Yubico OTP
Proxmox hỗ trợ 4 loại factor: TOTP (app authenticator), WebAuthn (khóa vật lý/passkey), Recovery Keys và Yubico OTP. Chọn TOTP.

4.5 Quét mã QR và xác thực

Hộp thoại Add a TOTP login factor với mã QR, ô Secret, Issuer Name và ô Verify Code
Add a TOTP login factor — quét QR bằng app authenticator, nhập mã 6 số vào ô Verify Code rồi bấm Add. Ô Description nên ghi rõ tên thiết bị để phân biệt khi có nhiều factor.
Tạo Recovery Keys ngay sau khi bật TOTP. Mất điện thoại = mất quyền vào Web GUI. Recovery Keys là bộ mã dùng một lần, in ra hoặc cất nơi an toàn. Nếu lỡ mất cả hai, vẫn có thể gỡ TFA bằng SSH: sửa file /etc/pve/priv/tfa.cfg.
Các lớp bảo mật nên làm tiếp
  • Tạo user riêng thay vì dùng root — Datacenter → Permissions → Users, gán role phù hợp.
  • Bật 2FA cho mọi tài khoản quản trị (đã làm ở trên).
  • Giới hạn nguồn truy cập — chỉ cho PC/Laptop admin hoặc dải VPN chạm được port 8006/22 (Datacenter → Firewall).
  • Backup — lên lịch vzdump hoặc gắn Proxmox Backup Server.
  • Reverse proxy — nếu phải publish ra ngoài, đặt sau nginx/HAProxy có TLS thật, không expose thẳng 8006.
05

Gắn thêm disk vào Proxmox (tùy chọn)

wipefs → parted → mkfs.ext4 → fstab → thêm Directory storage

Bước này chỉ cần khi node chạy standalone và muốn có thêm dung lượng cho VM disk, ISO hoặc backup. Nếu sau này gom cụm và dùng Ceph, disk sẽ được cấp làm OSD thay vì format thành Directory như ở đây.

5.1 Kiểm tra disk đã nhận chưa

Gắn disk vào server (và cấu hình RAID ở mức controller nếu cần), sau đó mở node → Disks trên Web GUI:

Trang Disks của node01 hiển thị /dev/sda đã phân vùng và /dev/sdb 322.12 GB chưa dùng
node → Disks — /dev/sda đã có BIOS boot/EFI/LVM (disk OS), còn /dev/sdb 322.12 GB cột Usage = No, GPT = No → disk trống, sẵn sàng dùng.
Toàn bộ dữ liệu trên /dev/sdb sẽ bị xóa. Không làm tiếp nếu disk này còn dữ liệu cần giữ. Đối chiếu đúng serial / model / size ở trang Disks hoặc bằng lsblk trước khi chạy bất kỳ lệnh nào bên dưới.

5.2 Bước 1 — Xác minh disk bằng CLI

Mở Shell của node:

lsblk -o NAME,SIZE,MODEL,SERIAL,TYPE,FSTYPE,MOUNTPOINTS
Kết quả lsblk hiển thị sda với các LVM pve-root, pve-data và sdb 300G chưa có partition
sdb 300G QEMU HARDDISK QM00007 disk — không có partition, không có FSTYPE, không mount ở đâu. Đúng disk cần thao tác.

5.3 Bước 2 — Xóa metadata cũ & tạo partition GPT

# Xóa mọi chữ ký filesystem/RAID/LVM còn sót trên disk
wipefs -a /dev/sdb
Shell node01 chạy lệnh wipefs -a /dev/sdb sau khi lsblk
wipefs -a /dev/sdb — disk sạch hoàn toàn, không báo lỗi nghĩa là không còn signature nào.
Nếu gặp parted: command not found: cài thẳng bằng apt install parted. Proxmox VE 9 chạy trên Debian 13 Trixie, gói parted có sẵn trong repo chuẩn. Không thêm repo bookworm vào hệ thống trixie — trộn hai bản phát hành Debian dễ gây xung đột thư viện và hỏng hệ thống. Lệnh apt update chỉ hoạt động sau khi đã chuyển no-subscription repo ở Bước 6.
Shell chạy apt install parted, tải gói parted 3.6-5 từ repo trixie/main
apt install parted — gói lấy từ deb.debian.org/debian trixie/main, phiên bản 3.6-5. Xác nhận PVE 9 dùng Debian 13.
# Tạo bảng phân vùng GPT
parted -s /dev/sdb mklabel gpt

# Tạo 1 partition chiếm toàn bộ disk, căn chỉnh tối ưu
parted -s -a optimal /dev/sdb mkpart primary ext4 0% 100%

# Báo kernel nạp lại bảng phân vùng
partprobe /dev/sdb
mkpart là subcommand của parted, không phải lệnh độc lập — gõ riêng sẽ báo mkpart: command not found. Phải viết đầy đủ parted -s -a optimal /dev/sdb mkpart ….
Shell chạy parted mklabel gpt và parted mkpart, có lỗi mkpart command not found khi gõ sai
Dòng thứ 2 gõ thiếu tiền tố parted nên báo mkpart: command not found; dòng thứ 3 viết đúng thì chạy êm.
# Xác nhận đã có partition /dev/sdb1
lsblk /dev/sdb
Kết quả lsblk /dev/sdb hiển thị sdb 300G disk và sdb1 300G part
Đã có sdb1 300G part — partition chiếm trọn disk.

5.4 Bước 3 — Format ext4 và mount tự động

# Format ext4 kèm label để dễ nhận diện
mkfs.ext4 -L pve-data01 /dev/sdb1
Kết quả mkfs.ext4 tạo filesystem với UUID bfdfa5e3-9fc2-4ca4-a4ab-d1563fdc6ad8
mkfs.ext4 in ra Filesystem UUID — ghi lại giá trị này (ở đây bfdfa5e3-9fc2-4ca4-a4ab-d1563fdc6ad8) để dùng cho fstab.
# Tạo mount point
mkdir -p /mnt/pve-data01

# Lấy lại UUID nếu đã trôi khỏi màn hình
blkid /dev/sdb1
Kết quả lệnh blkid /dev/sdb1 hiển thị UUID, TYPE ext4 và PARTLABEL primary
blkid /dev/sdb1 → UUID="…" TYPE="ext4" PARTLABEL="primary". Copy phần UUID.

Mở nano /etc/fstab và thêm một dòng duy nhất, thay UUID bằng giá trị vừa copy:

UUID=bfdfa5e3-9fc2-4ca4-a4ab-d1563fdc6ad8 /mnt/pve-data01 ext4 defaults,nofail 0 2
Dùng UUID thay vì /dev/sdb1 để tránh mount nhầm khi thứ tự disk thay đổi sau reboot. Tùy chọn nofail giúp server vẫn boot bình thường nếu disk này hỏng hoặc bị rút ra.
File /etc/fstab mở bằng nano với dòng UUID mount vào /mnt/pve-data01
/etc/fstab sau khi thêm dòng mount — lưu bằng Ctrl+O, thoát bằng Ctrl+X.
mount -a
findmnt /mnt/pve-data01
df -h /mnt/pve-data01
Kết quả mount -a, findmnt và df -h xác nhận /dev/sdb1 mount vào /mnt/pve-data01 với 295G
/dev/sdb1 đã mount vào /mnt/pve-data01, ext4, dung lượng 295G, còn trống 280G.

5.5 Bước 4 — Thêm vào Proxmox GUI

Vào Datacenter → Storage → Add → Directory:

Datacenter Storage menu Add mở ra với mục Directory được chọn
Datacenter → Storage → Add — chọn Directory (file-level storage). Các loại khác: LVM, LVM-Thin, BTRFS, NFS, SMB/CIFS, iSCSI, CephFS, RBD, ZFS, Proxmox Backup Server, ESXi.
Giá trị cần điền
Trường Giá trị
IDdata01
Directory/mnt/pve-data01 (đường dẫn đã mount ở 5.4)
Nodesnode01 (CHỈ chọn node đang gắn disk)
ContentChọn theo nhu cầu — xem bảng dưới
Các loại Content
Content Dùng để chứa Tên trong CLI
Disk imageVirtual disk của VMimages
ContainerRoot disk của LXCrootdir
VZDump backup fileBackup VM/CTbackup
ISO imageFile ISO cài hệ điều hànhiso
Container templateTemplate LXCvztmpl
SnippetsCloud-init / hook scriptsnippets
Hộp thoại Directory storage với ID data01, Directory /mnt/pve-data01, Content multi-select và Nodes node01
Hộp thoại Directory — B1 điền ID/Directory/Content, B2 giới hạn Nodes = node01, B3 bấm OK. Không tick Shared vì disk này chỉ có ở một node.

Hoặc làm nhanh bằng CLI — thay node01 bằng node tương ứng:

pvesm add dir data01 \
  --path /mnt/pve-data01 \
  --content images,rootdir,backup,iso,vztmpl,snippets \
  --nodes node01 \
  --is_mountpoint 1
--is_mountpoint 1 rất quan trọng: nó bảo Proxmox chỉ dùng storage khi disk thật sự đã mount. Thiếu cờ này, nếu disk chưa mount Proxmox sẽ ghi thẳng vào thư mục trên đĩa hệ điều hành và làm đầy /.

5.6 Bước 5 — Kiểm tra lại storage đã thêm

Server View hiển thị storage data01 (node01) với các tab Summary, VM Disks, CT Volumes, ISO Images
Storage data01 (node01) xuất hiện trong Server View với đầy đủ tab VM Disks · CT Volumes · ISO Images — sẵn sàng dùng.
06

Post-install: no-subscription repo & update

Tắt enterprise repo · full-upgrade · rp_filter (loose) · Reboot

Script dưới đây tự dò codename Debian ($VERSION_CODENAME) nên chạy đúng cho cả PVE 8 (bookworm) lẫn PVE 9 (trixie), và xử lý cả hai định dạng repo: .list cổ điển và .sources (deb822) của PVE 9.
Đọc kỹ trước khi chạy cả khối: script kết thúc bằng lệnh reboot. Nếu node đang chạy VM thật, hãy bỏ dòng cuối và tự reboot vào thời điểm phù hợp. Repo pve-no-subscription dành cho lab/test; môi trường production nên mua subscription để dùng enterprise repo đã kiểm thử kỹ hơn.

6.1 Script post-install đầy đủ

set -e

# ── 0. Xác định codename Debian đang chạy (tránh hardcode sai bookworm/trixie) ──
source /etc/os-release
CODENAME=$VERSION_CODENAME
echo "Debian codename phat hien: $CODENAME"

# ── 1. Chuyen sang no-subscription repository (PHAI lam TRUOC khi upgrade) ──
# Disable enterprise repo - ho tro ca dinh dang .list (PVE8) va .sources (PVE9 deb822)
[ -f /etc/apt/sources.list.d/pve-enterprise.list ] && \
  sed -i 's/^deb/#deb/g' /etc/apt/sources.list.d/pve-enterprise.list

[ -f /etc/apt/sources.list.d/pve-enterprise.sources ] && \
  echo 'Enabled: false' >> /etc/apt/sources.list.d/pve-enterprise.sources

[ -f /etc/apt/sources.list.d/ceph.list ] && \
  sed -i 's/^deb/#deb/g' /etc/apt/sources.list.d/ceph.list

[ -f /etc/apt/sources.list.d/ceph.sources ] && \
  echo 'Enabled: false' >> /etc/apt/sources.list.d/ceph.sources

# Them no-subscription repo dung codename thuc te, dinh dang classic .list (van tuong thich PVE8/9)
cat > /etc/apt/sources.list.d/pve-no-subscription.list <<EOF
deb http://download.proxmox.com/debian/pve $CODENAME pve-no-subscription
EOF

# ── 2. Update va upgrade ──
apt update
apt full-upgrade -y

# ── 3. Popup "No valid subscription" chi la thong bao, KHONG anh huong chuc nang ──
#      KHONG patch proxmoxlib.js: hook de vo giao dien web sau moi lan cap nhat widget-toolkit.
#      Neu truoc day da cai hook no-nag thi go bo va khoi phuc file goc:
[ -f /etc/apt/apt.conf.d/no-nag-script ] && rm -f /etc/apt/apt.conf.d/no-nag-script && \
  apt --reinstall install -y proxmox-widget-toolkit && systemctl restart pveproxy

# ── 4. Dat rp_filter = 2 (loose) cho node nhieu NIC/VLAN ──
#      rp_filter = 1 (strict) co the drop goi khi dinh tuyen bat doi xung; dung 2 (loose), khong tat han
# PVE 9 khong co /etc/sysctl.conf — phai dung /etc/sysctl.d/
echo 'net.ipv4.conf.all.rp_filter = 2'     >> /etc/sysctl.d/99-proxmox-ve.conf
echo 'net.ipv4.conf.default.rp_filter = 2' >> /etc/sysctl.d/99-proxmox-ve.conf
sysctl -p /etc/sysctl.d/99-proxmox-ve.conf

# ── 5. Kiem tra phien ban sau update ───────────────────────
pveversion
# Ket qua mong doi: pve-manager/9.2.x/... (running kernel: 6.x.x hoac 7.x.x)

echo "Hoan tat. Kiem tra ky truoc khi reboot."

# ── 6. Reboot de ap dung kernel moi ────────────────────────
reboot

6.2 Giải thích từng khối

Khối Làm gì Vì sao cần
0Đọc $VERSION_CODENAME từ /etc/os-releaseHardcode sai codename → repo 404, apt gãy
1Tắt pve-enterprise + ceph, thêm pve-no-subscriptionEnterprise repo trả 401 khi không có subscription
2apt update + full-upgradePhải upgrade TRƯỚC khi patch nag, nếu không bản vá bị ghi đè
3Không patch popup "No valid subscription" (chỉ là thông báo)Patch proxmoxlib.js dễ vỡ giao diện sau cập nhật; nếu từng cài hook cũ thì gỡ và cài lại proxmox-widget-toolkit
4Đặt rp_filter = 2 trong /etc/sysctl.d/rp_filter=1 có thể drop gói khi node có nhiều NIC/VLAN hoặc định tuyến bất đối xứng; mức 2 (loose) vẫn chống giả mạo IP cơ bản
5–6pveversion rồi rebootXác nhận bản mới và boot vào kernel vừa cài

Bài toán thực tế: chọn storage cho Proxmox

Ceph OSD vs Synology HA + Fiber Channel — phân tích theo chi phí, hiệu năng, HA

Kịch bản: 3 server (16C / 64 GB RAM / RAID1-480GB / 2 NIC) · 10 VM × (8 vCPU / 4 GB RAM / 100 GB storage).

0. Phân tích workload hiện tại

Tài nguyên Yêu cầu (10 VM) Có sẵn (3 server) Nhận xét
vCPU80 vCPU96 thread (16C×2HT×3)0.83× — OK, không overcommit
RAM40 GB192 GB21% — thoải mái, dư nhiều
Storage1,000 GB usable0 GB (RAID1 dùng cho OS)THIẾU — phải đầu tư thêm
Kết luận: điểm nghẽn duy nhất là storage. CPU và RAM dư thừa lớn.

1. Ceph OSD không cần RAID trên disk OSD

Đặc điểm Ceph OSD RAID truyền thống
Bảo vệ data3× software replication (Ceph tự quản lý)Hardware RAID1/5/6
Disk cần/server1 disk OSD raw — không cần RAID controller2 disk minimum (RAID1)
Quản lýCeph tự heal, tự rebalance khi OSD dieRAID controller phần cứng
Chi phí disk3 disk cho 3 node (1/node)6 disk cho 3 node (2/node)

2. Tính toán disk cần mua

10 VM × 100 GB = 1 TB usable, replication 3×:

Cấu hình OSD Raw/server Total raw (3 node) Usable (÷3) Phù hợp?
1× 1TB SSD/server1 TB3 TB~1 TB✅ Vừa đủ
2× 1TB SSD/server2 TB6 TB~2 TB✅ Tốt, có headroom
1× 2TB NVMe/server2 TB6 TB~2 TB✅ Performance cao
Tối thiểu cần mua: 3× 1TB SSD (~5–9 triệu). Không phải 6 disk như RAID truyền thống.

3. Bảng so sánh toàn diện

Tiêu chí Ceph OSD (thêm disk vào server) Synology HA + Fiber Channel
Chi phí đầu tư thêm3–9 triệu (3× 1TB SSD)80–200 triệu (2 NAS HA + FC switch + 3× HBA)
Thời gian triển khai1–2 ngày3–7 ngày (FC zoning phức tạp)
TCO 3 nămThấp — ~10–20 triệu totalCao — 100–250 triệu + bảo trì hằng năm
Latency1–3 ms (NVMe OSD: <1 ms)FC: 0.1–0.3 ms / NFS 10GbE: 1–2 ms
IOPS50K–200K (scale tuyến tính theo số OSD)FC: 500K+ / NFS 10GbE: 100K–200K
Throughput1–3 GB/s (aggregate cluster)FC 16G: 1.6 GB/s/port; multi-port cao hơn
Storage usable~1–2 TB (tuỳ OSD chọn)Tuỳ NAS model: 4–40 TB+
HA khi 1 PVE node die✅ VM migrate tự động, 2 replica còn✅ VM migrate, NAS serve qua VIP
HA khi 1 OSD/disk die✅ Ceph tự rebalance, zero downtime✅ SHA VIP failover ~60s
HA khi toàn bộ storage die✅ Không ảnh hưởng (distributed 3 node)⚠️ Cả cụm NAS chết → downtime
RPO~0 (3× replication đồng bộ)~0 (SHA mirror real-time)
RTO khi storage fail~giây (Ceph tự route, không đợi failover)~60s (VIP failover NAS-1 → NAS-2)
Yêu cầu mạng⚠️ Cần 2 network riêng: NIC1 = public (VM), NIC2 = cluster (replication)✅ Đơn giản hơn: NIC1 = mgmt/VM, NIC2 = FC/storage
Giao thức storageCeph RBD (native, tối ưu)Fiber Channel iSCSI hoặc NFS over FC
Scale-out storage✅ Thêm server/OSD → pool tự mở rộng⚠️ Giới hạn bởi slot NAS phần cứng
Scale-out compute✅ Thêm node PVE → tự join Ceph cluster✅ Thêm server mount FC/NFS thêm
Phức tạp setup⭐⭐⭐ Cao — CRUSH map, OSD, PG tuning⭐⭐⭐⭐ Rất cao — FC zoning, multipath, NAS admin
Vận hành hàng ngày⭐⭐⭐ Cần hiểu Ceph health, rebalancing⭐⭐ GUI DSM quen thuộc; FC cần chuyên gia riêng
Vendor lock-in✅ Không — open source hoàn toàn⚠️ Phụ thuộc Synology + FC vendor
Phù hợp 10 VM văn phòng✅ Đủ, tối ưu chi phí⚠️ Overkill về hiệu năng lẫn chi phí

4. Ma trận quyết định theo nhu cầu

Nhu cầu / Tình huống Ceph OSD Synology HA + FC
Budget eo hẹp (<20 triệu)✅ Chọn Ceph❌ Không phù hợp
10 VM thông thường (ERP, web, email, CSDL vừa)✅ Đủ, tối ưu⚠️ Overkill
Cần >500K IOPS / latency <0.5 ms bắt buộc⚠️ Cần NVMe OSD✅ FC phù hợp
Kế hoạch scale 30–50 VM trong 2 năm✅ Thêm server/OSD dễ⚠️ NAS có giới hạn slot
Không có IT chuyên sâu về storage⚠️ Học Ceph ~1–2 tuần✅ GUI Synology trực quan
Không muốn phụ thuộc vendor✅ Open source hoàn toàn❌ Lock-in Synology + FC
Đã có FC switch/infrastructure sẵn—✅ Tận dụng ngay
Oracle RAC / SQL Server AlwaysOn (I/O nặng)⚠️ NVMe OSD ổn✅ FC tối ưu nhất

5. Kết luận và khuyến nghị dài hạn

Giai đoạn Hành động khuyến nghị Lý do
Giai đoạn 1
Hiện tại — 10 VM
Ceph OSD: mua 3× 1TB SSD NVMe. Chi phí ~9–15 triệuĐủ 1TB usable, không cần FC, scale tốt, TCO thấp nhất
Giai đoạn 2
Scale 30–50 VM
Thêm OSD disk hoặc thêm node PVE vào Ceph clusterKhông cần thay kiến trúc, pool tự mở rộng tuyến tính
Xét FC SAN khi nàoOracle RAC, SQL Server AlwaysOn · Latency <0.5 ms bắt buộc từ ứng dụng · Có nhân sự Storage Admin chuyên biệtFC chỉ hợp lý cho I/O-intensive database, không phải VM văn phòng
Lưu ý quan trọng: FC không phải "nhanh hơn = tốt hơn" trong mọi trường hợp. Với 10 VM văn phòng doanh nghiệp vừa, Ceph + 10GbE đạt 100–200K IOPS là quá đủ, tiết kiệm ~90% chi phí so với FC SAN.

Kiểm tra & xử lý lỗi thường gặp

Checklist sau cài đặt và các lỗi hay gặp nhất

Checklist sau khi cài xong
  • Truy cập được https://<IP>:8006 và đăng nhập root@pam
  • pveversion trả về đúng bản mong muốn, không còn cảnh báo enterprise repo
  • lscpu | grep -E 'vmx|svm' có kết quả → ảo hóa phần cứng đang bật
  • TOTP đã bật và đã lưu Recovery Keys
  • Storage data01 hiện trong Server View, findmnt /mnt/pve-data01 có kết quả
  • Reboot thử một lần và xác nhận disk vẫn tự mount đúng
  • Firewall giới hạn nguồn truy cập port 8006 và 22
apt update báo 401 Unauthorized từ enterprise.proxmox.com

Enterprise repo yêu cầu subscription hợp lệ. Chạy script Bước 6 để chuyển sang pve-no-subscription. Lưu ý PVE 9 dùng định dạng .sources — disable bằng dòng Enabled: false, không phải comment #deb.

parted: command not found / mkpart: command not found
  • parted chưa cài → apt install parted (phải đã chuyển no-subscription repo trước)
  • mkpart là subcommand — luôn gõ parted -s -a optimal /dev/sdX mkpart …
  • Không thêm repo bookworm vào hệ thống PVE 9 (trixie) — trộn release gây xung đột thư viện
Server không boot được vào USB
  • Kiểm tra Boot Mode BIOS khớp với partition scheme của USB (UEFI ↔ GPT, Legacy ↔ MBR)
  • Tắt Secure Boot nếu server bật sẵn
  • Ghi lại USB bằng Rufus ở chế độ DD Image mode
VM không khởi động được — KVM virtualisation not available

Ảo hóa phần cứng chưa bật trong BIOS. Kiểm tra:

lscpu | grep -E 'vmx|svm' # phải có kết quả
kvm-ok # nếu có gói cpu-checker

Không có kết quả → quay lại Bước 1 bật Virtualization Technology.

Sau reboot, storage data01 báo lỗi / dung lượng sai
  • Disk chưa mount: findmnt /mnt/pve-data01 — nếu trống, kiểm tra lại dòng UUID trong /etc/fstab
  • Storage hiển thị đúng bằng dung lượng ổ hệ điều hành → thiếu --is_mountpoint 1; sửa bằng pvesm set data01 --is_mountpoint 1
  • Kiểm tra UUID còn đúng: blkid /dev/sdb1
Mất điện thoại chứa mã TOTP, không đăng nhập được Web GUI

Dùng Recovery Key nếu đã tạo. Nếu không còn cách nào, SSH vào node và gỡ TFA:

cp /etc/pve/priv/tfa.cfg /root/tfa.cfg.bak
nano /etc/pve/priv/tfa.cfg # xóa entry của user tương ứng
Muốn gom node này thành Cluster sau này

Triển khai thêm 2 node nữa bằng đúng quy trình trên (chỉ đổi hostname + IP), sau đó tạo cluster từ node đầu tiên và join hai node còn lại. Node đã join cluster không được đổi hostname/IP nữa — đây là lý do phải quy hoạch từ Bước 3.6.

Zalo