Lifecycle Manager & Nâng Cấp

1. Baseline vs Image-Based Lifecycle — Chọn Đúng Phương Pháp

vLCM hỗ trợ 2 mô hình quản lý lifecycle hoàn toàn khác nhau — lựa chọn sai ảnh hưởng đến cả cluster khi mở rộng thêm host mới.

2. Depot Configuration — HTTPS & Local Air-Gapped

Môi trường doanh nghiệp thường không cho phép vCenter kết nối internet trực tiếp — cần setup local depot hoặc UMDS (Update Manager Download Service).

### TOPOLOGY — Local Depot cho Air-Gapped Environment

  ┌──────────────────────────────────────────────────────────┐
  │          CORPORATE NETWORK (Isolated)                    │
  │                                                          │
  │  ┌─────────────┐   Sync   ┌─────────────────────────┐   │
  │  │  UMDS Server│ ◄──────── │  VMware Online Depot    │   │
  │  │  (DMZ/Proxy)│ HTTPS    │  depot.vmware.com        │   │
  │  └─────────────┘          └─────────────────────────┘   │
  │         │ HTTP/HTTPS (internal)                          │
  │         ▼                                                │
  │  ┌─────────────────────────────────────────────────┐    │
  │  │  vCenter / vLCM                                 │    │
  │  │  → Administration → Lifecycle Manager           │    │
  │  │  → Settings → Patch Download Settings           │    │
  │  │  → Use custom depot: http://umds-01.corp.com    │    │
  │  └─────────────────────────────────────────────────┘    │
  └──────────────────────────────────────────────────────────┘

### Setup UMDS (Update Manager Download Service) — Windows Server
# Cài đặt UMDS trên Windows Server có internet access (DMZ)
# 1. Mount VMware-vCenter-Server ISO → Run VMware-UMDS.exe
# 2. Cấu hình download path: D:\UMDS-Repository\
# 3. Kết nối vào VMware Depot online:

# UMDS commands (PowerShell trên UMDS server):
vmware-umds -S --add-url https://www.vmware.com/channeldata --url-type HostPatch
vmware-umds -S --add-url https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml

# Cấu hình download ESXi 8.0.3 patches
vmware-umds -S --enable-host --host-product ESXi --host-version 8.0.0

# Download patches (chạy hàng ngày qua scheduled task)
vmware-umds -D

# Expose qua IIS / Apache:
# Map D:\UMDS-Repository\ → http://umds-01.corp.com/umds/

### Thêm depot vào vLCM:
# vSphere Client → Administration → Lifecycle Manager
# → Settings → Patch Download Settings → Use a shared repository
# URL: http://umds-01.corp.com/umds/

3. Patch Sequencing cho Production Cluster — Thứ Tự Bắt Buộc

Sai thứ tự update là nguyên nhân phổ biến nhất gây lỗi sau patching — vCenter phải được update trước ESXi hosts.

4. Staged Update Workflow — Scan → Stage → Remediate

Staging tách bước "download patch xuống host" ra khỏi "apply patch" — giúp rút ngắn maintenance window thực tế và kiểm soát rủi ro.

### PowerCLI — Staged Update Workflow tự động hóa
Connect-VIServer vcsa-01.lab.local

$cluster   = Get-Cluster "CL-HN-Prod-01"
$clusterView = $cluster | Get-View

Write-Host "=== BƯỚC 1: SCAN compliance ==="
# Trigger scan để xác định hosts nào non-compliant
$scanTask = $clusterView.ScanEntityForCompliance_Task($clusterView.MoRef)
Wait-Task -Task (Get-Task -Id $scanTask)

# Xem kết quả compliance
$cluster | Get-View | Select-Object -ExpandProperty ComplianceCheckResult |
    ForEach-Object { Write-Host "Host: $($_.Entity.Value) | Status: $($_.ComplianceStatus)" }

Write-Host "=== BƯỚC 2: STAGE patches (download to hosts, no reboot) ==="
# Stage trước maintenance window — download patches xuống host cache
# vSphere Client → Cluster → Updates → Pre-Check Remediations → Stage Patches
# Hoặc PowerCLI:
$hosts = $cluster | Get-VMHost | Where-Object { $_.ConnectionState -eq "Connected" }
foreach ($h in $hosts) {
    Write-Host "Staging: $($h.Name)"
    # Stage tải file xuống /scratch/downloads trên host
    # KHÔNG reboot tại bước này
}

Write-Host "=== BƯỚC 3: REMEDIATE (apply + reboot, trong maintenance window) ==="
# Thực hiện trong maintenance window đã approved
# vSphere Client → Cluster → Updates → Remediate All
# DRS tự động evacuate VMs, host reboot, exit maintenance

5. Maintenance Mode Orchestration — Zero-Downtime Rolling Update

Quy trình rolling update chuẩn cho cluster 6 hosts — đảm bảo VMs không bị downtime trong suốt quá trình patch.

### ROLLING UPDATE TIMELINE — Cluster 6 hosts (4 giờ maintenance window)

  T+00:00  ┌─ ESXi-01: Enter Maintenance Mode
           │  DRS vMotion tất cả VMs → ESXi-02,03,04,05,06
  T+00:05  │  VLCM Remediate ESXi-01 (download nếu chưa stage + apply)
  T+00:25  │  ESXi-01 Reboot tự động
  T+00:30  └─ ESXi-01: Exit Maintenance Mode, verify healthy (5 phút)

  T+00:35  ┌─ ESXi-02: Enter Maintenance Mode → DRS evacuate
  T+01:05  └─ ESXi-02: Exit Maintenance Mode

  T+01:10 → ESXi-03 (tương tự)
  T+01:45 → ESXi-04
  T+02:20 → ESXi-05
  T+02:55 → ESXi-06 (host cuối cùng)

  T+03:30  HOÀN THÀNH ✓
           → vLCM Compliance Check: All Compliant
           → VMs: ZERO downtime (DRS liên tục vMotion)

### PowerCLI — Kiểm tra trạng thái sau mỗi host remediate
function Verify-HostAfterPatch {
    param([string]$HostName)
    $h = Get-VMHost -Name $HostName
    $hView = $h | Get-View

    $checks = @{
        "ConnectionState"    = $h.ConnectionState -eq "Connected"
        "Build version"      = $h.Build -ne $null
        "No config error"    = ($hView.ConfigStatus -eq "green")
        "VMs back on host"   = (Get-VM -Location $h | Where-Object { $_.PowerState -eq "PoweredOn" }).Count -gt 0
    }

    $allPass = ($checks.Values | Where-Object { $_ -eq $false }).Count -eq 0
    Write-Host "$HostName — $(if ($allPass) { 'PASS ✓' } else { 'FAIL — xem chi tiết' })"
    $checks.GetEnumerator() | ForEach-Object {
        Write-Host "  $($_.Key): $(if ($_.Value) { 'OK' } else { 'FAIL' })"
    }
    return $allPass
}

# Gọi sau khi từng host exit maintenance mode
Get-Cluster "CL-HN-Prod-01" | Get-VMHost | ForEach-Object {
    Verify-HostAfterPatch -HostName $_.Name
}

6. Rollback Procedure — Khi Patch Gây Sự Cố

Phải có rollback plan trước khi bắt đầu patching — không chuẩn bị rollback = không được phép patch production.

### ESXi Host Rollback Options (theo thứ tự ưu tiên)

## Option 1: ESXi Boot Bank Rollback (nhanh nhất — không cần reinstall)
# Khi ESXi có vấn đề sau patch, boot từ previous image (backup boot bank):
# Trong DCUI (F2 → Troubleshooting Options) hoặc iDRAC/iLO boot menu:
#   → Advanced Boot Options → Select boot disk
#   → Chọn "Previous ESXi version" (esxiboot bank)
# Hoặc qua SSH nếu còn access:
esxcli system maintenanceMode set -e true
esxcli software profile restore --depot=file:///vmfs/volumes/datastore1/VMware_ESXi_backup.zip

## Option 2: Reinstall từ ISO (nếu boot bank corrupt)
# 1. Boot từ ESXi 8.0.3 ISO cũ (version trước khi patch)
# 2. Chọn "Upgrade/Restore" → giữ VMFS datastore
# 3. Hosts và VMs vẫn còn trên datastore
# 4. Re-add host vào cluster sau khi install xong

## Option 3: vCenter Rollback (nếu VCSA update fail)
# Trước khi update VCSA, VAMI tự động tạo snapshot (File-based backup)
# Nếu VCSA update fail → VAMI → Backup → Restore từ snapshot gần nhất
# Hoặc: vCenter snapshot trên ESXi host (nếu VCSA chạy trên ESXi, không embedded)

### Checklist Rollback Decision (trong maintenance window)
# Nếu sau patch xuất hiện:
# - Host không Exit Maintenance Mode được → xem /var/log/vmkernel.log
# - VMs không power on được sau vMotion → kiểm tra datastore access
# - vCenter services không start → vmon-cli --status
# Nếu không fix được trong 30 phút → kích hoạt rollback procedure