System & Network SeaweedFS S3
Bài 32 · Giai đoạn 6 — DevOps Platform

SeaweedFS S3 Object Storage

S3-compatible on-premise (SeaweedFS) — backend Harbor, Loki, Velero K3s backup.

VM268 · node1 Ubuntu Server 24.04.5 LTS 10.11.85.10 4 vCPU · 8 GB · 20 GB hệ điều hành và metadata filer

Bối cảnh & Lý do triển khai

Vị trí trong chuỗi bài: Bài 32 thuộc Giai đoạn 6 — DevOps Platform, nối tiếp Bài 31. Nexus Repository và đứng trước Bài 33. Loki Log Stack.
Mức độ cần thiết: 🟡 Quan trọng — S3-compatible object storage nội bộ, backend cho Harbor, Loki, Velero, Gitea LFS và CI/CD artifacts

Nhiều service hiện đại yêu cầu object storage S3-compatible: Harbor lưu Docker layer blobs, Loki (bài 33, tùy chọn) lưu chunk và index log, Velero backup trạng thái Kubernetes, Gitea lưu LFS objects lớn, OpenTofu giữ state (bài 07) và pipeline CI/CD lưu build artifacts. Thay vì phụ thuộc AWS S3 hoặc mua license thương mại, SeaweedFS (giấy phép Apache-2.0, phát hành đều: bản 4.48 ngày 2026-09-28) cung cấp S3 API chạy on-premise, kèm identities và quyền theo bucket, versioning, lifecycle, Object Lock, TLS, giao diện quản trị và metrics Prometheus. Bài này thay cho bản dùng MinIO trước đây (MinIO bản cộng đồng đã ngừng phát triển, xem phần cảnh báo bên dưới).

SeaweedFS được đặt trên VLAN_STORAGE (tag=85, subnet 10.11.85.x) tách biệt với các service thông thường, phù hợp với kiến trúc phân vùng lưu trữ. Mọi service kết nối qua một địa chỉ duy nhất: S3 API tại https://s3.hoatranlabs.local (cổng 443, Nginx trên VM làm lớp TLS). Giao diện quản trị dùng chung tên đó ở cổng 8443 (chỉ VLAN quản trị), nên lab chỉ cần một bản ghi DNS s3. Các thành phần master, volume, filer chạy nội bộ trong mạng Docker, không mở ra ngoài VM.

MụcNội dung
Ứng dụng trong doanh nghiệpBackend lưu trữ object S3 on-premise cho Harbor (layer/blob), Loki (chunk + index, bài 33), Velero (backup K3s), Gitea LFS, artifact CI/CD, state OpenTofu; tùy chọn blob store cho Nexus
Tác dụng chínhS3 API (SigV4, multipart, presigned URL), tài khoản riêng và quyền tối thiểu theo bucket, versioning, lifecycle, Object Lock, nhân bản và erasure coding khi có nhiều node, giao diện quản trị, metrics Prometheus
Nếu không triển khaiHarbor/Loki phải dùng đĩa cục bộ; backup K3s không có kho tập trung; LFS làm phình repo Git; state OpenTofu nằm trên đĩa ops01
Các service phụ thuộc vào đâyVelero trên K3s (bài 28), Gitea LFS (VM240, bài 22), Harbor (VM239, bài 21, tùy chọn), Loki (VM235, bài 33, tùy chọn), OpenTofu trên ops01 (bài 07, tùy chọn), Nexus blob store (bài 31, tùy chọn)

Phiên bản: 3.0 | Ngày cập nhật: 2026-10-16 (thay MinIO bằng SeaweedFS 4.48; Ubuntu Server 24.04 LTS; Docker Compose; Velero 1.18.4)
Cluster: HOATRANHUB (PVE 9.2.20) | Tác giả: HoatranLabs

Vì sao bài này dùng SeaweedFS thay cho MinIO (kiểm tra 2026-10-16): README của github.com/minio/minio ghi "THIS REPOSITORY IS NO LONGER MAINTAINED", kho được lưu trữ (archived) ngày 25/04/2026, bản cộng đồng chỉ phân phối dạng mã nguồn và không còn cập nhật bảo mật; kho minio/mc archived ngày 14/07/2026. Khi kiểm tra ngày 2026-10-15, tổ chức minio trên Docker Hub không còn liệt kê image minio/minio và minio/mc, còn dl.min.io trả HTTP 410 cho binary minio và mc. Vì vậy bài chuyển sang SeaweedFS: Apache-2.0, phát hành đều đặn, S3 API đủ cho mọi dịch vụ của lab (mục 4 kiểm từng dịch vụ), có image chính thức nên chạy được bằng Docker theo quy tắc của series. Giữ nguyên VMID 268, IP 10.11.85.10, VLAN 85, node1; hostname đổi từ minio thành s3, không còn bản ghi hay alias minio. Người đang chạy MinIO cũ: dữ liệu sao chép sang SeaweedFS bằng rclone sync hoặc aws s3 sync giữa hai endpoint (chưa chạy thử trên máy thật), rồi đổi cấu hình từng dịch vụ theo mục 4.

So sánh nhanh các giải pháp S3 on-premise (đối chiếu tài liệu ngày 2026-10-16):

Tiêu chíMinIO (cộng đồng)SeaweedFS (chọn)GarageRustFSCeph RGW
Tình trạng và giấy phépKho archived 2026-04-25, không còn bản vá; image/binary bị gỡApache-2.0, phát hành đều (4.48 ngày 2026-09-28)Mã nguồn mở, nhẹ, dành cho cụm nhỏ phân tánApache-2.0, dự án mới (README còn nhắc bản 1.0.0-beta.11)Một phần của Ceph, trưởng thành, giấy phép LGPL
Bucket policy, IAMCó (đến khi dừng)Có: identities trong s3.json, IAM policy, bucket policy, STSKhông có bucket policy/ACL; quyền theo từng khóa và bucketCó (README liệt kê IAM/policies)Có, đầy đủ
Versioning, Object Lock, lifecycleCóVersioning, Object Lock, lifecycle (không có transition)Không versioning, không Object Lock; lifecycle chỉ Expiration và AbortIncompleteMultipartUploadREADME liệt kê là "Available", chưa có hồ sơ vận hành dàiCó, đầy đủ, kèm multisite
Bảo vệ dữ liệuErasure codingNhân bản theo rack/DC; erasure coding 10+4 cho dữ liệu "ấm"Nhân bản (2 hoặc 3 bản)Erasure coding, chế độ phân tánNhân bản hoặc erasure coding theo pool
Giao diện quản trịConsole (không còn bản cộng đồng được bảo trì)Admin UI (weed admin) có mật khẩu và mTLSKhông có UI chính thức (có công cụ cộng đồng)Có consoleDashboard của Ceph (RGW cần cấu hình thêm)
Chạy 1 VM, DockerImage đã gỡImage chính thức chrislusf/seaweedfs, ghim tagImage chính thứcImage chính thứcKhông phù hợp: cần các daemon radosgw trên cụm Ceph
Kết luận cho labLoạiChọn: đáp ứng Loki, Harbor, Velero, Gitea, OpenTofu; nhỏ gọn, mở rộng đượcLoại: thiếu versioning/policy/Object LockTheo dõi, chưa chọn (còn non trẻ)Dành cho quy mô lớn; cụm Ceph của lab do Proxmox quản lý và không có công cụ dựng RGW của PVE (cần kiểm lại)

SeaweedFS đáp ứng mọi dịch vụ ở mục 4 nên không cần đổi sang phương án khác. Lưu ý quy mô: README của SeaweedFS có lệnh weed mini (một tiến trình gộp master, volume, filer, S3, admin) và ghi rằng đủ cho một node; bài này chọn tách thành phần (master, volume, filer, s3, admin, worker là các container riêng) vì tách được cổng metrics, nâng cấp từng phần, đặt Nginx và TLS riêng cho S3 và thêm volume server khi cần. Wiki "Production Setup" cũng có lối gọn cho 1 máy là weed server -filer -s3; ba cách dùng chung định dạng dữ liệu.

Phiên bản phần mềm sử dụng (đã xác minh 2026-10-16; cập nhật bài ngày 2026-10-16):

Thành phầnPhiên bảnGhi chú
Hệ điều hành (s3, VM268)Ubuntu Server 24.04.5 LTS "Noble Numbat"ISO ubuntu-24.04.5-live-server-amd64.iso (2026-09-09, releases.ubuntu.com/24.04), hỗ trợ chuẩn tới 04/2029. Gói mặc định: Linux 6.8, systemd 255, OpenSSL 3.0.13, netplan 1.0, Nginx 1.24, Python 3.12
SeaweedFS4.48 (image chrislusf/seaweedfs:4.48, ghim; phát hành 2026-09-28)Bản "Latest" trên github.com/seaweedfs/seaweedfs/releases; tag có trên Docker Hub (amd64, arm64). Bản 4.48 đã gồm bản vá CVE-2026-55874 (CopyObject đọc chéo bucket, vá từ 4.34) và CVE-2026-55873 (S3Tables, vá từ 4.34); cần từ 4.34 trở lên. Image chạy bằng user seaweed (UID 1000), bật FIPS 140-3 mặc định (GODEBUG=fips140=on)
Docker Engine + Compose plugin29.9.1 / 5.6.0 (repo download.docker.com, suite noble)Gói docker-ce, docker-ce-cli, containerd.io, docker-buildx-plugin, docker-compose-plugin; dùng lệnh docker compose. Số bản sẽ tăng theo thời gian
Nginx1.24.x (gói nginx của noble)Reverse proxy HTTPS cho S3 API, Admin UI và metrics
step-cli0.31.0 (step-cli_0.31.0-1_amd64.deb)Giá trị dùng chung của lab
AWS CLI v2Bản mới nhất từ awscli.amazonaws.comGói apt awscli không có trong Ubuntu 24.04 (packages.ubuntu.com ngày 2026-10-16), nên cài bằng trình cài đặt chính thức của AWS (mục 3.2)
Velero CLI / plugin AWSv1.18.4 / v1.14.4 (phát hành 2026-09-28)Ma trận của plugin: 1.14.x đi với Velero 1.18.x. Bài trước ghim v1.14.0/v1.10.0 (đã cũ). Velero 1.18 được kiểm trên Kubernetes 1.33 đến 1.35, K3s của bài 28 là v1.36.5: cần kiểm lại trên máy thật
Dịch vụ dùng S3Harbor 2.15.4 (bài 21), Gitea 28.1.0 (bài 22), Loki 3.7.8 (bài 33), Nexus 3.96.4 (bài 31), OpenTofu 1.13.1 (bài 07)Phiên bản theo bài của từng dịch vụ; mục 4 ghi kết quả đối chiếu tài liệu
proxmox-backup-client-staticGói từ repo pbs-client, suite trixieBản liên kết tĩnh, không phụ thuộc glibc của noble; chạy trên noble cần kiểm lại trên máy thật

Danh sách máy chủ & IP liên quan

Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.

Máy chủIPVLAN · NodeVai trò trong bài này
s3 (SeaweedFS S3 Object Storage) · VM26810.11.85.1085 (STORAGE) · node1Máy chủ của bài — SeaweedFS 4.48 bằng Docker Compose (master, volume, filer, s3, admin, worker) sau Nginx: S3 API https://s3.hoatranlabs.local:443, Admin UI :8443.
node1 (Proxmox VE)10.11.45.21045 (MGMT) · cluster HOATRANHUBNode Proxmox chứa VM268; tạo VM (VLAN tag 85, scsi0 20 GiB trên vm-ceph SSD, scsi1 100 GiB trên vm-bulk HDD) và mở rộng đĩa bằng qm resize khi đầy.
pihole (Pi-hole DNS) · VM24710.11.45.5345 (MGMT) · node3Làm DNS cho VM và phân giải s3.hoatranlabs.local về VM268 (một bản ghi duy nhất, tạo ở bài 12; không còn bản ghi minio).
step-ca (step-CA PKI) · VM24210.11.25.4225 (SEC) · node1Cấp chứng chỉ TLS cho Nginx của VM268 (SAN gồm tên s3 và IP) qua step ca certificate, gia hạn bằng cron hằng tuần (bài 13).
harbor (Harbor Registry) · VM23910.11.45.3945 (MGMT) · node2Tùy chọn dùng bucket harbor-storage làm backend lưu layer/blob qua khối storage_service trong harbor.yml (bài 21).
gitea (Gitea + Actions) · VM24010.11.45.4045 (MGMT) · node2Lưu Git LFS vào bucket gitea-lfs qua biến môi trường GITEA__lfs__* trong docker-compose; artifact CI dùng bucket artifacts (bài 22).
nexus (Nexus Repository OSS) · VM26710.11.65.6765 (SRV) · node3Tùy chọn tạo blob store S3 trên bucket nexus-blobs (Endpoint URL và path-style); mặc định giữ blob store file của bài 31.
prometheus (Prometheus + Alertmanager) · VM23510.11.45.3545 (MGMT) · node2Scrape metrics SeaweedFS (job s3, s3-master, s3-volume, s3-filer, s3-worker qua https s3.hoatranlabs.local:443); Loki trên VM này dùng bucket loki (bài 33).
grafana (Grafana + Uptime Kuma + Gotify) · VM23610.11.45.3645 (MGMT) · node2Import dashboard SeaweedFS (grafana.com ID 10423) để xem metrics lấy từ Prometheus (bài 15).
K3s cluster (3 control plane + 3 worker) · VM 260–26510.11.65.60–6565 (SRV) · node1–node3Cụm nhận Velero 1.18.4 (bucket velero-backups, s3ForcePathStyle, --cacert) và lịch backup hằng ngày lên SeaweedFS (bài 28).
ops01 (Ansible/OpenTofu + bastion) · VM29010.11.45.2045 (MGMT) · node2Tùy chọn dùng bucket tofu-state làm backend S3 cho state OpenTofu; chạy AWS CLI quản trị từ xa tới S3 (bài 07).
pbs01 (PBS Primary) · VM10110.11.45.1745 (MGMT) · node4Nhận backup file-level cấu hình SeaweedFS (/opt/seaweedfs, không gồm dữ liệu volume) bằng proxmox-backup-client, token vm-backup@pbs!s3 (bài 04).
syno-primary (Synology NAS)10.11.45.1645 (MGMT) · NASNAS chứa datastore syno-primary — đích lưu bản backup cấu hình SeaweedFS hằng tuần; dữ liệu bucket do job vzdump của VM268 và từng dịch vụ bảo vệ (bài 04).
FortiGate (firewall)10.100.100.1Quản trị 10.100.100.0/24 · thiết bị mạngPolicy cho phép VLAN 45 và 65 tới 10.11.85.10 cổng TCP 443 (S3 API) và VLAN 45 tới cổng 8443 (Admin UI).

Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local.

Thông tin VM

Thông sốGiá trị
VMID268
Hostnames3
IP10.11.85.10/24
Gateway10.11.85.1
VLAN85 (VLAN_STORAGE)
vCPU4
RAM8 GB
Disk20 GB hệ điều hành và metadata filer (scsi0, SSD vm-ceph) + 100 GB dữ liệu object SeaweedFS (scsi1, HDD vm-bulk); cả hai là thin, mở rộng bằng qm resize
OSUbuntu Server 24.04.5 LTS
Phân bổ nodenode1
Cách chạyDocker Compose trong /opt/seaweedfs: master, volume, filer, s3, admin, worker; Nginx trên host
S3 API URLhttps://s3.hoatranlabs.local (cổng 443)
Admin UI URLhttps://s3.hoatranlabs.local:8443 (chỉ VLAN 45)

Kiến trúc & phương án triển khai

Harbor · Gitea · Loki · Velero · OpenTofu ──HTTPS 443──► Nginx (host VM268) ──► 127.0.0.1:8333  s3 (gateway S3)
                                                                                     │
Quản trị viên (VLAN 45) ───────HTTPS 8443──► Nginx ──► 127.0.0.1:23646 admin         ▼
Prometheus VM235 ──HTTPS 443 /_metrics/*──► Nginx ──► 127.0.0.1:9324-9328      filer :8888 ──► master :9333
                                                                                     │
                                                                              volume :8080 ──► /srv/seaweedfs/volume (đĩa HDD vm-bulk)
Thành phầnCổng trong mạng DockerPublish ra hostVai trò
master9333 (gRPC 19333), metrics 9324chỉ metrics, 127.0.0.1:9324Điều phối volume, gán vị trí ghi
volume8080 (gRPC 18080), metrics 9325chỉ metrics, 127.0.0.1:9325Lưu dữ liệu trong các tệp volume 1 GB
filer8888 (gRPC 18888), metrics 9326chỉ metrics, 127.0.0.1:9326Metadata, cây thư mục /buckets/<bucket> (leveldb2)
s38333, metrics 9327127.0.0.1:8333, 127.0.0.1:9327Cổng S3 API, đọc identities từ s3.json
admin23646 (gRPC worker 33646)127.0.0.1:23646Giao diện quản trị (có mật khẩu)
workermetrics 9328127.0.0.1:9328Tác vụ nền: lifecycle, vacuum, balance, erasure coding
Docker publish cổng đi vòng UFW. Cổng mở bằng ports: được Docker thêm luật iptables riêng, UFW không chặn được. Vì vậy mọi cổng trong compose của bài đều gắn 127.0.0.1:; chỉ Nginx (tiến trình trên host) mở cổng 80, 443 và 8443 ra mạng, và UFW kiểm soát được các cổng đó. Không bỏ tiền tố 127.0.0.1:.

Phương án triển khai (quy tắc của series: có image chính thức thì ưu tiên Docker, rồi LXC, cuối cùng mới cài trực tiếp lên VM):

Phương ánTrạng thái trong bàiLý do chọn / không chọnCách chuyển đổi
Docker Engine + Compose trên VM268 (khuyến nghị)Phương án của bàiCó image chính thức chrislusf/seaweedfs, ghim tag, nâng cấp và quay lại bản cũ bằng cách đổi tag; dữ liệu là bind mount rõ ràng (/srv/seaweedfs, /opt/seaweedfs) nên PBS in-VM sao lưu được; chạy bằng user không root sau bước khởi tạo của entrypointChuyển sang binary: docker compose down, giữ nguyên /srv/seaweedfs, chạy weed với cùng tham số
VM268 + binary weed + systemdPhương án thay thếÍt lớp nhất, dễ gỡ lỗi bằng journalctl; tải linux_amd64.tar.gz của bản 4.48 từ trang releases, tự quản lý user, unit, nâng cấpDùng lại thư mục dữ liệu và s3.json; viết 1 unit weed server -filer -s3 hoặc 4 unit riêng theo wiki Production Setup
LXC không đặc quyền (CT268) + binary + systemdChưa dùng, chưa chạy thửweed là một binary Go nên chạy được trong LXC (Ubuntu 24.04, --unprivileged 1, thêm mount point dữ liệu trên vm-bulk) và nhẹ hơn VM. Nhược: Docker không chạy trong LXC (Proxmox không khuyến nghị) nên phải dùng binary; không live-migrate; dữ liệu object lớn nên cần mount point riêngTạo CT theo quy ước series, chép /srv/seaweedfs và s3.json; VM và CT dùng chung VMID/IP nên không chạy song song
01

Tạo VM trên Proxmox

Tải Ubuntu ISO (nếu chưa có) · Tạo VM · Cài đặt Ubuntu 24.04

1.1 Tải Ubuntu ISO (nếu chưa có)

# Chạy trên Proxmox node node1
# 24.04.5 là bản point mới nhất tại thời điểm viết (2026-09-09); nếu đã có bản mới hơn, xem https://releases.ubuntu.com/24.04/
wget -O /var/lib/vz/template/iso/ubuntu-24.04.5-live-server-amd64.iso \
  https://releases.ubuntu.com/24.04/ubuntu-24.04.5-live-server-amd64.iso
# Kiểm tra toàn vẹn: so kết quả với dòng tương ứng trong https://releases.ubuntu.com/24.04/SHA256SUMS
sha256sum /var/lib/vz/template/iso/ubuntu-24.04.5-live-server-amd64.iso

1.2 Tạo VM

VM có hai đĩa trên hai tầng lưu trữ khác nhau (phân tầng SSD/HDD của bài 07, mục 8.5): scsi0 20 GiB trên pool SSD vm-ceph cho hệ điều hành, Docker và metadata (filer leveldb2, chỉ mục volume, cần IOPS ngẫu nhiên), scsi1 100 GiB trên pool HDD vm-bulk cho dữ liệu object (các tệp volume SeaweedFS, ghi tuần tự, hợp ổ quay). Con số 20/100 GiB khớp cột disk/xdisk của vms.csv ở bài 07: đĩa Ceph là thin nên đây chỉ là trần danh nghĩa, còn vm-bulk của lab chỉ có khoảng 333 GB khả dụng (vùng an toàn khoảng 200 GB) dùng chung cho Harbor, Nexus, Loki, S3… Cần thêm thì mở rộng độc lập từng đĩa bằng qm resize 268 scsi1 +50G (mục 3.7). Chưa có pool vm-bulk (làm mục 8.5 của bài 07 trước) thì thay vm-bulk bằng vm-ceph ở bước tạo đĩa scsi1, mọi bước còn lại giữ nguyên.

Cách 1: Web UI Proxmox (GUI)

1
Đăng nhập Proxmox Web UI → chọn Node: node1 → nhấn Create VM (góc trên phải)
2
General:
  • VM ID: 268
  • Name: s3
  • Bỏ tick Start after created
3
OS:
  • Storage: local (hoặc nơi chứa ISO)
  • ISO Image: ubuntu-24.04.5-live-server-amd64.iso
  • Guest OS Type: Linux, Version: 6.x - 2.6 Kernel
4
System:
  • Machine: q35
  • SCSI Controller: VirtIO SCSI single
  • BIOS: SeaBIOS
  • Qemu Agent: ☑
5
Disks:
  • Bus/Device: SCSI 0, Storage: vm-ceph
  • Disk size: 20 GiB, Cache: Write back, Discard: ☑, SSD emulation: ☑
  • Bấm Add để thêm đĩa thứ hai: Bus/Device SCSI 1, Storage: vm-bulk (HDD), Disk size: 100 GiB, Cache: Write back, Discard: ☑, SSD emulation: ☐ (bỏ tick vì là HDD)
6
CPU:
  • Sockets: 1, Cores: 4, Type: x86-64-v2-AES
7
Memory:
  • Memory (MiB): 8192
8
Network:
  • Bridge: vmbr0, VLAN Tag: 85, Model: VirtIO (paravirtualized), Firewall: ☐
9
Confirm: Xem lại → Finish → Start VM → Console để bắt đầu cài Ubuntu.
Proxmox Create VM trên node1 → tab Confirm: VM 268 's3', 4 core, RAM 8192 MiB, đĩa scsi0 20 GiB trên vm-ceph (SSD) và scsi1 100 GiB trên vm-bulk (HDD), vmbr0 VLAN Tag 85, trước khi bấm Finish.
Proxmox Create VM trên node1 → tab Confirm: VM 268 's3', 4 core, RAM 8192 MiB, đĩa scsi0 20 GiB trên vm-ceph (SSD) và scsi1 100 GiB trên vm-bulk (HDD), vmbr0 VLAN Tag 85, trước khi bấm Finish.

Cách 2: CLI (qm create)

# Chạy trên node1
qm create 268 --name s3 --memory 8192 --cores 4 --sockets 1 --cpu x86-64-v2-AES \
  --net0 virtio,bridge=vmbr0,tag=85 \
  --scsihw virtio-scsi-single \
  --scsi0 vm-ceph:20,cache=writeback,discard=on,ssd=1 \
  --scsi1 vm-bulk:100,cache=writeback,discard=on \
  --ide2 local:iso/ubuntu-24.04.5-live-server-amd64.iso,media=cdrom \
  --boot "order=ide2;scsi0" \
  --ostype l26 --machine q35 --bios seabios \
  --agent 1 --serial0 socket --vga serial0
qm start 268

1.3 Cài đặt Ubuntu 24.04

Kết nối qua Proxmox console (qm terminal 268):

  1. Language: English | Keyboard: English (US)
  2. Install type: Ubuntu Server (minimized)
  3. Network: DHCP tạm thời
  4. Storage: chỉ chọn đĩa 20 GiB → LVM, không encrypt. Để nguyên đĩa 100 GiB, mục 2.2 sẽ định dạng riêng
  5. Profile: name=sysadmin, server=s3, user=sysadmin, pass=Hoatran@2024!
  6. SSH: ✅ Install OpenSSH server
  7. Snaps: bỏ chọn tất cả → Reboot

1.4 Cấu hình sau cài đặt

# Ubuntu 24.04 có needrestart: đặt chế độ tự động để apt không bật hộp thoại hỏi khởi động lại dịch vụ
export NEEDRESTART_MODE=a
apt update && apt upgrade -y
apt install -y qemu-guest-agent curl wget git vim net-tools ca-certificates \
  gnupg lsb-release apt-transport-https software-properties-common cron unzip

systemctl enable --now qemu-guest-agent

hostnamectl set-hostname s3
echo "127.0.1.1 s3 s3.hoatranlabs.local" >> /etc/hosts

# Static IP — VLAN_STORAGE 10.11.85.x
# Tên NIC trên VM q35 thường là ens18 hoặc enp6s18: xem tên thật trước, đừng gõ cứng
ip -br link
NIC=$(ip -br link | awk '$1!="lo"{print $1; exit}')
echo "NIC = $NIC"

# Ubuntu 24.04: installer/cloud-init ghi mạng DHCP vào /etc/netplan/50-cloud-init.yaml; nếu để nguyên,
# cấu hình đó cộng dồn với IP tĩnh bên dưới -> tắt cloud-init quản lý mạng và xóa file cũ
echo 'network: {config: disabled}' > /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
rm -f /etc/netplan/50-cloud-init.yaml /etc/netplan/00-installer-config.yaml

cat > /etc/netplan/50-s3.yaml << EOF
network:
  version: 2
  ethernets:
    ${NIC}:
      addresses: [10.11.85.10/24]
      routes:
        - to: default
          via: 10.11.85.1
      nameservers:
        addresses: [10.11.45.53]
        search: [hoatranlabs.local]
EOF
chmod 600 /etc/netplan/50-s3.yaml
netplan apply   # đang SSH bằng IP DHCP thì phiên sẽ đứt: đăng nhập lại bằng 10.11.85.10

# Verify
ip -4 a show "$NIC" | grep "inet "
ping -c3 10.11.45.53
02

Cài đặt SeaweedFS

Cài Docker Engine · Đĩa dữ liệu và thư mục · Tạo khóa truy cập và s3.json

2.1 Cài Docker Engine

# Gỡ gói Docker xung đột của Ubuntu nếu có (không lỗi khi chưa cài)
apt remove -y $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc 2>/dev/null | cut -f1)

# Repo chính thức download.docker.com, suite noble (Ubuntu 24.04), nguồn dạng deb822 + Signed-By
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc
cat > /etc/apt/sources.list.d/docker.sources << EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
apt update
apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

systemctl enable --now docker
usermod -aG docker sysadmin

docker --version
docker compose version

2.2 Đĩa dữ liệu và thư mục

Đĩa scsi1 (100 GiB, HDD vm-bulk) xuất hiện trong VM là một thiết bị trống, thường là /dev/sdb. Đĩa này chỉ chứa dữ liệu object (thư mục volume); metadata của filer, dữ liệu master/admin/worker và chỉ mục volume nằm trên đĩa hệ điều hành (SSD vm-ceph) vì cần IOPS ngẫu nhiên. Kiểm tra kỹ tên thiết bị trước khi định dạng: lệnh mkfs xóa sạch dữ liệu của đĩa được chọn.

lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINT
# Đĩa dữ liệu: SIZE khoảng 100G, cột FSTYPE trống, chưa có phân vùng con. Đặt đúng tên (thường là sdb):
DATA_DISK=/dev/sdb
[ -z "$(lsblk -no FSTYPE "$DATA_DISK")" ] && echo "OK: $DATA_DISK trống" || echo "DỪNG: $DATA_DISK đã có dữ liệu"

# Chỉ chạy tiếp nếu dòng trên báo OK
mkfs.ext4 -L seaweed-data "$DATA_DISK"
mkdir -p /srv/seaweedfs/volume
# Khi đĩa chưa được mount, thư mục gốc ở đây bất biến: container không thể ghi nhầm dữ liệu vào đĩa hệ điều hành
chattr +i /srv/seaweedfs/volume
echo "UUID=$(blkid -s UUID -o value "$DATA_DISK") /srv/seaweedfs/volume ext4 defaults,noatime,nofail 0 2" >> /etc/fstab
systemctl daemon-reload && mount -a
df -h /srv/seaweedfs/volume        # phải thấy thiết bị 100G, không phải đĩa hệ điều hành

# Thư mục các thành phần còn lại (đĩa hệ điều hành, SSD); container chạy bằng uid/gid 1000 "seaweed"
mkdir -p /srv/seaweedfs/{master,filer,admin,worker,volume-idx}
chown -R 1000:1000 /srv/seaweedfs

# Thư mục cấu hình, khóa và bản xuất metadata (được PBS sao lưu, mục 5.3)
install -d -m 755 /opt/seaweedfs /opt/seaweedfs/s3 /opt/seaweedfs/scripts
install -d -m 700 /opt/seaweedfs/secrets
install -d -m 755 -o 1000 -g 1000 /opt/seaweedfs/backup
Terminal VM268: lsblk cho thấy đĩa 100G chưa có phân vùng được định dạng ext4, df -h /srv/seaweedfs/volume hiện đúng thiết bị 100G mount tại /srv/seaweedfs/volume (đĩa scsi1 trên vm-bulk).
Terminal VM268: lsblk cho thấy đĩa 100G chưa có phân vùng được định dạng ext4, df -h /srv/seaweedfs/volume hiện đúng thiết bị 100G mount tại /srv/seaweedfs/volume (đĩa scsi1 trên vm-bulk).

2.3 Tạo khóa truy cập và s3.json

SeaweedFS đọc danh sách tài khoản S3 (identities) từ tệp JSON truyền bằng cờ -config. Mỗi dịch vụ có một identity riêng, chỉ được quyền trên bucket của mình (bảng quyền ở mục 3.4). Script dưới sinh khóa ngẫu nhiên, ghi khóa của từng dịch vụ vào /opt/seaweedfs/secrets/<tên>.env (quyền 600) và dựng s3.json. Chạy lại script thì giữ nguyên khóa đã có.

cat > /opt/seaweedfs/scripts/make-s3-config.py << 'EOF'
#!/usr/bin/env python3
"""Sinh khóa S3 cho từng dịch vụ và tệp s3.json của SeaweedFS (chạy lại không đổi khóa đã có)."""
import json, os, pathlib, secrets

SEC = pathlib.Path('/opt/seaweedfs/secrets')
OUT = pathlib.Path('/opt/seaweedfs/s3/s3.json')

# identity -> (danh sách bucket, các action cấp trên MỖI bucket đó)
SERVICES = {
    'harbor':       (['harbor-storage'], ['Read', 'Write', 'List']),
    'loki':         (['loki'],           ['Read', 'Write', 'List']),
    'velero':       (['velero-backups'], ['Read', 'Write', 'List']),
    'gitea':        (['gitea-lfs'],      ['Read', 'Write', 'List']),
    'ci-artifacts': (['artifacts'],      ['Read', 'Write', 'List']),
    'tofu':         (['tofu-state'],     ['Read', 'Write', 'List']),
    'nexus':        (['nexus-blobs'],    ['Read', 'Write', 'List', 'Tagging', 'Admin']),
}


def keypair(name):
    f = SEC / f'{name}.env'
    if f.exists():
        kv = dict(t.split('=', 1) for t in f.read_text().split() if '=' in t)
        return kv['S3_ACCESS_KEY'], kv['S3_SECRET_KEY']
    ak, sk = secrets.token_hex(10).upper(), secrets.token_hex(20)
    fd = os.open(f, os.O_WRONLY | os.O_CREAT | os.O_EXCL, 0o600)
    with os.fdopen(fd, 'w') as fh:
        fh.write(f'S3_ACCESS_KEY={ak}\nS3_SECRET_KEY={sk}\n')
    return ak, sk


identities = []
ak, sk = keypair('admin')   # tài khoản quản trị, chỉ dùng cho thao tác bucket/lifecycle, không đưa cho dịch vụ
identities.append({'name': 'admin', 'credentials': [{'accessKey': ak, 'secretKey': sk}],
                   'actions': ['Admin', 'Read', 'Write', 'List', 'Tagging']})
for name, (buckets, acts) in SERVICES.items():
    ak, sk = keypair(name)
    identities.append({'name': name, 'credentials': [{'accessKey': ak, 'secretKey': sk}],
                       'actions': [f'{a}:{b}' for b in buckets for a in acts]})

OUT.parent.mkdir(parents=True, exist_ok=True)
OUT.write_text(json.dumps({'identities': identities}, indent=2) + '\n')
os.chmod(OUT, 0o600)
os.chown(OUT, 1000, 1000)    # container đọc bằng uid 1000
print('Đã ghi', OUT, '-', len(identities), 'identity; khóa từng dịch vụ ở', SEC)
EOF
chmod 700 /opt/seaweedfs/scripts/make-s3-config.py
python3 /opt/seaweedfs/scripts/make-s3-config.py
ls -l /opt/seaweedfs/secrets /opt/seaweedfs/s3

Khóa nằm trong /opt/seaweedfs/secrets/*.env và s3.json (cả hai quyền 600); không đưa lên Git, lưu bản sao ở Vaultwarden (bài 19) hoặc Vault (bài 34). Mật khẩu giao diện quản trị đặt riêng trong .env của compose (mục 2.4).

2.4 Docker Compose

# Mật khẩu giao diện quản trị (Admin UI): sinh ngẫu nhiên, nằm trong .env quyền 600; compose không chứa bí mật
install -m 600 /dev/null /opt/seaweedfs/.env
echo "ADMIN_UI_PASSWORD=$(openssl rand -base64 24 | tr -dc 'A-Za-z0-9' | head -c 24)" > /opt/seaweedfs/.env

cat > /opt/seaweedfs/docker-compose.yml << 'EOF'
name: seaweedfs

x-weed-common: &weed-common
  image: chrislusf/seaweedfs:4.48          # ghim phiên bản; nâng cấp = đổi tag này (mục 5.5)
  restart: unless-stopped
  networks: [seaweed]
  logging:
    driver: json-file
    options:
      max-size: "10m"
      max-file: "3"

services:
  master:
    <<: *weed-common
    container_name: seaweed-master
    command:
      - master
      - -ip=master
      - -ip.bind=0.0.0.0
      - -mdir=/data
      - -volumeSizeLimitMB=1024            # mỗi volume tối đa 1 GB: nhiều volume nhỏ, hợp đĩa vừa
      - -defaultReplication=000            # 1 VM: không nhân bản ở tầng SeaweedFS (mục 3.7)
      - -metricsPort=9324
      - -telemetry=false                   # mặc định master gửi thống kê ẩn danh tới telemetry.seaweedfs.com
    volumes:
      - /srv/seaweedfs/master:/data
    ports:
      - "127.0.0.1:9324:9324"
    healthcheck:
      test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/healthz || exit 1"]
      interval: 15s
      timeout: 5s
      retries: 5
      start_period: 20s

  volume:
    <<: *weed-common
    container_name: seaweed-volume
    depends_on:
      master:
        condition: service_healthy
    command:
      - volume
      - -master=master:9333
      - -ip=volume
      - -ip.bind=0.0.0.0
      - -port=8080
      - -dir=/data                         # dữ liệu object: đĩa HDD vm-bulk (mount ở /srv/seaweedfs/volume)
      - -dir.idx=/idx                      # tệp chỉ mục .idx: đặt trên SSD (đĩa hệ điều hành), cần kiểm lại trên máy thật
      - -max=0                             # tự tính số volume = dung lượng trống / 1 GB
      - -minFreeSpace=5                    # dưới 5% trống thì đặt các volume ở chế độ chỉ đọc
      - -index=leveldb                     # chỉ mục volume trên đĩa, giảm RAM khi có nhiều volume
      - -dataCenter=site1
      - -rack=rack1
      - -metricsPort=9325
    volumes:
      - /srv/seaweedfs/volume:/data
      - /srv/seaweedfs/volume-idx:/idx
    ports:
      - "127.0.0.1:9325:9325"
    healthcheck:
      test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8080/healthz || exit 1"]
      interval: 15s
      timeout: 5s
      retries: 5
      start_period: 20s

  filer:
    <<: *weed-common
    container_name: seaweed-filer
    depends_on:
      volume:
        condition: service_healthy
    command:
      - filer
      - -master=master:9333
      - -ip=filer
      - -ip.bind=0.0.0.0
      - -port=8888
      - -defaultStoreDir=/data/filerldb2   # metadata leveldb2 (một filer)
      - -dataCenter=site1
      - -rack=rack1
      - -metricsPort=9326
    volumes:
      - /srv/seaweedfs/filer:/data
      - /opt/seaweedfs/backup:/backup      # nơi xuất bản sao metadata (mục 5.3)
    ports:
      - "127.0.0.1:9326:9326"
    healthcheck:
      test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8888/healthz || exit 1"]
      interval: 15s
      timeout: 5s
      retries: 5
      start_period: 20s

  s3:
    <<: *weed-common
    container_name: seaweed-s3
    depends_on:
      filer:
        condition: service_healthy
    command:
      - s3
      - -filer=filer:8888
      - -ip.bind=0.0.0.0
      - -port=8333
      - -config=/etc/seaweedfs/s3.json
      - -externalUrl=https://s3.hoatranlabs.local   # địa chỉ client dùng: để kiểm chữ ký SigV4 đúng khi đi qua Nginx
      - -autoCreateBucket=false                     # không tự tạo bucket khi upload nhầm tên
      - -allowDeleteBucketNotEmpty=false            # không cho xóa bucket còn dữ liệu
      - -metricsPort=9327
    volumes:
      - /opt/seaweedfs/s3/s3.json:/etc/seaweedfs/s3.json:ro
    ports:
      - "127.0.0.1:8333:8333"
      - "127.0.0.1:9327:9327"
    healthcheck:
      test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9327/metrics || exit 1"]
      interval: 15s
      timeout: 5s
      retries: 5
      start_period: 20s

  admin:
    <<: *weed-common
    container_name: seaweed-admin
    depends_on:
      - master
      - filer
    command:
      - admin
      - -master=master:9333
      - -port=23646
      - -dataDir=/data
    environment:
      WEED_ADMIN_USER: admin
      WEED_ADMIN_PASSWORD: ${ADMIN_UI_PASSWORD:?đặt ADMIN_UI_PASSWORD trong /opt/seaweedfs/.env}
    volumes:
      - /srv/seaweedfs/admin:/data
    ports:
      - "127.0.0.1:23646:23646"

  worker:
    <<: *weed-common
    container_name: seaweed-worker
    depends_on:
      - admin
    command:
      - worker
      - -admin=admin:23646
      - -workingDir=/data
      - -metricsPort=9328
    volumes:
      - /srv/seaweedfs/worker:/data
    ports:
      - "127.0.0.1:9328:9328"

networks:
  seaweed:
    name: seaweedfs_net
EOF

cd /opt/seaweedfs
docker compose config -q && echo "compose hợp lệ"
docker compose up -d
docker compose ps

Giải thích các lựa chọn chính:

  • -volumeSizeLimitMB=1024 và -max=0: SeaweedFS chia đĩa thành các volume tối đa 1 GB, tạo dần khi ghi (không cấp phát trước, -volumePreallocate mặc định tắt). Wiki khuyên volume nhỏ khi đĩa nhỏ và -max=0 để bỏ giới hạn 8 volume mặc định. Mặc định 30 GB mỗi volume không hợp với nhiều bucket trên một đĩa vừa.
  • -defaultStoreDir=/data/filerldb2: một filer dùng leveldb2 trên đĩa dữ liệu là đủ; khi cần nhiều filer thì phải dùng kho metadata dùng chung (wiki Production Setup).
  • -externalUrl: khi sau reverse proxy, chữ ký SigV4 của client tính trên tên host s3.hoatranlabs.local; cờ này nói cho cổng S3 biết tên đó (Nginx cũng chuyển Host nguyên vẹn, mục 2.6).
  • -telemetry=false tắt báo cáo thống kê ẩn danh của master ra internet (mặc định bật theo mã nguồn 4.48).
  • admin + worker: Admin UI và các tác vụ nền (vacuum, balance, erasure coding, S3 lifecycle). Không có worker thì quy tắc lifecycle (mục 3.5) không được thi hành.
  • Healthcheck dùng wget (busybox của Alpine trong image, cần kiểm lại trên máy thật) vào /healthz của master, volume, filer; cổng S3 chính trả 403 khi chưa ký nên healthcheck của s3 dùng /metrics.

2.5 Kiểm tra bên trong mạng Docker

docker compose ps       # master, volume, filer, s3 phải ở trạng thái healthy
docker compose logs --tail=15 master volume filer s3

# Hai lệnh bọc dùng suốt bài: weedsh chạy lệnh weed shell, s3as chạy AWS CLI bằng khóa của một identity
cat > /usr/local/bin/weedsh << 'EOF'
#!/bin/bash
# Dùng: weedsh "s3.bucket.list" ["lệnh khác" ...]   (mỗi tham số là một lệnh weed shell)
printf '%s\n' "$@" | docker exec -i seaweed-filer weed shell -master=master:9333 -filer=filer:8888
EOF
chmod 755 /usr/local/bin/weedsh

weedsh "cluster.ps" "volume.list"
Terminal trong /opt/seaweedfs: docker compose ps (master, volume, filer, s3 healthy; admin, worker Up), rồi weedsh "cluster.ps" "volume.list" liệt kê master, volume server site1/rack1/volume:8080, filer và S3.
Terminal trong /opt/seaweedfs: docker compose ps (master, volume, filer, s3 healthy; admin, worker Up), rồi weedsh "cluster.ps" "volume.list" liệt kê master, volume server site1/rack1/volume:8080, filer và S3.

cluster.ps liệt kê master, volume server, filer, S3; volume.list cho thấy topology site1 / rack1 / volume:8080 với số volume tối đa đã tự tính theo -max=0. Lệnh s3as được tạo ở mục 3.2 sau khi cài AWS CLI.

2.6 Cài Nginx Reverse Proxy

apt install -y nginx

cat > /etc/nginx/sites-available/s3 << 'NGINX_EOF'
# SeaweedFS S3 API (cổng 443) + metrics cho Prometheus
server {
    listen 80;
    server_name s3.hoatranlabs.local;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name s3.hoatranlabs.local;

    ssl_certificate     /etc/ssl/certs/s3.crt;
    ssl_certificate_key /etc/ssl/private/s3.key;
    ssl_protocols       TLSv1.2 TLSv1.3;

    server_tokens off;
    ignore_invalid_headers off;
    client_max_body_size 0;              # object lớn (layer Harbor, backup Velero)
    proxy_buffering off;
    proxy_request_buffering off;         # truyền thẳng luồng upload, không đệm xuống đĩa

    # Metrics của các thành phần SeaweedFS: chỉ Prometheus (VM235) được đọc
    location ^~ /_metrics/ {
        allow 10.11.45.35;
        allow 127.0.0.1;
        deny all;
        location = /_metrics/s3     { proxy_pass http://127.0.0.1:9327/metrics; }
        location = /_metrics/master { proxy_pass http://127.0.0.1:9324/metrics; }
        location = /_metrics/volume { proxy_pass http://127.0.0.1:9325/metrics; }
        location = /_metrics/filer  { proxy_pass http://127.0.0.1:9326/metrics; }
        location = /_metrics/worker { proxy_pass http://127.0.0.1:9328/metrics; }
        return 404;
    }

    location / {
        proxy_pass         http://127.0.0.1:8333;
        proxy_http_version 1.1;
        proxy_set_header   Connection "";
        proxy_set_header   Host              $http_host;   # SigV4 ký theo Host: phải chuyển nguyên vẹn
        proxy_set_header   X-Forwarded-Host  $host;
        proxy_set_header   X-Forwarded-Port  $server_port;
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header   X-Real-IP         $remote_addr;
        proxy_connect_timeout 300;
        proxy_send_timeout    900;
        proxy_read_timeout    900;
    }
}

# Admin UI SeaweedFS: cổng 8443, chỉ VLAN quản trị; Admin UI còn có mật khẩu riêng
server {
    listen 8443 ssl;
    server_name s3.hoatranlabs.local;

    ssl_certificate     /etc/ssl/certs/s3.crt;
    ssl_certificate_key /etc/ssl/private/s3.key;
    ssl_protocols       TLSv1.2 TLSv1.3;

    server_tokens off;
    allow 10.11.45.0/24;
    allow 127.0.0.1;
    deny all;

    location / {
        proxy_pass         http://127.0.0.1:23646;
        proxy_http_version 1.1;
        proxy_set_header   Host              $http_host;
        proxy_set_header   X-Forwarded-Proto $scheme;
        proxy_set_header   X-Forwarded-For   $proxy_add_x_forwarded_for;
        proxy_set_header   Upgrade           $http_upgrade;
        proxy_set_header   Connection        "upgrade";
        proxy_read_timeout 300;
    }
}
NGINX_EOF

ln -sf /etc/nginx/sites-available/s3 /etc/nginx/sites-enabled/s3
rm -f /etc/nginx/sites-enabled/default

# Chưa chạy `nginx -t` ở bước này: các vhost trỏ tới cert /etc/ssl/certs/s3.crt
# và key /etc/ssl/private/s3.key, hai file này chỉ được cấp ở mục 3.1 (step-CA).
# `nginx -t` và việc nạp vhost sẽ thực hiện ở cuối mục 3.1, sau khi đã có cert.
03

Cấu hình

TLS Certificate từ step-CA · Cài AWS CLI và lệnh s3as · Tạo Buckets

3.1 TLS Certificate từ step-CA

# Cài step CLI 0.31.0 (gói .deb, giá trị dùng chung của lab)
wget -O /tmp/step-cli.deb \
  https://dl.smallstep.com/gh-release/cli/gh-release-header/v0.31.0/step-cli_0.31.0-1_amd64.deb
dpkg -i /tmp/step-cli.deb
step version

# Bootstrap trust
step ca bootstrap \
  --ca-url https://step-ca.hoatranlabs.local:9000 \
  --fingerprint [FINGERPRINT_TU_VM242] \
  --install

# Lưu Root CA ở đường dẫn dùng chung của lab (như bài 13, 21, 22) để lệnh bên dưới dùng --root
# (nếu VM đã chạy distribute-root-ca.sh ở bài 13 thì file này đã có sẵn)
step ca root /usr/local/share/ca-certificates/hoatranlabs-root.crt
update-ca-certificates

# Request certificate: một cert cho tên s3 (S3 API, Admin UI và metrics dùng chung), SAN gồm tên ngắn và IP
step ca certificate s3.hoatranlabs.local \
  /etc/ssl/certs/s3.crt \
  /etc/ssl/private/s3.key \
  --ca-url https://step-ca.hoatranlabs.local:9000 \
  --root /usr/local/share/ca-certificates/hoatranlabs-root.crt \
  --san s3 \
  --san 10.11.85.10 \
  --not-after 2160h

# Kiểm tra cấu hình Nginx (lúc này cert đã có) và nạp vhost s3
# (Nginx đã được apt khởi động ở mục 2.6 với cấu hình mặc định nên cần restart)
nginx -t && systemctl enable nginx && systemctl restart nginx

# Auto-renew weekly
cat > /usr/local/bin/renew-s3-cert.sh << 'EOF'
#!/bin/bash
step ca renew --force \
  /etc/ssl/certs/s3.crt \
  /etc/ssl/private/s3.key
nginx -s reload
EOF
chmod +x /usr/local/bin/renew-s3-cert.sh
echo "0 3 * * 0 root /usr/local/bin/renew-s3-cert.sh >> /var/log/cert-renew.log 2>&1" \
  > /etc/cron.d/s3-cert-renew
Terminal VM268: step ca certificate cấp s3.crt và s3.key cho s3.hoatranlabs.local (SAN s3, 10.11.85.10), sau đó nginx -t báo 'syntax is ok' và 'test is successful'.
Terminal VM268: step ca certificate cấp s3.crt và s3.key cho s3.hoatranlabs.local (SAN s3, 10.11.85.10), sau đó nginx -t báo 'syntax is ok' và 'test is successful'.

Tùy chọn: TLS ngay tại cổng S3 của SeaweedFS ("TLS gốc"). Nginx đã mã hóa phía client; nếu muốn mã hóa cả đoạn Nginx tới gateway hoặc cho client đi thẳng, weed s3 có cờ -port.https, -cert.file, -key.file. Chép cert vào thư mục riêng cho uid 1000 đọc rồi thêm vào service s3 (đoạn dưới chưa chạy thử trên máy thật; weed s3 đọc cert khi khởi động nên sau mỗi lần gia hạn phải docker compose restart s3):

install -d -m 750 -o 1000 -g 1000 /opt/seaweedfs/tls
install -m 640 -o 1000 -g 1000 /etc/ssl/certs/s3.crt  /opt/seaweedfs/tls/s3.crt
install -m 640 -o 1000 -g 1000 /etc/ssl/private/s3.key /opt/seaweedfs/tls/s3.key
# Trong docker-compose.yml, service s3: thêm vào command  - -port.https=8334  - -cert.file=/etc/seaweedfs/tls/s3.crt  - -key.file=/etc/seaweedfs/tls/s3.key
# thêm volume  - /opt/seaweedfs/tls:/etc/seaweedfs/tls:ro   và (nếu Nginx proxy_pass https://127.0.0.1:8334) ports  - "127.0.0.1:8334:8334"

TLS và mTLS giữa master, volume, filer (gRPC/HTTP nội bộ) cấu hình trong security.toml; với một VM, cả ba chỉ nằm trong mạng Docker riêng nên bài không bật. Khi thêm volume server trên VM khác (mục 3.7) thì phải bật, xem mục 3.8.

3.2 Cài AWS CLI và lệnh s3as

Ubuntu 24.04 không có gói apt awscli, nên cài bản v2 từ trình cài đặt chính thức của AWS (AWS công bố chữ ký .sig kèm theo tệp zip để kiểm tra, xem tài liệu cài đặt AWS CLI):

cd /tmp
curl -fsSLO https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip
unzip -q awscli-exe-linux-x86_64.zip
./aws/install
aws --version

# s3as <identity> <lệnh aws ...>: nạp khóa từ /opt/seaweedfs/secrets/<identity>.env rồi gọi aws tới S3 nội bộ
cat > /usr/local/bin/s3as << 'EOF'
#!/bin/bash
# Ví dụ: s3as admin s3 ls      s3as loki s3 ls s3://loki      (chạy bằng root vì thư mục secrets quyền 700)
id="$1"; shift
set -a; . "/opt/seaweedfs/secrets/${id}.env"; set +a
export AWS_ACCESS_KEY_ID="$S3_ACCESS_KEY" AWS_SECRET_ACCESS_KEY="$S3_SECRET_KEY"
export AWS_DEFAULT_REGION=us-east-1
export AWS_CA_BUNDLE=/usr/local/share/ca-certificates/hoatranlabs-root.crt   # AWS CLI không dùng kho CA của hệ thống
# AWS CLI/SDK mới gửi thêm checksum CRC (aws-chunked) mặc định; chỉ tính khi S3 yêu cầu để giảm rủi ro tương thích
export AWS_REQUEST_CHECKSUM_CALCULATION=when_required AWS_RESPONSE_CHECKSUM_VALIDATION=when_required
exec aws --endpoint-url https://s3.hoatranlabs.local "$@"
EOF
chmod 755 /usr/local/bin/s3as

s3as admin s3 ls     # chưa có bucket nào: không in gì và không báo lỗi

3.3 Tạo Buckets

Bucket tạo bằng weed shell để gán chủ sở hữu (-owner) trùng tên identity: theo mã nguồn SeaweedFS (s3.bucket.owner), khi dùng IAM của S3 thì người dùng không phải admin chỉ thấy bucket mình sở hữu; bucket tạo bằng weed shell mà không có -owner chỉ admin truy cập được. Một identity chỉ dùng được bucket của mình nhờ các action theo bucket ở s3.json (mục 3.4).

# bucket:chủ-sở-hữu (tên identity trong s3.json)
for pair in harbor-storage:harbor loki:loki velero-backups:velero gitea-lfs:gitea \
            artifacts:ci-artifacts tofu-state:tofu nexus-blobs:nexus; do
  weedsh "s3.bucket.create -name ${pair%%:*} -owner ${pair##*:}"
done
weedsh "s3.bucket.list"
s3as admin s3 ls
Terminal: weedsh "s3.bucket.list" liệt kê 7 bucket (harbor-storage, loki, velero-backups, gitea-lfs, artifacts, tofu-state, nexus-blobs) cùng chủ sở hữu, và s3as admin s3 ls cho cùng danh sách.
Terminal: weedsh "s3.bucket.list" liệt kê 7 bucket (harbor-storage, loki, velero-backups, gitea-lfs, artifacts, tofu-state, nexus-blobs) cùng chủ sở hữu, và s3as admin s3 ls cho cùng danh sách.
BucketDịch vụIdentityGhi chú
harbor-storageHarbor (bài 21)harborLayer và blob của registry
lokiLoki (bài 33, mục 6)lokiTên bucket và identity khớp bài 33
velero-backupsVelero trên K3s (bài 28)veleroTTL backup do Velero tự quản
gitea-lfsGitea LFS (bài 22)gitea
artifactsGitea Actions / CIci-artifactsLifecycle xóa sau 90 ngày (mục 3.5)
tofu-stateOpenTofu state (bài 07)tofuBật versioning (mục 3.5)
nexus-blobsNexus blob store S3 (bài 31)nexusTùy chọn

3.4 Quyền tối thiểu cho từng dịch vụ

s3.json dùng action theo bucket dạng Hành động:tên-bucket. Bảng ánh xạ hành động S3 sang action của SeaweedFS lấy từ bảng route trong weed/s3api/s3api_server.go tại tag 4.48:

ActionCho phép các thao tác S3
ReadGetObject, HeadObject, HeadBucket, GetObjectTagging, ListMultipartUploads, ListParts, GetBucketVersioning, GetBucketLifecycle
WritePutObject, DeleteObject, DeleteObjects (xóa hàng loạt), CopyObject, Create/Upload/Complete/AbortMultipartUpload, PutBucketVersioning, PutBucketLifecycle
ListListObjects / ListObjectsV2
TaggingPutObjectTagging
AdminTạo bucket và các thao tác quản trị trên bucket đó

Vì vậy mỗi dịch vụ chỉ cần Read, Write, List trên bucket của mình; chỉ nexus thêm Tagging và Admin (Nexus gắn tag và đọc bucket policy, mục 4.5). Identity admin (toàn quyền) chỉ dùng cho thao tác quản trị trong bài, không đưa cho dịch vụ. Kiểm tra ranh giới (mục 5):

s3as harbor s3 ls s3://harbor-storage        # được phép (bucket trống thì không in gì)
s3as harbor s3 ls s3://loki                  # phải báo AccessDenied
Terminal: s3as harbor s3 ls s3://harbor-storage chạy được, còn s3as harbor s3 ls s3://loki báo AccessDenied (mỗi dịch vụ chỉ có quyền trên bucket của mình).
Terminal: s3as harbor s3 ls s3://harbor-storage chạy được, còn s3as harbor s3 ls s3://loki báo AccessDenied (mỗi dịch vụ chỉ có quyền trên bucket của mình).

Sửa quyền: chỉnh SERVICES trong make-s3-config.py, chạy lại script (giữ khóa cũ) rồi cd /opt/seaweedfs && docker compose restart s3.

Hai cách quản lý tài khoản, không trộn. Bài dùng tệp s3.json (khai báo, dễ sao lưu). Theo wiki "S3 Credentials", nguồn cấu hình ưu tiên là tệp -config, rồi cấu hình lưu trên filer (do Admin UI và weed shell ghi), rồi biến môi trường; nguồn cao hơn thay thế hoàn toàn nguồn thấp hơn. Hệ quả: khi đã dùng -config, tài khoản tạo trong Admin UI hoặc bằng weed shell không có hiệu lực (cần kiểm lại trên máy thật). Muốn quản lý động thì bỏ cờ -config rồi dùng các lệnh của weed shell bản 4.48: s3.user.create -name <tên>, s3.policy -put -name <policy> -file <policy.json>, s3.policy.attach -policy <policy> -user <tên>, s3.accesskey.create -user <tên>, hoặc gọn hơn s3.user.provision -name <tên> -bucket <bucket> -role readwrite (policy cho readwrite gồm GetObject, PutObject, DeleteObject, ListBucket).

3.5 Versioning, lifecycle và hạn mức bucket

Quy tắc lifecycle do worker thi hành (container worker, theo wiki "S3 Lifecycle"): chạy mỗi ngày theo mặc định, độ trễ xóa có thể tới khoảng một ngày; chỉ hỗ trợ expiration, không có chuyển lớp lưu trữ (transition).

# artifacts: xóa object cũ hơn 90 ngày, dọn upload multipart dang dở sau 7 ngày
cat > /tmp/lc-artifacts.json << 'EOF'
{"Rules":[{"ID":"expire-90d","Status":"Enabled","Filter":{"Prefix":""},
  "Expiration":{"Days":90},"AbortIncompleteMultipartUpload":{"DaysAfterInitiation":7}}]}
EOF
s3as admin s3api put-bucket-lifecycle-configuration --bucket artifacts \
  --lifecycle-configuration file:///tmp/lc-artifacts.json

# tofu-state: bật versioning để giữ lịch sử state, xóa phiên bản cũ (noncurrent) sau 90 ngày
weedsh "s3.bucket.versioning -name tofu-state -enable"
cat > /tmp/lc-tofu.json << 'EOF'
{"Rules":[{"ID":"noncurrent-90d","Status":"Enabled","Filter":{"Prefix":""},
  "NoncurrentVersionExpiration":{"NoncurrentDays":90}}]}
EOF
s3as admin s3api put-bucket-lifecycle-configuration --bucket tofu-state \
  --lifecycle-configuration file:///tmp/lc-tofu.json

# Kiểm tra
s3as admin s3api get-bucket-lifecycle-configuration --bucket artifacts
s3as admin s3api get-bucket-versioning --bucket tofu-state

velero-backups không bật versioning vì Velero tự giữ và xóa backup theo TTL (--ttl 720h); harbor-storage và loki do chính ứng dụng quản lý vòng đời object (Harbor garbage collection, Loki retention).

Hạn mức dung lượng cho từng bucket (tùy chọn): đặt quota rồi chạy lệnh thi hành định kỳ, vì lệnh quota chỉ ghi giá trị còn việc chuyển bucket sang chỉ đọc khi vượt hạn mức là lệnh s3.bucket.quota.enforce (không tự chạy):

weedsh "s3.bucket.quota -name loki -op=set -sizeMB=40960"        # 40 GiB (đĩa dữ liệu chỉ 100 GiB)
weedsh "s3.bucket.quota.enforce -apply"                           # mô phỏng nếu bỏ -apply
echo '*/30 * * * * root /usr/local/bin/weedsh "s3.bucket.quota.enforce -apply" >> /var/log/s3-quota.log 2>&1' \
  > /etc/cron.d/s3-quota

Quy tắc lifecycle cần worker và cổng gRPC của gateway S3 (4.47 đặt thêm xác thực quản trị nội bộ cho tác vụ xóa này); việc xóa thật sự diễn ra trên VM thật chưa được kiểm. Xác nhận bằng chỉ số SeaweedFS_s3_lifecycle_dispatch_total của worker hoặc chạy tay một lượt trong weed shell: s3.lifecycle.run-shard -shards 0-15 -s3 s3:18333 -refresh 0 (cổng gRPC của S3 là 8333 + 10000, cần kiểm lại trên máy thật).

3.6 Giao diện quản trị (Admin UI)

Admin UI của SeaweedFS (weed admin, cổng nội bộ 23646) quản lý bucket, quota, người dùng và policy, xem topology master/volume/filer, trình duyệt tệp và cấu hình tác vụ nền cho worker. Bảo vệ theo ba lớp:

  1. Container chỉ publish 127.0.0.1:23646, không ai trong mạng tiếp cận trực tiếp.
  2. Nginx mở cổng 8443 (HTTPS, cert step-CA) và chỉ cho VLAN quản trị 10.11.45.0/24 (mục 2.6, UFW ở mục 5.1).
  3. Admin UI yêu cầu đăng nhập: user admin, mật khẩu là ADMIN_UI_PASSWORD trong /opt/seaweedfs/.env. Theo mã nguồn weed admin, khi có mật khẩu thì ứng dụng nghe trên mọi giao diện trong container, còn khi không có mật khẩu mà bind ngoài loopback thì từ chối khởi động; không bao giờ dùng cờ -allowInsecureBind.
grep ADMIN_UI_PASSWORD /opt/seaweedfs/.env       # lấy mật khẩu để đăng nhập; lưu vào Vaultwarden (bài 19)
curl -s -o /dev/null -w '%{http_code}\n' --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
  https://s3.hoatranlabs.local:8443/               # 200 hoặc 302 sang trang đăng nhập

Mở https://s3.hoatranlabs.local:8443 từ máy trong VLAN 45. Tài khoản chỉ xem: thêm WEED_ADMIN_READONLY_USER và WEED_ADMIN_READONLY_PASSWORD vào environment của service admin. Vì tài khoản S3 do s3.json quyết định (mục 3.4), dùng Admin UI chủ yếu để quan sát dung lượng, bucket, volume và tác vụ nền.

Trình duyệt (máy VLAN 45): https://s3.hoatranlabs.local:8443 có ổ khóa, đăng nhập Admin UI SeaweedFS bằng user admin, trang quản trị liệt kê cluster (master, volume server, filer) và các bucket với dung lượng đã dùng (tên menu cần đối chiếu trên bản 4.48).
Trình duyệt (máy VLAN 45): https://s3.hoatranlabs.local:8443 có ổ khóa, đăng nhập Admin UI SeaweedFS bằng user admin, trang quản trị liệt kê cluster (master, volume server, filer) và các bucket với dung lượng đã dùng (tên menu cần đối chiếu trên bản 4.48).

3.7 Dung lượng, nhân bản và erasure coding

Dung lượng và thin provisioning.

LớpCách hoạt độngLệnh kiểm tra
Ceph RBD (vm-bulk, HDD) cho dữ liệu; vm-ceph (SSD) cho hệ điều hành và metadataĐĩa RBD là thin: đĩa dữ liệu 100 GiB chỉ chiếm chỗ khi ghi; discard=on trả chỗ khi VM trim; pool vm-bulk của lab chỉ khoảng 333 GB khả dụng (bài 07, mục 8.4) dùng chung nhiều VMrbd du -p vm-bulk trên node; fstrim -av trong VM
ext4 trên /srv/seaweedfs/volumeHệ tệp của đĩa dữ liệu, chứa các tệp volume SeaweedFS; metadata filer ở /srv/seaweedfs/filer trên đĩa hệ điều hànhdf -h /srv/seaweedfs/volume /srv/seaweedfs/filer
Volume SeaweedFSTệp .dat tối đa 1 GB, tạo khi cần; -max=0 = đĩa trống / 1 GB; dưới -minFreeSpace=5 (%) thì chỉ đọcweedsh "volume.list"
Dọn rácObject xóa chỉ đánh dấu; master chạy vacuum định kỳ (mặc định 840 giây, ngưỡng rác 0,3)Admin UI → tác vụ vacuum

Mở rộng khi đầy: trên node1 qm resize 268 scsi1 +50G (kiểm pvesm status xem vm-bulk còn chỗ thật không); trong VM resize2fs /dev/sdb (ext4 trực tiếp trên đĩa, không có phân vùng, mở rộng online được); rồi cd /opt/seaweedfs && docker compose restart volume để volume server tính lại số volume tối đa theo -max=0 (cần kiểm lại có tự cập nhật không). Wiki "S3 API" còn gợi ý khi có rất nhiều bucket trên đĩa nhỏ: weedsh "fs.configure -locationPrefix=/buckets/ -volumeGrowthCount=1 -apply" để mỗi bucket chỉ tạo 1 volume ban đầu thay vì nhiều volume.

Nhân bản (defaultReplication). Chuỗi XYZ: X = số bản ở data center khác, Y = ở rack khác, Z = ở server khác cùng rack. Bài đặt 000 (một bản): VM chỉ có một volume server nên 001/010 không thể thực hiện (ghi sẽ thất bại vì không đủ nơi đặt bản sao), còn độ bền dữ liệu ở tầng đĩa do Ceph vm-bulk đảm nhiệm (nhân bản size 3 theo bài 07, mục 8.4). Khi cần chịu được mất cả VM: thêm hai VM volume-only ở VLAN 85 trên node2 và node3, mỗi VM chạy một container volume với -master=10.11.85.10:9333 -dataCenter=site1 -rack=rack2 (và rack3), đổi master sang -defaultReplication=010 (một bản ở rack khác) rồi chạy weedsh "volume.fix.replication"; bản sao không tự sửa mà phải chạy lệnh này. Để volume server ở VM khác nói chuyện được với master, phải publish cổng 9333/19333 (master) ra IP 10.11.85.10, nên đi kèm luật DOCKER-USER/mạng riêng hoặc security.toml (mục 3.8); đây chỉ là hướng mở rộng, chưa chạy thử.

Erasure coding. SeaweedFS mã hóa Reed-Solomon 10+4 (14 shard, tốn khoảng 1,4 lần dung lượng) cho volume đã đầy và "nguội": mặc định worker xét volume đầy từ 80%, im lặng 300 giây, từ 30 MB. Wiki ghi: dưới 4 server thì EC chỉ chống hỏng ổ đĩa, từ 4 server trở lên mới chống hỏng server. Với một volume server, EC không có ý nghĩa; chỉ bật khi đã có từ 4 volume server. Có thể tắt tác vụ erasure_coding trong Admin UI nếu muốn chắc chắn.

3.8 Bảo mật nội bộ giữa các thành phần (tùy chọn)

Trong mạng Docker riêng của một VM, các cổng master/volume/filer không publish ra ngoài nên bài chấp nhận HTTP nội bộ. Khi thêm volume server trên VM khác hoặc publish cổng nội bộ ra mạng, bật các lớp sau theo wiki "Security Configuration" (mặc định đọc security.toml ở thư mục hiện tại, ~/.seaweedfs/ hoặc /etc/seaweedfs/; mẫu sinh bằng docker run --rm chrislusf/seaweedfs:4.48 scaffold -config=security):

  • [jwt.signing] key: master ký JWT, volume server kiểm trước khi ghi (biến môi trường tương đương WEED_JWT_SIGNING_KEY, đặt cho master và volume).
  • [jwt.filer_signing] key: filer chỉ nhận ghi HTTP đã ký; cổng S3 sinh token (biến WEED_JWT_FILER_SIGNING_KEY). Khóa này cũng là khóa ký dự phòng của STS.
  • [grpc] và [https.*]: mTLS giữa các thành phần; chứng chỉ cần có cả serverAuth lẫn clientAuth, wiki dùng certstrap nhưng có thể cấp từ step-CA (bài 13) với CA trung gian riêng cho cụm.
  • [guard] white_list giới hạn IP được ghi.

Các khóa JWT sinh bằng openssl rand -hex 32 và để trong .env quyền 600 như mật khẩu Admin UI.

04

Kết nối các dịch vụ

Harbor (bài 21) · Gitea LFS (bài 22) · Loki (bài 33, mục 6)

Khóa của từng dịch vụ nằm ở /opt/seaweedfs/secrets/<identity>.env trên VM268 (S3_ACCESS_KEY, S3_SECRET_KEY); chép sang VM đích bằng scp hoặc dán vào tệp môi trường của dịch vụ đó (quyền 600), không ghi vào tệp cấu hình được commit hay sao lưu rộng. Mọi dịch vụ gọi https://s3.hoatranlabs.local (cert step-CA nên cần tin cậy root CA của lab) và phải dùng path-style (https://s3.hoatranlabs.local/<bucket>/<object>) vì lab không có DNS wildcard cho <bucket>.s3.hoatranlabs.local; khi Pi-hole chỉ có bản ghi s3, kiểu virtual-hosted sẽ không phân giải được. Region là giá trị tùy ý (dùng us-east-1); SeaweedFS không dùng region thật.

Kết quả đối chiếu tương thích (bằng tài liệu, mã nguồn và issue; ngày 2026-10-16; chưa chạy thử trên máy thật, mọi dòng đều cần kiểm lại sau khi triển khai):

Dịch vụCách dùng S3Đã đối chiếuKết luận
Loki 3.7.8 (bài 33)AWS SDK v2; s3forcepathstyle, khóa trong tệp envIssue grafana/loki#24206: lỗi aws-chunked ở 3.6.11–3.6.15 và 3.7.0–3.7.6, vá từ 3.7.7; SeaweedFS 4.48 có xử lý STREAMING-UNSIGNED-PAYLOAD-TRAILER và kiểm checksum trailer (mã chunked_reader_v4.go)Tương thích theo tài liệu; xem log docker logs loki ngay sau khi đổi sang S3
Harbor 2.15.4 (bài 21)Driver S3 của registry (Distribution)Wiki SeaweedFS "Docker Image Registry with SeaweedFS" có cấu hình mẫu; prepare của Harbor chép nguyên các khóa trong storage_service.s3 sang cấu hình registryTương thích theo tài liệu; thử đẩy và kéo image nhiều GB
Velero 1.18.4 + plugin AWS 1.14.4 (bài 28)s3ForcePathStyle, s3Url, --cacert, checksumAlgorithmREADME plugin: bảng "known issues" cho plugin dùng aws-sdk-go-v2 không liệt kê SeaweedFS (liệt kê Ceph, Backblaze B2…); khuyến nghị checksumAlgorithm="" cho S3 bên thứ baDùng checksumAlgorithm="" làm cấu hình an toàn; bỏ nếu chạy tốt
Gitea 28.1.0 (bài 22)Client minio-go: STORAGE_TYPE=minioConfig cheat sheet: MINIO_BUCKET_LOOKUP_TYPE (path), MINIO_USE_SSL; không có issue riêng về SeaweedFSTương thích theo tài liệu
Nexus 3.96.4 (bài 31)Blob store S3: ô Endpoint URL và "Use path-style access"Sonatype ghi các ô đó dành cho S3 bên thứ ba nhưng chỉ khuyến nghị S3 khi Nexus chạy trên EC2 trong AWS; cần quyền tagging, đọc bucket policy, xóa hàng loạtTùy chọn, không khuyến nghị làm mặc định; giữ blob store file của bài 31
OpenTofu 1.13.1 (bài 07)Backend s3 với endpoint tùy chỉnhTài liệu OpenTofu có use_path_style, skip_*, skip_s3_checksum, use_lockfile; khóa native cần ghi có điều kiện If-None-Match, chưa xác minh SeaweedFS hỗ trợState dùng được; khóa use_lockfile cần thử

4.1 Harbor (bài 21)

# Trên Harbor (VM239, harbor.hoatranlabs.local)
# Harbor cấu hình storage backend trong /opt/harbor/harbor.yml (bài 21, mục 4.2),
# không có màn hình cấu hình storage trong Web UI. Bỏ dấu # (hoặc thêm) khối sau, chỉ giữ MỘT nhà cung cấp (s3, xóa filesystem):
#
# storage_service:
#   ca_bundle: /usr/local/share/ca-certificates/hoatranlabs-root.crt   # root CA step-CA (quyền đọc cho mọi user)
#   s3:
#     accesskey: [S3_ACCESS_KEY của identity harbor]
#     secretkey: [S3_SECRET_KEY của identity harbor]
#     region: us-east-1                          # SeaweedFS không dùng region thật, giá trị tùy ý
#     regionendpoint: https://s3.hoatranlabs.local
#     bucket: harbor-storage
#     secure: true
#     v4auth: true
#     forcepathstyle: true
#     rootdirectory: /
#   redirect:
#     disable: true                              # registry tự đọc blob từ S3 rồi trả cho client
#
# - Khi đặt regionendpoint, driver S3 của Distribution cần path-style (tài liệu Distribution v3: bắt buộc
#   forcepathstyle: true); `prepare` của Harbor ghi mọi khóa trong khối s3 vào cấu hình registry nên thêm được khóa này.
# - redirect.disable: true để client (Docker host, K3s ở VLAN 65) chỉ nói chuyện với Harbor, không bị chuyển
#   hướng thẳng tới s3.hoatranlabs.local ở VLAN 85 (mặc định registry redirect client sang storage backend).
# - Dữ liệu image đã có trong /data/registry không tự chuyển sang S3: áp dụng khi Harbor còn trống,
#   hoặc sao chép dữ liệu cũ vào bucket trước khi chuyển.
# Áp dụng cấu hình mới:
cd /opt/harbor && docker compose down && ./prepare --with-trivy && docker compose up -d

Kiểm tra: docker push một image có layer lớn (vài trăm MB), rồi trên VM268 s3as harbor s3 ls s3://harbor-storage --recursive | head.

Terminal trên Harbor: docker push một image có layer lớn lên harbor.hoatranlabs.local hoàn tất; trên VM268 s3as harbor s3 ls s3://harbor-storage --recursive liệt kê các object blob của registry.
Terminal trên Harbor: docker push một image có layer lớn lên harbor.hoatranlabs.local hoàn tất; trên VM268 s3as harbor s3 ls s3://harbor-storage --recursive liệt kê các object blob của registry.

4.2 Gitea LFS (bài 22)

# Trên Gitea (VM240): Gitea chạy bằng Docker Compose và cấu hình qua biến môi trường
# GITEA__<section>__<KEY> (bài 22), không có /etc/gitea/app.ini trên host.
# Đặt khóa vào tệp /opt/gitea/.env (quyền 600): S3_LFS_ACCESS_KEY=... và S3_LFS_SECRET_KEY=... (khóa identity gitea)
# Thêm vào mục environment của service `gitea` trong /opt/gitea/docker-compose.yml:
#   GITEA__server__LFS_START_SERVER: "true"          # bật LFS nếu bài 22 chưa bật
#   GITEA__lfs__STORAGE_TYPE: minio                  # "minio" là tên client S3 của Gitea (dùng cho mọi S3-compatible)
#   GITEA__lfs__SERVE_DIRECT: "false"
#   GITEA__lfs__MINIO_ENDPOINT: s3.hoatranlabs.local
#   GITEA__lfs__MINIO_ACCESS_KEY_ID: ${S3_LFS_ACCESS_KEY}
#   GITEA__lfs__MINIO_SECRET_ACCESS_KEY: ${S3_LFS_SECRET_KEY}
#   GITEA__lfs__MINIO_BUCKET: gitea-lfs
#   GITEA__lfs__MINIO_LOCATION: us-east-1
#   GITEA__lfs__MINIO_USE_SSL: "true"
#   GITEA__lfs__MINIO_BUCKET_LOOKUP_TYPE: path       # path-style (mặc định "auto")
# Gitea gọi S3 qua HTTPS (cert step-CA) nên container gitea phải tin cậy root CA: thêm vào mục volumes
# của service `gitea` (file root CA đã có trên VM240 từ bài 22):
#   - /usr/local/share/ca-certificates/hoatranlabs-root.crt:/etc/ssl/certs/hoatranlabs-root.crt:ro
# (Không dùng GITEA__lfs__MINIO_INSECURE_SKIP_VERIFY để bỏ qua kiểm tra chứng chỉ.)

# Sau đó áp dụng:
cd /opt/gitea && docker compose up -d gitea

Nếu git lfs push lỗi liên quan checksum, thử thêm GITEA__lfs__MINIO_CHECKSUM_ALGORITHM: md5 (tùy chọn có trong các bản Gitea gần đây, dành cho S3 không hỗ trợ header checksum mới; cần kiểm lại với Gitea 28.1.0). Kiểm tra: s3as gitea s3 ls s3://gitea-lfs --recursive sau khi đẩy một tệp LFS.

4.3 Loki (bài 33, mục 6)

Bài 33 đã mô tả đầy đủ phần cấu hình Loki (khóa nằm trong tệp env, -config.expand-env=true, tin cậy root CA qua file đã mount). Phần việc ở bài này đã có: bucket loki (mục 3.3) và identity loki chỉ có quyền trên bucket đó. Lấy khóa:

cat /opt/seaweedfs/secrets/loki.env
# S3_ACCESS_KEY -> LOKI_S3_ACCESS_KEY, S3_SECRET_KEY -> LOKI_S3_SECRET_KEY trong /opt/loki/loki.env trên VM235

Điểm khớp với bài 33: endpoint s3.hoatranlabs.local (cổng 443, không cần ghi cổng), s3forcepathstyle: true, insecure: false, bucket loki. Cách liệt kê đối tượng sau vài phút: s3as loki s3 ls s3://loki --recursive | head. Loki phải từ 3.7.7 trở lên (bài 33 ghim 3.7.8).

4.4 Velero — backup K3s lên SeaweedFS (bài 28)

# Trên máy admin có kubectl tới K3s (bài 28): cài Velero CLI 1.18.4
VELERO_VERSION=v1.18.4
wget https://github.com/vmware-tanzu/velero/releases/download/$VELERO_VERSION/velero-$VELERO_VERSION-linux-amd64.tar.gz
tar -xzf velero-$VELERO_VERSION-linux-amd64.tar.gz
install -m 0755 velero-$VELERO_VERSION-linux-amd64/velero /usr/local/bin/velero

# Tạo credentials file (khóa identity velero)
install -m 600 /dev/null /tmp/velero-credentials
cat > /tmp/velero-credentials << 'EOF'
[default]
aws_access_key_id=[S3_ACCESS_KEY của identity velero]
aws_secret_access_key=[S3_SECRET_KEY của identity velero]
EOF

# Cài Velero vào K3s cluster
#  --cacert: Velero tin cậy root CA của lab khi gọi https://s3.hoatranlabs.local
#  checksumAlgorithm=  (rỗng): theo README plugin, tắt checksum CRC của SDK v2 cho S3 bên thứ ba;
#                              bỏ giá trị này nếu muốn thử cấu hình mặc định
#  --use-volume-snapshots=false: K3s dùng local-path, không có snapshot kiểu đám mây; dữ liệu PV nhờ node agent
velero install \
  --provider aws \
  --plugins velero/velero-plugin-for-aws:v1.14.4 \
  --bucket velero-backups \
  --secret-file /tmp/velero-credentials \
  --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
  --backup-location-config 'region=us-east-1,s3ForcePathStyle=true,s3Url=https://s3.hoatranlabs.local,checksumAlgorithm=' \
  --use-volume-snapshots=false \
  --use-node-agent \
  --wait

# Shred credentials file sau khi dùng
shred -u /tmp/velero-credentials

# BackupStorageLocation phải ở trạng thái Available
velero backup-location get

# Tạo schedule backup hàng ngày
velero schedule create daily-k3s-backup \
  --schedule="0 1 * * *" \
  --ttl 720h     # Giữ 30 ngày

velero schedule get
Terminal: velero backup-location get hiện vị trí lưu trữ ở trạng thái Available và velero schedule get hiện lịch daily-k3s-backup (cron '0 1 * * *', TTL 720h) sau khi velero install xong trên K3s.
Terminal: velero backup-location get hiện vị trí lưu trữ ở trạng thái Available và velero schedule get hiện lịch daily-k3s-backup (cron '0 1 * * *', TTL 720h) sau khi velero install xong trên K3s.

Nút K3s phân giải s3.hoatranlabs.local qua Pi-hole (bài 28); pod Velero cần ra được VLAN 85 cổng 443 (FortiGate cho phép VLAN 65 sang 10.11.85.10:443). Muốn sao lưu dữ liệu PV thì thêm --default-volumes-to-fs-backup (kopia qua node agent; K3s dùng thư mục kubelet mặc định, cần kiểm lại). Ma trận phiên bản: plugin 1.14.x đi với Velero 1.18.x; Velero 1.18 kiểm trên Kubernetes 1.33–1.35 còn K3s của lab là v1.36.5, nên cần kiểm lại trên máy thật.

4.5 Nexus blob store S3 (bài 31) — tùy chọn

Sonatype nêu rằng S3 blob store phù hợp khi Nexus chạy trên EC2 trong AWS (độ trễ khi truy cập từ mạng khác); lab giữ blob store file mặc định của bài 31 làm cấu hình chuẩn. Nếu vẫn muốn thử S3 làm blob store (ví dụ để lưu bản dài hạn), tạo trong Nexus: Administration → Repository → Blob Stores → Create blob store → Type: S3:

ÔGiá trị
Names3-blobs
Regionus-east-1 (giá trị tùy ý)
Bucketnexus-blobs
AuthenticationAccess Key ID và Secret Access Key của identity nexus
Advanced Connection Settings → Endpoint URLhttps://s3.hoatranlabs.local
Advanced Connection Settings → Use path-style accessbật

Nexus (JVM) phải tin cậy root CA của lab: nạp chứng chỉ trong Administration → Security → SSL Certificates hoặc thêm CA vào truststore Java của container (cần kiểm lại cách Nexus 3.96 dùng truststore cho kết nối S3). Quyền của identity nexus gồm Read, Write, List, Tagging và Admin trên bucket nexus-blobs; nếu Nexus báo AccessDenied khi đọc bucket policy thì quyền Admin:nexus-blobs đã đủ cho bucket đó (chưa kiểm trên máy thật).

4.6 OpenTofu state backend (bài 07) — tùy chọn

# backend.tf trên ops01 (VM290). Khóa: export AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY từ identity "tofu";
# CA: export AWS_CA_BUNDLE=/usr/local/share/ca-certificates/hoatranlabs-root.crt
terraform {
  backend "s3" {
    bucket = "tofu-state"
    key    = "lab/terraform.tfstate"
    region = "us-east-1"

    endpoints = {
      s3 = "https://s3.hoatranlabs.local"
    }
    use_path_style              = true
    skip_credentials_validation = true
    skip_requesting_account_id  = true
    skip_metadata_api_check     = true
    skip_region_validation      = true
    skip_s3_checksum            = true
    # use_lockfile = true   # khóa native cần ghi có điều kiện (If-None-Match); thử trên SeaweedFS trước khi bật
  }
}

Chạy tofu init -migrate-state để chuyển state từ đĩa cục bộ. Bucket tofu-state đã bật versioning (mục 3.5) nên giữ được lịch sử state.

05

Tích hợp với hạ tầng

Pi-hole DNS và tường lửa · Prometheus Monitoring · PBS Backup

5.1 Pi-hole DNS và tường lửa

# Chỉ MỘT bản ghi: bài 12 đã có s3.hoatranlabs.local -> 10.11.85.10 (bảng VLAN_STORAGE / script add_dns_records.sh).
# Nếu chưa có, thêm trong Pi-hole Admin (http://10.11.45.53/admin) → Settings → Local DNS Records:
s3.hoatranlabs.local    → 10.11.85.10
Pi-hole Admin → Settings → Local DNS Records: một bản ghi s3.hoatranlabs.local trỏ về 10.11.85.10 (không còn bản ghi minio).
Pi-hole Admin → Settings → Local DNS Records: một bản ghi s3.hoatranlabs.local trỏ về 10.11.85.10 (không còn bản ghi minio).

Tường lửa trên VM268 (UFW). Docker chỉ publish 127.0.0.1 nên UFW kiểm soát được các cổng còn lại; VLAN 45/65 → VLAN 85 cũng cần được FortiGate cho phép:

ufw default deny incoming
ufw default allow outgoing
ufw allow from 10.11.45.0/24 to any port 22   proto tcp comment 'SSH MGMT'
ufw allow from 10.11.45.0/24 to any port 80   proto tcp comment 'S3 redirect'
ufw allow from 10.11.45.0/24 to any port 8443 proto tcp comment 'Admin UI'
ufw allow from 10.11.45.35   to any port 9100 proto tcp comment 'node_exporter (Prometheus)'
# Cổng 443 (S3 API): chỉ các máy khách của dịch vụ
for ip in 10.11.45.35 10.11.45.39 10.11.45.40 10.11.45.20 \
          10.11.65.60 10.11.65.61 10.11.65.62 10.11.65.63 10.11.65.64 10.11.65.65 10.11.65.67; do
  ufw allow from "$ip" to any port 443 proto tcp comment 'S3 client'
done
ufw --force enable
ufw status numbered

Các IP trên: Prometheus/Loki VM235, Harbor VM239, Gitea VM240, ops01 VM290, sáu node K3s (bài 28), Nexus VM267.

5.2 Prometheus Monitoring

Mỗi thành phần SeaweedFS có cổng metrics riêng (cờ -metricsPort), đã gom sau Nginx dưới https://s3.hoatranlabs.local/_metrics/<thành phần> và chỉ cho Prometheus (VM235) đọc. Job s3 là cổng S3, bốn job còn lại cho master, volume, filer, worker (tên bucket S3 không thể bắt đầu bằng dấu _ nên đường dẫn này không đụng bucket nào).

# SSH vào VM235 (Prometheus): ssh [email protected]
# - Các cổng metrics chỉ bind 127.0.0.1 trên VM268 nên Prometheus scrape qua Nginx HTTPS
#   tại s3.hoatranlabs.local:443 (cert step-CA có SAN s3.hoatranlabs.local).
# - ca_file là đường dẫn TRONG container Prometheus: compose bài 15 đã mount root CA của host
#   (/usr/local/share/ca-certificates/hoatranlabs-root.crt) vào /etc/prometheus/certs/hoatranlabs-root.crt.
# - Thêm job vào cuối file (mục scrape_configs là mục cuối của prometheus.yml ở bài 15).
cat >> /opt/prometheus/prometheus.yml << 'EOF'
  - job_name: 's3'
    metrics_path: /_metrics/s3
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
    static_configs:
      - targets: ['s3.hoatranlabs.local:443']
  - job_name: 's3-master'
    metrics_path: /_metrics/master
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
    static_configs:
      - targets: ['s3.hoatranlabs.local:443']
  - job_name: 's3-volume'
    metrics_path: /_metrics/volume
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
    static_configs:
      - targets: ['s3.hoatranlabs.local:443']
  - job_name: 's3-filer'
    metrics_path: /_metrics/filer
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
    static_configs:
      - targets: ['s3.hoatranlabs.local:443']
  - job_name: 's3-worker'
    metrics_path: /_metrics/worker
    scheme: https
    tls_config:
      ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
    static_configs:
      - targets: ['s3.hoatranlabs.local:443']
EOF
curl -X POST http://10.11.45.35:9090/-/reload
Prometheus (http://10.11.45.35:9090) → Status → Targets: năm job s3, s3-master, s3-volume, s3-filer, s3-worker ở trạng thái UP, endpoint dạng https://s3.hoatranlabs.local:443/_metrics/<thành phần>.
Prometheus (http://10.11.45.35:9090) → Status → Targets: năm job s3, s3-master, s3-volume, s3-filer, s3-worker ở trạng thái UP, endpoint dạng https://s3.hoatranlabs.local:443/_metrics/<thành phần>.

Chỉ số chính (tên theo mã nguồn weed/stats/metrics.go tại 4.48): SeaweedFS_s3_request_total, SeaweedFS_s3_request_seconds, SeaweedFS_s3_bucket_size_bytes, SeaweedFS_volumeServer_total_disk_size, SeaweedFS_master_is_leader. Cảnh báo gợi ý: up{job=~"s3.*"} == 0; dung lượng /srv/seaweedfs/volume (node_exporter, job node của bài 15 đã có 10.11.85.10:9100) dưới 15% trống.

Dashboard Grafana (VM236, http://10.11.45.36:3000): import dashboard 10423 (SeaweedFS) từ grafana.com hoặc tệp other/metrics/grafana_seaweedfs.json trong kho SeaweedFS; chọn datasource Prometheus. Dashboard cũ nên truy vấn có thể cần chỉnh theo tên job s3-* (cần kiểm lại).

Grafana (VM236, http://10.11.45.36:3000) → Dashboards: dashboard SeaweedFS (ID 10423) sau khi import, đã chọn datasource Prometheus, hiển thị master, volume server, filer và số request S3.
Grafana (VM236, http://10.11.45.36:3000) → Dashboards: dashboard SeaweedFS (ID 10423) sau khi import, đã chọn datasource Prometheus, hiển thị master, volume server, filer và số request S3.

5.3 PBS Backup

# Cài proxmox-backup-client (bản liên kết tĩnh) từ repository client-only công khai của Proxmox.
# Suite trixie của repo pbs-client có gói proxmox-backup-client-static (chỉ phụ thuộc qrencode), không phụ thuộc
# glibc của Ubuntu 24.04; lệnh sử dụng vẫn là proxmox-backup-client. Nguồn dạng deb822 + Signed-By (không dùng apt-key).
# Chạy trên Ubuntu 24.04 (noble): cần kiểm lại trên máy thật.
wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg \
  -O /usr/share/keyrings/proxmox-archive-keyring.gpg
cat > /etc/apt/sources.list.d/pbs-client.sources << 'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pbs-client
Suites: trixie
Components: main
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt update && apt install -y proxmox-backup-client-static

# Script backup — cấu hình, khóa và bản xuất metadata của filer; KHÔNG sao lưu dữ liệu volume
# Dữ liệu bucket nằm trên đĩa scsi1 và được job vzdump của PVE (storage pbs-primary, bài 04) sao lưu cùng VM
cat > /usr/local/bin/seaweedfs-backup.sh << 'EOF'
#!/bin/bash
set -e

# Xuất toàn bộ metadata của filer (cây thư mục, bucket) vào /opt/seaweedfs/backup (filer mount thư mục này là /backup)
echo 'fs.meta.save -o /backup/filer-meta.gz /' | docker exec -i seaweed-filer weed shell -master=master:9333 -filer=filer:8888

# Backup file-level từ trong VM: API token vm-backup@pbs!s3 + namespace vm-s3
# (tạo theo bài 04, mục 5.7); PBS_PASSWORD là secret của token đó
export PBS_PASSWORD="<TOKEN_SECRET>"
# /opt/seaweedfs chứa compose, .env, s3.json, secrets/ và backup/; dữ liệu volume nằm ở /srv/seaweedfs/volume nên không nằm trong archive
proxmox-backup-client backup \
  "seaweedfs-config.pxar:/opt/seaweedfs" \
  --repository "vm-backup@[email protected]:syno-primary" \
  --ns vm-s3
EOF
chmod +x /usr/local/bin/seaweedfs-backup.sh
echo "0 4 * * 0 root /usr/local/bin/seaweedfs-backup.sh >> /var/log/seaweedfs-backup.log 2>&1" \
  > /etc/cron.d/seaweedfs-backup

Lưu ý: tệp secrets/*.env, s3.json và .env nằm trong archive PBS (kho syno-primary do lab kiểm soát); ai có quyền đọc namespace vm-s3 đọc được khóa S3. Bản xuất metadata chỉ có ích khi kèm dữ liệu volume: khôi phục đầy đủ dựa vào backup vzdump của VM268 (cả hai đĩa); backup trong VM dùng để lấy lại cấu hình, khóa và metadata nhanh, và fs.meta.load nạp lại metadata vào filer mới.

Loại đĩa dữ liệu khỏi job vzdump nếu dữ liệu có thể tạo lại (ví dụ chỉ dùng cho log Loki): trên node1 đặt backup=0 cho scsi1 (xem volume hiện tại bằng qm config 268); khi đó việc bảo vệ dữ liệu bucket thuộc từng dịch vụ.

5.4 Gia hạn chứng chỉ và nâng cấp

Cert gia hạn hằng tuần bằng cron ở mục 3.1. Nâng cấp SeaweedFS (đổi tag, quay lại bản cũ khi lỗi):

cd /opt/seaweedfs
/usr/local/bin/seaweedfs-backup.sh                               # sao lưu trước
# Đọc ghi chú phát hành trên https://github.com/seaweedfs/seaweedfs/releases (đặc biệt phần S3 và bảo mật)
sed -i 's|chrislusf/seaweedfs:4.48|chrislusf/seaweedfs:<BẢN_MỚI>|' docker-compose.yml
docker compose pull
docker compose up -d
docker compose ps

Các bản 4.45–4.48 có thay đổi hành vi S3 đáng lưu ý: 4.45 từ chối truy cập ẩn danh khi không nạp được identity nào, 4.47 đánh giá aws:SourceIp theo địa chỉ TCP trực tiếp (sau Nginx là 127.0.0.1) và đóng chuỗi chính sách thất bại khi gặp toán tử điều kiện chưa hỗ trợ, 4.48 yêu cầu quyền riêng cho thao tác Object Lock. Quay lại bản cũ: đặt lại tag cũ rồi docker compose up -d (định dạng dữ liệu volume giữ ổn định giữa các bản nhỏ; cần kiểm lại với bản đổi lớn).

06

Kiểm tra & Xác minh

# 1. Các container healthy
cd /opt/seaweedfs
docker compose ps
# Expected: master, volume, filer, s3 (healthy); admin, worker (running)

# 2. Topology cụm
weedsh "cluster.ps" "volume.list"
# Expected: 1 master, 1 volume server (site1/rack1) với số volume tối đa > 0, 1 filer, 1 S3

# 3. Kiểm tra TLS certificate
echo | openssl s_client -connect s3.hoatranlabs.local:443 \
  -servername s3.hoatranlabs.local 2>/dev/null \
  | openssl x509 -noout -subject -dates -ext subjectAltName
# Expected: CN=s3.hoatranlabs.local, SAN gồm s3 và 10.11.85.10

# 4. Kiểm tra tất cả buckets
s3as admin s3 ls
# Expected: harbor-storage, loki, velero-backups, gitea-lfs, artifacts, tofu-state, nexus-blobs

# 5. Test upload/download bằng identity của dịch vụ
echo "SeaweedFS test $(date)" > /tmp/test-object.txt
s3as ci-artifacts s3 cp /tmp/test-object.txt s3://artifacts/test-object.txt
s3as ci-artifacts s3 cp s3://artifacts/test-object.txt -
s3as ci-artifacts s3 rm s3://artifacts/test-object.txt
# Expected: tất cả thành công

# 6. Ranh giới quyền: identity này không được chạm bucket của identity khác
s3as harbor s3 ls s3://loki
# Expected: AccessDenied

# 7. Upload object lớn (multipart) để thử Nginx không đệm và không giới hạn kích thước
dd if=/dev/urandom of=/tmp/big.bin bs=1M count=200
s3as ci-artifacts s3 cp /tmp/big.bin s3://artifacts/big.bin
s3as ci-artifacts s3 rm s3://artifacts/big.bin
rm -f /tmp/big.bin
# Expected: không lỗi SignatureDoesNotMatch hay 413

# 8. Prometheus metrics (chỉ VM235 và 127.0.0.1 được đọc)
curl -s --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
  https://s3.hoatranlabs.local/_metrics/s3 | grep -m3 SeaweedFS_s3
# Expected: SeaweedFS_s3_request_total ...; từ máy khác VM235 trả 403

# 9. Admin UI HTTPS (từ máy VLAN 45)
curl -s -o /dev/null -w '%{http_code}\n' --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
  https://s3.hoatranlabs.local:8443/
# Expected: 200 hoặc 302; từ VLAN khác trả 403

# 10. Dữ liệu còn nguyên sau khi khởi động lại
docker compose restart
sleep 40 && docker compose ps && s3as admin s3 ls

# 11. Velero backup test (nếu đã cài)
velero backup create test-backup --ttl 1h --wait
velero backup describe test-backup
# Expected: Phase: Completed
velero backup delete test-backup --confirm

# 12. Dung lượng và volume
df -h /srv/seaweedfs/volume /srv/seaweedfs/filer
weedsh "volume.list" | grep -c "volume id"
Terminal kiểm tra: docker compose ps (các container healthy), weedsh cluster.ps, s3as admin s3 ls đủ 7 bucket, upload/download thử vào artifacts thành công và s3as harbor s3 ls s3://loki báo AccessDenied.
Terminal kiểm tra: docker compose ps (các container healthy), weedsh cluster.ps, s3as admin s3 ls đủ 7 bucket, upload/download thử vào artifacts thành công và s3as harbor s3 ls s3://loki báo AccessDenied.
07

Troubleshooting

Vấn đềNguyên nhânGiải pháp
Container s3 lỗi ngay khi khởi động, báo không đọc được cấu hìnhs3.json chưa tạo (Docker tạo thư mục rỗng thay file) hoặc sai quyềnChạy lại make-s3-config.py (mục 2.3), kiểm ls -l /opt/seaweedfs/s3/s3.json là file, 1000:1000, quyền 600; xóa thư mục giả nếu có rồi docker compose up -d s3
docker compose ps thấy volume không healthyMaster chưa sẵn sàng, hoặc thư mục dữ liệu sai quyềndocker compose logs volume; chown -R 1000:1000 /srv/seaweedfs; kiểm df -h /srv/seaweedfs/volume đã mount đúng đĩa HDD (nếu chưa mount, chattr +i chặn ghi nhầm và volume không khởi động được)
Ghi báo "No writable volumes" hoặc không gán được vị tríĐĩa dưới ngưỡng -minFreeSpace (volume chỉ đọc), hoặc -max đã hếtweedsh "volume.list"; mở rộng đĩa (mục 3.7) rồi docker compose restart volume; xóa dữ liệu thừa
S3 API trả SignatureDoesNotMatchNginx không chuyển đúng Host, -externalUrl sai, hoặc đồng hồ lệchSo proxy_set_header Host $http_host và -externalUrl=https://s3.hoatranlabs.local; đồng bộ giờ: timedatectl set-ntp true; systemctl restart systemd-timesyncd, kiểm timedatectl timesync-status
AccessDenied với dịch vụThiếu action trên bucket hoặc bucket sai chủXem identity trong s3.json; sửa SERVICES rồi chạy lại script và docker compose restart s3 (sửa s3.json không tự nạp); weedsh "s3.bucket.owner -name <bucket>"
NoSuchBucket khi client dùng bucket.s3.hoatranlabs.localClient dùng virtual-hosted style, lab không có DNS wildcardBật path-style ở client (mục 4: s3forcepathstyle, forcepathstyle, use_path_style, MINIO_BUCKET_LOOKUP_TYPE=path)
Nginx 502 / 504 khi upload lớnGateway S3 chưa chạy hoặc timeout ngắndocker compose ps; kiểm proxy_read_timeout 900, client_max_body_size 0, proxy_request_buffering off
Loki báo lỗi 501/400 hoặc dữ liệu hỏng khi dùng S3Loki 3.6.11–3.6.15 hoặc 3.7.0–3.7.6 gửi checksum aws-chunkedDùng Loki 3.7.7 trở lên (bài 33 ghim 3.7.8); xem docker logs loki
Harbor push lỗi x509 hoặc lỗi kết nối S3Registry không tin root CA, hoặc thiếu path-stylestorage_service.ca_bundle trỏ hoatranlabs-root.crt (quyền đọc cho mọi user), thêm forcepathstyle: true, chạy lại ./prepare --with-trivy
Velero backup fail, XAmzContentSHA256Mismatch hoặc lỗi tải/uploadChecksum SDK v2 hoặc thiếu path-styleBSL cần s3ForcePathStyle=true và checksumAlgorithm="": kubectl -n velero describe backupstoragelocation; xem velero backup logs <tên>
Gitea LFS lỗi 500 khi pushContainer không tin CA, hoặc lookup/checksumKiểm volume mount root CA, MINIO_BUCKET_LOOKUP_TYPE=path; thử MINIO_CHECKSUM_ALGORITHM=md5; xem docker compose logs gitea
Nexus S3 blob store lỗi PKIX hoặc AccessDeniedTruststore Java thiếu CA, hoặc thiếu quyền bucket policy/taggingNạp root CA vào truststore của Nexus; cấp Tagging và Admin trên nexus-blobs (mục 3.4)
Admin UI không vào đượcThiếu ADMIN_UI_PASSWORD, container admin lỗi, hoặc IP không thuộc VLAN 45docker compose logs admin; allow 10.11.45.0/24 trong Nginx; UFW cổng 8443
Prometheus /_metrics/* trả 403IP nguồn không phải 10.11.45.35Sửa allow trong Nginx, nginx -s reload; xem Prometheus Targets
Lifecycle không xóa objectWorker không chạy hoặc chưa tới chu kỳ (mặc định chạy mỗi ngày)docker compose ps worker; Admin UI → plugin s3_lifecycle; chạy tay s3.lifecycle.run-shard (mục 3.5)
Cổng bị lộ ra LAN dù UFW chặnports: thiếu 127.0.0.1: nên Docker mở cổng đi vòng UFWSửa compose cho mọi cổng chỉ bind loopback, docker compose up -d; kiểm ss -tlnp
Đầy đĩa dữ liệuHết chỗ trên scsi1 hoặc rác chưa vacuumdf -h /srv/seaweedfs/volume; kiểm lifecycle/quota; mở rộng: qm resize 268 scsi1 +50G rồi resize2fs /dev/sdb và docker compose restart volume
Từ máy admin gọi S3 báo timeoutRouting VLAN 85 / FortiGate / UFWKiểm route tới 10.11.85.10, chính sách FortiGate VLAN 45/65 → 10.11.85.10:443 và luật UFW (mục 5.1)

Checklist triển khai

  • VM 268 tạo thành công trên VLAN_STORAGE (tag=85) với hai đĩa: scsi0 20 GiB (SSD vm-ceph) và scsi1 100 GiB (HDD vm-bulk), qemu-agent chạy
  • Ubuntu Server 24.04.5 LTS cài đặt, update, static IP 10.11.85.10 hoạt động (không còn 50-cloud-init.yaml DHCP), hostname s3
  • Docker Engine và Docker Compose Plugin cài thành công từ repo download.docker.com suite noble
  • Đĩa dữ liệu ext4 mount ở /srv/seaweedfs/volume (fstab theo UUID, thư mục gốc đã chattr +i), các thư mục còn lại trên đĩa hệ điều hành, tất cả thuộc UID 1000
  • s3.json và secrets/*.env tạo xong, quyền 600; .env có ADMIN_UI_PASSWORD
  • Compose ghim chrislusf/seaweedfs:4.48; master, volume, filer, s3 healthy; admin, worker chạy
  • Mọi cổng publish chỉ bind 127.0.0.1; master dùng -telemetry=false
  • TLS certificate từ step-CA với SAN: s3 + 10.11.85.10; Nginx nghe 80, 443 và 8443
  • DNS record s3.hoatranlabs.local trong Pi-hole (chỉ một bản ghi, không còn minio)
  • aws và lệnh s3as, weedsh hoạt động; s3as admin s3 ls liệt kê đủ bucket
  • 7 bucket tạo bằng s3.bucket.create -owner: harbor-storage, loki, velero-backups, gitea-lfs, artifacts, tofu-state, nexus-blobs
  • Mỗi dịch vụ có identity riêng chỉ có quyền trên bucket của mình; s3as harbor s3 ls s3://loki báo AccessDenied
  • Lifecycle artifacts (90 ngày) và tofu-state (versioning + noncurrent 90 ngày); worker chạy
  • UFW bật với các luật mục 5.1; FortiGate cho phép VLAN 45/65 → 10.11.85.10:443
  • Prometheus thêm 5 job s3* vào VM235; dashboard 10423 import vào Grafana (VM236)
  • Admin UI vào được tại https://s3.hoatranlabs.local:8443 từ VLAN 45
  • Harbor cấu hình xong dùng SeaweedFS S3 backend (tùy chọn)
  • Gitea LFS cấu hình xong dùng SeaweedFS (bucket gitea-lfs)
  • Loki (bài 33) dùng bucket loki (tùy chọn)
  • Velero 1.18.4 cài trên K3s, BackupStorageLocation Available, schedule hằng ngày tạo thành công
  • Test backup Velero hoàn thành: Phase=Completed
  • PBS backup cấu hình và metadata lần đầu thành công (namespace vm-s3)
  • Cert auto-renew cron đã cài

Tài liệu tham khảo

Zalo