SeaweedFS S3 Object Storage
S3-compatible on-premise (SeaweedFS) — backend Harbor, Loki, Velero K3s backup.
Bối cảnh & Lý do triển khai
Nhiều service hiện đại yêu cầu object storage S3-compatible: Harbor lưu Docker layer blobs, Loki (bài 33, tùy chọn) lưu chunk và index log, Velero backup trạng thái Kubernetes, Gitea lưu LFS objects lớn, OpenTofu giữ state (bài 07) và pipeline CI/CD lưu build artifacts. Thay vì phụ thuộc AWS S3 hoặc mua license thương mại, SeaweedFS (giấy phép Apache-2.0, phát hành đều: bản 4.48 ngày 2026-09-28) cung cấp S3 API chạy on-premise, kèm identities và quyền theo bucket, versioning, lifecycle, Object Lock, TLS, giao diện quản trị và metrics Prometheus. Bài này thay cho bản dùng MinIO trước đây (MinIO bản cộng đồng đã ngừng phát triển, xem phần cảnh báo bên dưới).
SeaweedFS được đặt trên VLAN_STORAGE (tag=85, subnet 10.11.85.x) tách biệt với các service thông thường, phù hợp với kiến trúc phân vùng lưu trữ. Mọi service kết nối qua một địa chỉ duy nhất: S3 API tại https://s3.hoatranlabs.local (cổng 443, Nginx trên VM làm lớp TLS). Giao diện quản trị dùng chung tên đó ở cổng 8443 (chỉ VLAN quản trị), nên lab chỉ cần một bản ghi DNS s3. Các thành phần master, volume, filer chạy nội bộ trong mạng Docker, không mở ra ngoài VM.
| Mục | Nội dung |
|---|---|
| Ứng dụng trong doanh nghiệp | Backend lưu trữ object S3 on-premise cho Harbor (layer/blob), Loki (chunk + index, bài 33), Velero (backup K3s), Gitea LFS, artifact CI/CD, state OpenTofu; tùy chọn blob store cho Nexus |
| Tác dụng chính | S3 API (SigV4, multipart, presigned URL), tài khoản riêng và quyền tối thiểu theo bucket, versioning, lifecycle, Object Lock, nhân bản và erasure coding khi có nhiều node, giao diện quản trị, metrics Prometheus |
| Nếu không triển khai | Harbor/Loki phải dùng đĩa cục bộ; backup K3s không có kho tập trung; LFS làm phình repo Git; state OpenTofu nằm trên đĩa ops01 |
| Các service phụ thuộc vào đây | Velero trên K3s (bài 28), Gitea LFS (VM240, bài 22), Harbor (VM239, bài 21, tùy chọn), Loki (VM235, bài 33, tùy chọn), OpenTofu trên ops01 (bài 07, tùy chọn), Nexus blob store (bài 31, tùy chọn) |
Phiên bản: 3.0 | Ngày cập nhật: 2026-10-16 (thay MinIO bằng SeaweedFS 4.48; Ubuntu Server 24.04 LTS; Docker Compose; Velero 1.18.4)
Cluster: HOATRANHUB (PVE 9.2.20) | Tác giả: HoatranLabs
minio trên Docker Hub không còn liệt kê image minio/minio và minio/mc, còn dl.min.io trả HTTP 410 cho binary minio và mc. Vì vậy bài chuyển sang SeaweedFS: Apache-2.0, phát hành đều đặn, S3 API đủ cho mọi dịch vụ của lab (mục 4 kiểm từng dịch vụ), có image chính thức nên chạy được bằng Docker theo quy tắc của series. Giữ nguyên VMID 268, IP 10.11.85.10, VLAN 85, node1; hostname đổi từ minio thành s3, không còn bản ghi hay alias minio. Người đang chạy MinIO cũ: dữ liệu sao chép sang SeaweedFS bằng rclone sync hoặc aws s3 sync giữa hai endpoint (chưa chạy thử trên máy thật), rồi đổi cấu hình từng dịch vụ theo mục 4.
So sánh nhanh các giải pháp S3 on-premise (đối chiếu tài liệu ngày 2026-10-16):
| Tiêu chí | MinIO (cộng đồng) | SeaweedFS (chọn) | Garage | RustFS | Ceph RGW |
|---|---|---|---|---|---|
| Tình trạng và giấy phép | Kho archived 2026-04-25, không còn bản vá; image/binary bị gỡ | Apache-2.0, phát hành đều (4.48 ngày 2026-09-28) | Mã nguồn mở, nhẹ, dành cho cụm nhỏ phân tán | Apache-2.0, dự án mới (README còn nhắc bản 1.0.0-beta.11) | Một phần của Ceph, trưởng thành, giấy phép LGPL |
| Bucket policy, IAM | Có (đến khi dừng) | Có: identities trong s3.json, IAM policy, bucket policy, STS | Không có bucket policy/ACL; quyền theo từng khóa và bucket | Có (README liệt kê IAM/policies) | Có, đầy đủ |
| Versioning, Object Lock, lifecycle | Có | Versioning, Object Lock, lifecycle (không có transition) | Không versioning, không Object Lock; lifecycle chỉ Expiration và AbortIncompleteMultipartUpload | README liệt kê là "Available", chưa có hồ sơ vận hành dài | Có, đầy đủ, kèm multisite |
| Bảo vệ dữ liệu | Erasure coding | Nhân bản theo rack/DC; erasure coding 10+4 cho dữ liệu "ấm" | Nhân bản (2 hoặc 3 bản) | Erasure coding, chế độ phân tán | Nhân bản hoặc erasure coding theo pool |
| Giao diện quản trị | Console (không còn bản cộng đồng được bảo trì) | Admin UI (weed admin) có mật khẩu và mTLS | Không có UI chính thức (có công cụ cộng đồng) | Có console | Dashboard của Ceph (RGW cần cấu hình thêm) |
| Chạy 1 VM, Docker | Image đã gỡ | Image chính thức chrislusf/seaweedfs, ghim tag | Image chính thức | Image chính thức | Không phù hợp: cần các daemon radosgw trên cụm Ceph |
| Kết luận cho lab | Loại | Chọn: đáp ứng Loki, Harbor, Velero, Gitea, OpenTofu; nhỏ gọn, mở rộng được | Loại: thiếu versioning/policy/Object Lock | Theo dõi, chưa chọn (còn non trẻ) | Dành cho quy mô lớn; cụm Ceph của lab do Proxmox quản lý và không có công cụ dựng RGW của PVE (cần kiểm lại) |
SeaweedFS đáp ứng mọi dịch vụ ở mục 4 nên không cần đổi sang phương án khác. Lưu ý quy mô: README của SeaweedFS có lệnh weed mini (một tiến trình gộp master, volume, filer, S3, admin) và ghi rằng đủ cho một node; bài này chọn tách thành phần (master, volume, filer, s3, admin, worker là các container riêng) vì tách được cổng metrics, nâng cấp từng phần, đặt Nginx và TLS riêng cho S3 và thêm volume server khi cần. Wiki "Production Setup" cũng có lối gọn cho 1 máy là weed server -filer -s3; ba cách dùng chung định dạng dữ liệu.
Phiên bản phần mềm sử dụng (đã xác minh 2026-10-16; cập nhật bài ngày 2026-10-16):
| Thành phần | Phiên bản | Ghi chú |
|---|---|---|
| Hệ điều hành (s3, VM268) | Ubuntu Server 24.04.5 LTS "Noble Numbat" | ISO ubuntu-24.04.5-live-server-amd64.iso (2026-09-09, releases.ubuntu.com/24.04), hỗ trợ chuẩn tới 04/2029. Gói mặc định: Linux 6.8, systemd 255, OpenSSL 3.0.13, netplan 1.0, Nginx 1.24, Python 3.12 |
| SeaweedFS | 4.48 (image chrislusf/seaweedfs:4.48, ghim; phát hành 2026-09-28) | Bản "Latest" trên github.com/seaweedfs/seaweedfs/releases; tag có trên Docker Hub (amd64, arm64). Bản 4.48 đã gồm bản vá CVE-2026-55874 (CopyObject đọc chéo bucket, vá từ 4.34) và CVE-2026-55873 (S3Tables, vá từ 4.34); cần từ 4.34 trở lên. Image chạy bằng user seaweed (UID 1000), bật FIPS 140-3 mặc định (GODEBUG=fips140=on) |
| Docker Engine + Compose plugin | 29.9.1 / 5.6.0 (repo download.docker.com, suite noble) | Gói docker-ce, docker-ce-cli, containerd.io, docker-buildx-plugin, docker-compose-plugin; dùng lệnh docker compose. Số bản sẽ tăng theo thời gian |
| Nginx | 1.24.x (gói nginx của noble) | Reverse proxy HTTPS cho S3 API, Admin UI và metrics |
| step-cli | 0.31.0 (step-cli_0.31.0-1_amd64.deb) | Giá trị dùng chung của lab |
| AWS CLI v2 | Bản mới nhất từ awscli.amazonaws.com | Gói apt awscli không có trong Ubuntu 24.04 (packages.ubuntu.com ngày 2026-10-16), nên cài bằng trình cài đặt chính thức của AWS (mục 3.2) |
| Velero CLI / plugin AWS | v1.18.4 / v1.14.4 (phát hành 2026-09-28) | Ma trận của plugin: 1.14.x đi với Velero 1.18.x. Bài trước ghim v1.14.0/v1.10.0 (đã cũ). Velero 1.18 được kiểm trên Kubernetes 1.33 đến 1.35, K3s của bài 28 là v1.36.5: cần kiểm lại trên máy thật |
| Dịch vụ dùng S3 | Harbor 2.15.4 (bài 21), Gitea 28.1.0 (bài 22), Loki 3.7.8 (bài 33), Nexus 3.96.4 (bài 31), OpenTofu 1.13.1 (bài 07) | Phiên bản theo bài của từng dịch vụ; mục 4 ghi kết quả đối chiếu tài liệu |
| proxmox-backup-client-static | Gói từ repo pbs-client, suite trixie | Bản liên kết tĩnh, không phụ thuộc glibc của noble; chạy trên noble cần kiểm lại trên máy thật |
Danh sách máy chủ & IP liên quan
Bảng dưới liệt kê các máy chủ mà bài này tạo hoặc kết nối tới. Địa chỉ, VMID, VLAN và node lấy từ bảng quy hoạch chung của lab, dùng thống nhất cho cả bộ bài lab.
| Máy chủ | IP | VLAN · Node | Vai trò trong bài này |
|---|---|---|---|
| s3 (SeaweedFS S3 Object Storage) · VM268 | 10.11.85.10 | 85 (STORAGE) · node1 | Máy chủ của bài — SeaweedFS 4.48 bằng Docker Compose (master, volume, filer, s3, admin, worker) sau Nginx: S3 API https://s3.hoatranlabs.local:443, Admin UI :8443. |
| node1 (Proxmox VE) | 10.11.45.210 | 45 (MGMT) · cluster HOATRANHUB | Node Proxmox chứa VM268; tạo VM (VLAN tag 85, scsi0 20 GiB trên vm-ceph SSD, scsi1 100 GiB trên vm-bulk HDD) và mở rộng đĩa bằng qm resize khi đầy. |
| pihole (Pi-hole DNS) · VM247 | 10.11.45.53 | 45 (MGMT) · node3 | Làm DNS cho VM và phân giải s3.hoatranlabs.local về VM268 (một bản ghi duy nhất, tạo ở bài 12; không còn bản ghi minio). |
| step-ca (step-CA PKI) · VM242 | 10.11.25.42 | 25 (SEC) · node1 | Cấp chứng chỉ TLS cho Nginx của VM268 (SAN gồm tên s3 và IP) qua step ca certificate, gia hạn bằng cron hằng tuần (bài 13). |
| harbor (Harbor Registry) · VM239 | 10.11.45.39 | 45 (MGMT) · node2 | Tùy chọn dùng bucket harbor-storage làm backend lưu layer/blob qua khối storage_service trong harbor.yml (bài 21). |
| gitea (Gitea + Actions) · VM240 | 10.11.45.40 | 45 (MGMT) · node2 | Lưu Git LFS vào bucket gitea-lfs qua biến môi trường GITEA__lfs__* trong docker-compose; artifact CI dùng bucket artifacts (bài 22). |
| nexus (Nexus Repository OSS) · VM267 | 10.11.65.67 | 65 (SRV) · node3 | Tùy chọn tạo blob store S3 trên bucket nexus-blobs (Endpoint URL và path-style); mặc định giữ blob store file của bài 31. |
| prometheus (Prometheus + Alertmanager) · VM235 | 10.11.45.35 | 45 (MGMT) · node2 | Scrape metrics SeaweedFS (job s3, s3-master, s3-volume, s3-filer, s3-worker qua https s3.hoatranlabs.local:443); Loki trên VM này dùng bucket loki (bài 33). |
| grafana (Grafana + Uptime Kuma + Gotify) · VM236 | 10.11.45.36 | 45 (MGMT) · node2 | Import dashboard SeaweedFS (grafana.com ID 10423) để xem metrics lấy từ Prometheus (bài 15). |
| K3s cluster (3 control plane + 3 worker) · VM 260–265 | 10.11.65.60–65 | 65 (SRV) · node1–node3 | Cụm nhận Velero 1.18.4 (bucket velero-backups, s3ForcePathStyle, --cacert) và lịch backup hằng ngày lên SeaweedFS (bài 28). |
| ops01 (Ansible/OpenTofu + bastion) · VM290 | 10.11.45.20 | 45 (MGMT) · node2 | Tùy chọn dùng bucket tofu-state làm backend S3 cho state OpenTofu; chạy AWS CLI quản trị từ xa tới S3 (bài 07). |
| pbs01 (PBS Primary) · VM101 | 10.11.45.17 | 45 (MGMT) · node4 | Nhận backup file-level cấu hình SeaweedFS (/opt/seaweedfs, không gồm dữ liệu volume) bằng proxmox-backup-client, token vm-backup@pbs!s3 (bài 04). |
| syno-primary (Synology NAS) | 10.11.45.16 | 45 (MGMT) · NAS | NAS chứa datastore syno-primary — đích lưu bản backup cấu hình SeaweedFS hằng tuần; dữ liệu bucket do job vzdump của VM268 và từng dịch vụ bảo vệ (bài 04). |
| FortiGate (firewall) | 10.100.100.1 | Quản trị 10.100.100.0/24 · thiết bị mạng | Policy cho phép VLAN 45 và 65 tới 10.11.85.10 cổng TCP 443 (S3 API) và VLAN 45 tới cổng 8443 (Admin UI). |
Gateway của mỗi VLAN là địa chỉ .1. Tên DNS nội bộ do Pi-hole phân giải (bài 12). Tên in đậm là hostname; FQDN = hostname + .hoatranlabs.local.
Thông tin VM
| Thông số | Giá trị |
|---|---|
| VMID | 268 |
| Hostname | s3 |
| IP | 10.11.85.10/24 |
| Gateway | 10.11.85.1 |
| VLAN | 85 (VLAN_STORAGE) |
| vCPU | 4 |
| RAM | 8 GB |
| Disk | 20 GB hệ điều hành và metadata filer (scsi0, SSD vm-ceph) + 100 GB dữ liệu object SeaweedFS (scsi1, HDD vm-bulk); cả hai là thin, mở rộng bằng qm resize |
| OS | Ubuntu Server 24.04.5 LTS |
| Phân bổ node | node1 |
| Cách chạy | Docker Compose trong /opt/seaweedfs: master, volume, filer, s3, admin, worker; Nginx trên host |
| S3 API URL | https://s3.hoatranlabs.local (cổng 443) |
| Admin UI URL | https://s3.hoatranlabs.local:8443 (chỉ VLAN 45) |
Kiến trúc & phương án triển khai
Harbor · Gitea · Loki · Velero · OpenTofu ──HTTPS 443──► Nginx (host VM268) ──► 127.0.0.1:8333 s3 (gateway S3)
│
Quản trị viên (VLAN 45) ───────HTTPS 8443──► Nginx ──► 127.0.0.1:23646 admin ▼
Prometheus VM235 ──HTTPS 443 /_metrics/*──► Nginx ──► 127.0.0.1:9324-9328 filer :8888 ──► master :9333
│
volume :8080 ──► /srv/seaweedfs/volume (đĩa HDD vm-bulk)
| Thành phần | Cổng trong mạng Docker | Publish ra host | Vai trò |
|---|---|---|---|
master | 9333 (gRPC 19333), metrics 9324 | chỉ metrics, 127.0.0.1:9324 | Điều phối volume, gán vị trí ghi |
volume | 8080 (gRPC 18080), metrics 9325 | chỉ metrics, 127.0.0.1:9325 | Lưu dữ liệu trong các tệp volume 1 GB |
filer | 8888 (gRPC 18888), metrics 9326 | chỉ metrics, 127.0.0.1:9326 | Metadata, cây thư mục /buckets/<bucket> (leveldb2) |
s3 | 8333, metrics 9327 | 127.0.0.1:8333, 127.0.0.1:9327 | Cổng S3 API, đọc identities từ s3.json |
admin | 23646 (gRPC worker 33646) | 127.0.0.1:23646 | Giao diện quản trị (có mật khẩu) |
worker | metrics 9328 | 127.0.0.1:9328 | Tác vụ nền: lifecycle, vacuum, balance, erasure coding |
ports: được Docker thêm luật iptables riêng, UFW không chặn được. Vì vậy mọi cổng trong compose của bài đều gắn 127.0.0.1:; chỉ Nginx (tiến trình trên host) mở cổng 80, 443 và 8443 ra mạng, và UFW kiểm soát được các cổng đó. Không bỏ tiền tố 127.0.0.1:.
Phương án triển khai (quy tắc của series: có image chính thức thì ưu tiên Docker, rồi LXC, cuối cùng mới cài trực tiếp lên VM):
| Phương án | Trạng thái trong bài | Lý do chọn / không chọn | Cách chuyển đổi |
|---|---|---|---|
| Docker Engine + Compose trên VM268 (khuyến nghị) | Phương án của bài | Có image chính thức chrislusf/seaweedfs, ghim tag, nâng cấp và quay lại bản cũ bằng cách đổi tag; dữ liệu là bind mount rõ ràng (/srv/seaweedfs, /opt/seaweedfs) nên PBS in-VM sao lưu được; chạy bằng user không root sau bước khởi tạo của entrypoint | Chuyển sang binary: docker compose down, giữ nguyên /srv/seaweedfs, chạy weed với cùng tham số |
VM268 + binary weed + systemd | Phương án thay thế | Ít lớp nhất, dễ gỡ lỗi bằng journalctl; tải linux_amd64.tar.gz của bản 4.48 từ trang releases, tự quản lý user, unit, nâng cấp | Dùng lại thư mục dữ liệu và s3.json; viết 1 unit weed server -filer -s3 hoặc 4 unit riêng theo wiki Production Setup |
| LXC không đặc quyền (CT268) + binary + systemd | Chưa dùng, chưa chạy thử | weed là một binary Go nên chạy được trong LXC (Ubuntu 24.04, --unprivileged 1, thêm mount point dữ liệu trên vm-bulk) và nhẹ hơn VM. Nhược: Docker không chạy trong LXC (Proxmox không khuyến nghị) nên phải dùng binary; không live-migrate; dữ liệu object lớn nên cần mount point riêng | Tạo CT theo quy ước series, chép /srv/seaweedfs và s3.json; VM và CT dùng chung VMID/IP nên không chạy song song |
Tạo VM trên Proxmox
Tải Ubuntu ISO (nếu chưa có) · Tạo VM · Cài đặt Ubuntu 24.04
1.1 Tải Ubuntu ISO (nếu chưa có)
# Chạy trên Proxmox node node1
# 24.04.5 là bản point mới nhất tại thời điểm viết (2026-09-09); nếu đã có bản mới hơn, xem https://releases.ubuntu.com/24.04/
wget -O /var/lib/vz/template/iso/ubuntu-24.04.5-live-server-amd64.iso \
https://releases.ubuntu.com/24.04/ubuntu-24.04.5-live-server-amd64.iso
# Kiểm tra toàn vẹn: so kết quả với dòng tương ứng trong https://releases.ubuntu.com/24.04/SHA256SUMS
sha256sum /var/lib/vz/template/iso/ubuntu-24.04.5-live-server-amd64.iso
1.2 Tạo VM
VM có hai đĩa trên hai tầng lưu trữ khác nhau (phân tầng SSD/HDD của bài 07, mục 8.5): scsi0 20 GiB trên pool SSD vm-ceph cho hệ điều hành, Docker và metadata (filer leveldb2, chỉ mục volume, cần IOPS ngẫu nhiên), scsi1 100 GiB trên pool HDD vm-bulk cho dữ liệu object (các tệp volume SeaweedFS, ghi tuần tự, hợp ổ quay). Con số 20/100 GiB khớp cột disk/xdisk của vms.csv ở bài 07: đĩa Ceph là thin nên đây chỉ là trần danh nghĩa, còn vm-bulk của lab chỉ có khoảng 333 GB khả dụng (vùng an toàn khoảng 200 GB) dùng chung cho Harbor, Nexus, Loki, S3… Cần thêm thì mở rộng độc lập từng đĩa bằng qm resize 268 scsi1 +50G (mục 3.7). Chưa có pool vm-bulk (làm mục 8.5 của bài 07 trước) thì thay vm-bulk bằng vm-ceph ở bước tạo đĩa scsi1, mọi bước còn lại giữ nguyên.
Cách 1: Web UI Proxmox (GUI)
- VM ID:
268 - Name:
s3 - Bỏ tick Start after created
- Storage:
local(hoặc nơi chứa ISO) - ISO Image:
ubuntu-24.04.5-live-server-amd64.iso - Guest OS Type:
Linux, Version:6.x - 2.6 Kernel
- Machine:
q35 - SCSI Controller:
VirtIO SCSI single - BIOS:
SeaBIOS - Qemu Agent: ☑
- Bus/Device:
SCSI 0, Storage:vm-ceph - Disk size:
20 GiB, Cache:Write back, Discard: ☑, SSD emulation: ☑ - Bấm Add để thêm đĩa thứ hai: Bus/Device
SCSI 1, Storage:vm-bulk(HDD), Disk size:100 GiB, Cache:Write back, Discard: ☑, SSD emulation: ☐ (bỏ tick vì là HDD)
- Sockets:
1, Cores:4, Type:x86-64-v2-AES
- Memory (MiB):
8192
- Bridge:
vmbr0, VLAN Tag:85, Model:VirtIO (paravirtualized), Firewall: ☐
Cách 2: CLI (qm create)
# Chạy trên node1
qm create 268 --name s3 --memory 8192 --cores 4 --sockets 1 --cpu x86-64-v2-AES \
--net0 virtio,bridge=vmbr0,tag=85 \
--scsihw virtio-scsi-single \
--scsi0 vm-ceph:20,cache=writeback,discard=on,ssd=1 \
--scsi1 vm-bulk:100,cache=writeback,discard=on \
--ide2 local:iso/ubuntu-24.04.5-live-server-amd64.iso,media=cdrom \
--boot "order=ide2;scsi0" \
--ostype l26 --machine q35 --bios seabios \
--agent 1 --serial0 socket --vga serial0
qm start 268
1.3 Cài đặt Ubuntu 24.04
Kết nối qua Proxmox console (qm terminal 268):
- Language: English | Keyboard: English (US)
- Install type: Ubuntu Server (minimized)
- Network: DHCP tạm thời
- Storage: chỉ chọn đĩa 20 GiB → LVM, không encrypt. Để nguyên đĩa 100 GiB, mục 2.2 sẽ định dạng riêng
- Profile: name=
sysadmin, server=s3, user=sysadmin, pass=Hoatran@2024! - SSH: ✅ Install OpenSSH server
- Snaps: bỏ chọn tất cả → Reboot
1.4 Cấu hình sau cài đặt
# Ubuntu 24.04 có needrestart: đặt chế độ tự động để apt không bật hộp thoại hỏi khởi động lại dịch vụ
export NEEDRESTART_MODE=a
apt update && apt upgrade -y
apt install -y qemu-guest-agent curl wget git vim net-tools ca-certificates \
gnupg lsb-release apt-transport-https software-properties-common cron unzip
systemctl enable --now qemu-guest-agent
hostnamectl set-hostname s3
echo "127.0.1.1 s3 s3.hoatranlabs.local" >> /etc/hosts
# Static IP — VLAN_STORAGE 10.11.85.x
# Tên NIC trên VM q35 thường là ens18 hoặc enp6s18: xem tên thật trước, đừng gõ cứng
ip -br link
NIC=$(ip -br link | awk '$1!="lo"{print $1; exit}')
echo "NIC = $NIC"
# Ubuntu 24.04: installer/cloud-init ghi mạng DHCP vào /etc/netplan/50-cloud-init.yaml; nếu để nguyên,
# cấu hình đó cộng dồn với IP tĩnh bên dưới -> tắt cloud-init quản lý mạng và xóa file cũ
echo 'network: {config: disabled}' > /etc/cloud/cloud.cfg.d/99-disable-network-config.cfg
rm -f /etc/netplan/50-cloud-init.yaml /etc/netplan/00-installer-config.yaml
cat > /etc/netplan/50-s3.yaml << EOF
network:
version: 2
ethernets:
${NIC}:
addresses: [10.11.85.10/24]
routes:
- to: default
via: 10.11.85.1
nameservers:
addresses: [10.11.45.53]
search: [hoatranlabs.local]
EOF
chmod 600 /etc/netplan/50-s3.yaml
netplan apply # đang SSH bằng IP DHCP thì phiên sẽ đứt: đăng nhập lại bằng 10.11.85.10
# Verify
ip -4 a show "$NIC" | grep "inet "
ping -c3 10.11.45.53
Cài đặt SeaweedFS
Cài Docker Engine · Đĩa dữ liệu và thư mục · Tạo khóa truy cập và s3.json
2.1 Cài Docker Engine
# Gỡ gói Docker xung đột của Ubuntu nếu có (không lỗi khi chưa cài)
apt remove -y $(dpkg --get-selections docker.io docker-compose docker-compose-v2 docker-doc podman-docker containerd runc 2>/dev/null | cut -f1)
# Repo chính thức download.docker.com, suite noble (Ubuntu 24.04), nguồn dạng deb822 + Signed-By
install -m 0755 -d /etc/apt/keyrings
curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc
chmod a+r /etc/apt/keyrings/docker.asc
cat > /etc/apt/sources.list.d/docker.sources << EOF
Types: deb
URIs: https://download.docker.com/linux/ubuntu
Suites: $(. /etc/os-release && echo "${UBUNTU_CODENAME:-$VERSION_CODENAME}")
Components: stable
Architectures: $(dpkg --print-architecture)
Signed-By: /etc/apt/keyrings/docker.asc
EOF
apt update
apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin
systemctl enable --now docker
usermod -aG docker sysadmin
docker --version
docker compose version
2.2 Đĩa dữ liệu và thư mục
Đĩa scsi1 (100 GiB, HDD vm-bulk) xuất hiện trong VM là một thiết bị trống, thường là /dev/sdb. Đĩa này chỉ chứa dữ liệu object (thư mục volume); metadata của filer, dữ liệu master/admin/worker và chỉ mục volume nằm trên đĩa hệ điều hành (SSD vm-ceph) vì cần IOPS ngẫu nhiên. Kiểm tra kỹ tên thiết bị trước khi định dạng: lệnh mkfs xóa sạch dữ liệu của đĩa được chọn.
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINT
# Đĩa dữ liệu: SIZE khoảng 100G, cột FSTYPE trống, chưa có phân vùng con. Đặt đúng tên (thường là sdb):
DATA_DISK=/dev/sdb
[ -z "$(lsblk -no FSTYPE "$DATA_DISK")" ] && echo "OK: $DATA_DISK trống" || echo "DỪNG: $DATA_DISK đã có dữ liệu"
# Chỉ chạy tiếp nếu dòng trên báo OK
mkfs.ext4 -L seaweed-data "$DATA_DISK"
mkdir -p /srv/seaweedfs/volume
# Khi đĩa chưa được mount, thư mục gốc ở đây bất biến: container không thể ghi nhầm dữ liệu vào đĩa hệ điều hành
chattr +i /srv/seaweedfs/volume
echo "UUID=$(blkid -s UUID -o value "$DATA_DISK") /srv/seaweedfs/volume ext4 defaults,noatime,nofail 0 2" >> /etc/fstab
systemctl daemon-reload && mount -a
df -h /srv/seaweedfs/volume # phải thấy thiết bị 100G, không phải đĩa hệ điều hành
# Thư mục các thành phần còn lại (đĩa hệ điều hành, SSD); container chạy bằng uid/gid 1000 "seaweed"
mkdir -p /srv/seaweedfs/{master,filer,admin,worker,volume-idx}
chown -R 1000:1000 /srv/seaweedfs
# Thư mục cấu hình, khóa và bản xuất metadata (được PBS sao lưu, mục 5.3)
install -d -m 755 /opt/seaweedfs /opt/seaweedfs/s3 /opt/seaweedfs/scripts
install -d -m 700 /opt/seaweedfs/secrets
install -d -m 755 -o 1000 -g 1000 /opt/seaweedfs/backup
2.3 Tạo khóa truy cập và s3.json
SeaweedFS đọc danh sách tài khoản S3 (identities) từ tệp JSON truyền bằng cờ -config. Mỗi dịch vụ có một identity riêng, chỉ được quyền trên bucket của mình (bảng quyền ở mục 3.4). Script dưới sinh khóa ngẫu nhiên, ghi khóa của từng dịch vụ vào /opt/seaweedfs/secrets/<tên>.env (quyền 600) và dựng s3.json. Chạy lại script thì giữ nguyên khóa đã có.
cat > /opt/seaweedfs/scripts/make-s3-config.py << 'EOF'
#!/usr/bin/env python3
"""Sinh khóa S3 cho từng dịch vụ và tệp s3.json của SeaweedFS (chạy lại không đổi khóa đã có)."""
import json, os, pathlib, secrets
SEC = pathlib.Path('/opt/seaweedfs/secrets')
OUT = pathlib.Path('/opt/seaweedfs/s3/s3.json')
# identity -> (danh sách bucket, các action cấp trên MỖI bucket đó)
SERVICES = {
'harbor': (['harbor-storage'], ['Read', 'Write', 'List']),
'loki': (['loki'], ['Read', 'Write', 'List']),
'velero': (['velero-backups'], ['Read', 'Write', 'List']),
'gitea': (['gitea-lfs'], ['Read', 'Write', 'List']),
'ci-artifacts': (['artifacts'], ['Read', 'Write', 'List']),
'tofu': (['tofu-state'], ['Read', 'Write', 'List']),
'nexus': (['nexus-blobs'], ['Read', 'Write', 'List', 'Tagging', 'Admin']),
}
def keypair(name):
f = SEC / f'{name}.env'
if f.exists():
kv = dict(t.split('=', 1) for t in f.read_text().split() if '=' in t)
return kv['S3_ACCESS_KEY'], kv['S3_SECRET_KEY']
ak, sk = secrets.token_hex(10).upper(), secrets.token_hex(20)
fd = os.open(f, os.O_WRONLY | os.O_CREAT | os.O_EXCL, 0o600)
with os.fdopen(fd, 'w') as fh:
fh.write(f'S3_ACCESS_KEY={ak}\nS3_SECRET_KEY={sk}\n')
return ak, sk
identities = []
ak, sk = keypair('admin') # tài khoản quản trị, chỉ dùng cho thao tác bucket/lifecycle, không đưa cho dịch vụ
identities.append({'name': 'admin', 'credentials': [{'accessKey': ak, 'secretKey': sk}],
'actions': ['Admin', 'Read', 'Write', 'List', 'Tagging']})
for name, (buckets, acts) in SERVICES.items():
ak, sk = keypair(name)
identities.append({'name': name, 'credentials': [{'accessKey': ak, 'secretKey': sk}],
'actions': [f'{a}:{b}' for b in buckets for a in acts]})
OUT.parent.mkdir(parents=True, exist_ok=True)
OUT.write_text(json.dumps({'identities': identities}, indent=2) + '\n')
os.chmod(OUT, 0o600)
os.chown(OUT, 1000, 1000) # container đọc bằng uid 1000
print('Đã ghi', OUT, '-', len(identities), 'identity; khóa từng dịch vụ ở', SEC)
EOF
chmod 700 /opt/seaweedfs/scripts/make-s3-config.py
python3 /opt/seaweedfs/scripts/make-s3-config.py
ls -l /opt/seaweedfs/secrets /opt/seaweedfs/s3
Khóa nằm trong /opt/seaweedfs/secrets/*.env và s3.json (cả hai quyền 600); không đưa lên Git, lưu bản sao ở Vaultwarden (bài 19) hoặc Vault (bài 34). Mật khẩu giao diện quản trị đặt riêng trong .env của compose (mục 2.4).
2.4 Docker Compose
# Mật khẩu giao diện quản trị (Admin UI): sinh ngẫu nhiên, nằm trong .env quyền 600; compose không chứa bí mật
install -m 600 /dev/null /opt/seaweedfs/.env
echo "ADMIN_UI_PASSWORD=$(openssl rand -base64 24 | tr -dc 'A-Za-z0-9' | head -c 24)" > /opt/seaweedfs/.env
cat > /opt/seaweedfs/docker-compose.yml << 'EOF'
name: seaweedfs
x-weed-common: &weed-common
image: chrislusf/seaweedfs:4.48 # ghim phiên bản; nâng cấp = đổi tag này (mục 5.5)
restart: unless-stopped
networks: [seaweed]
logging:
driver: json-file
options:
max-size: "10m"
max-file: "3"
services:
master:
<<: *weed-common
container_name: seaweed-master
command:
- master
- -ip=master
- -ip.bind=0.0.0.0
- -mdir=/data
- -volumeSizeLimitMB=1024 # mỗi volume tối đa 1 GB: nhiều volume nhỏ, hợp đĩa vừa
- -defaultReplication=000 # 1 VM: không nhân bản ở tầng SeaweedFS (mục 3.7)
- -metricsPort=9324
- -telemetry=false # mặc định master gửi thống kê ẩn danh tới telemetry.seaweedfs.com
volumes:
- /srv/seaweedfs/master:/data
ports:
- "127.0.0.1:9324:9324"
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9333/healthz || exit 1"]
interval: 15s
timeout: 5s
retries: 5
start_period: 20s
volume:
<<: *weed-common
container_name: seaweed-volume
depends_on:
master:
condition: service_healthy
command:
- volume
- -master=master:9333
- -ip=volume
- -ip.bind=0.0.0.0
- -port=8080
- -dir=/data # dữ liệu object: đĩa HDD vm-bulk (mount ở /srv/seaweedfs/volume)
- -dir.idx=/idx # tệp chỉ mục .idx: đặt trên SSD (đĩa hệ điều hành), cần kiểm lại trên máy thật
- -max=0 # tự tính số volume = dung lượng trống / 1 GB
- -minFreeSpace=5 # dưới 5% trống thì đặt các volume ở chế độ chỉ đọc
- -index=leveldb # chỉ mục volume trên đĩa, giảm RAM khi có nhiều volume
- -dataCenter=site1
- -rack=rack1
- -metricsPort=9325
volumes:
- /srv/seaweedfs/volume:/data
- /srv/seaweedfs/volume-idx:/idx
ports:
- "127.0.0.1:9325:9325"
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8080/healthz || exit 1"]
interval: 15s
timeout: 5s
retries: 5
start_period: 20s
filer:
<<: *weed-common
container_name: seaweed-filer
depends_on:
volume:
condition: service_healthy
command:
- filer
- -master=master:9333
- -ip=filer
- -ip.bind=0.0.0.0
- -port=8888
- -defaultStoreDir=/data/filerldb2 # metadata leveldb2 (một filer)
- -dataCenter=site1
- -rack=rack1
- -metricsPort=9326
volumes:
- /srv/seaweedfs/filer:/data
- /opt/seaweedfs/backup:/backup # nơi xuất bản sao metadata (mục 5.3)
ports:
- "127.0.0.1:9326:9326"
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:8888/healthz || exit 1"]
interval: 15s
timeout: 5s
retries: 5
start_period: 20s
s3:
<<: *weed-common
container_name: seaweed-s3
depends_on:
filer:
condition: service_healthy
command:
- s3
- -filer=filer:8888
- -ip.bind=0.0.0.0
- -port=8333
- -config=/etc/seaweedfs/s3.json
- -externalUrl=https://s3.hoatranlabs.local # địa chỉ client dùng: để kiểm chữ ký SigV4 đúng khi đi qua Nginx
- -autoCreateBucket=false # không tự tạo bucket khi upload nhầm tên
- -allowDeleteBucketNotEmpty=false # không cho xóa bucket còn dữ liệu
- -metricsPort=9327
volumes:
- /opt/seaweedfs/s3/s3.json:/etc/seaweedfs/s3.json:ro
ports:
- "127.0.0.1:8333:8333"
- "127.0.0.1:9327:9327"
healthcheck:
test: ["CMD-SHELL", "wget -q -O /dev/null http://127.0.0.1:9327/metrics || exit 1"]
interval: 15s
timeout: 5s
retries: 5
start_period: 20s
admin:
<<: *weed-common
container_name: seaweed-admin
depends_on:
- master
- filer
command:
- admin
- -master=master:9333
- -port=23646
- -dataDir=/data
environment:
WEED_ADMIN_USER: admin
WEED_ADMIN_PASSWORD: ${ADMIN_UI_PASSWORD:?đặt ADMIN_UI_PASSWORD trong /opt/seaweedfs/.env}
volumes:
- /srv/seaweedfs/admin:/data
ports:
- "127.0.0.1:23646:23646"
worker:
<<: *weed-common
container_name: seaweed-worker
depends_on:
- admin
command:
- worker
- -admin=admin:23646
- -workingDir=/data
- -metricsPort=9328
volumes:
- /srv/seaweedfs/worker:/data
ports:
- "127.0.0.1:9328:9328"
networks:
seaweed:
name: seaweedfs_net
EOF
cd /opt/seaweedfs
docker compose config -q && echo "compose hợp lệ"
docker compose up -d
docker compose ps
Giải thích các lựa chọn chính:
-
-volumeSizeLimitMB=1024và-max=0: SeaweedFS chia đĩa thành các volume tối đa 1 GB, tạo dần khi ghi (không cấp phát trước,-volumePreallocatemặc định tắt). Wiki khuyên volume nhỏ khi đĩa nhỏ và-max=0để bỏ giới hạn 8 volume mặc định. Mặc định 30 GB mỗi volume không hợp với nhiều bucket trên một đĩa vừa. -
-defaultStoreDir=/data/filerldb2: một filer dùng leveldb2 trên đĩa dữ liệu là đủ; khi cần nhiều filer thì phải dùng kho metadata dùng chung (wiki Production Setup). -
-externalUrl: khi sau reverse proxy, chữ ký SigV4 của client tính trên tên hosts3.hoatranlabs.local; cờ này nói cho cổng S3 biết tên đó (Nginx cũng chuyểnHostnguyên vẹn, mục 2.6). -
-telemetry=falsetắt báo cáo thống kê ẩn danh của master ra internet (mặc định bật theo mã nguồn 4.48). -
admin+worker: Admin UI và các tác vụ nền (vacuum, balance, erasure coding, S3 lifecycle). Không có worker thì quy tắc lifecycle (mục 3.5) không được thi hành. - Healthcheck dùng
wget(busybox của Alpine trong image, cần kiểm lại trên máy thật) vào/healthzcủa master, volume, filer; cổng S3 chính trả 403 khi chưa ký nên healthcheck củas3dùng/metrics.
2.5 Kiểm tra bên trong mạng Docker
docker compose ps # master, volume, filer, s3 phải ở trạng thái healthy
docker compose logs --tail=15 master volume filer s3
# Hai lệnh bọc dùng suốt bài: weedsh chạy lệnh weed shell, s3as chạy AWS CLI bằng khóa của một identity
cat > /usr/local/bin/weedsh << 'EOF'
#!/bin/bash
# Dùng: weedsh "s3.bucket.list" ["lệnh khác" ...] (mỗi tham số là một lệnh weed shell)
printf '%s\n' "$@" | docker exec -i seaweed-filer weed shell -master=master:9333 -filer=filer:8888
EOF
chmod 755 /usr/local/bin/weedsh
weedsh "cluster.ps" "volume.list"
cluster.ps liệt kê master, volume server, filer, S3; volume.list cho thấy topology site1 / rack1 / volume:8080 với số volume tối đa đã tự tính theo -max=0. Lệnh s3as được tạo ở mục 3.2 sau khi cài AWS CLI.
2.6 Cài Nginx Reverse Proxy
apt install -y nginx
cat > /etc/nginx/sites-available/s3 << 'NGINX_EOF'
# SeaweedFS S3 API (cổng 443) + metrics cho Prometheus
server {
listen 80;
server_name s3.hoatranlabs.local;
return 301 https://$host$request_uri;
}
server {
listen 443 ssl;
server_name s3.hoatranlabs.local;
ssl_certificate /etc/ssl/certs/s3.crt;
ssl_certificate_key /etc/ssl/private/s3.key;
ssl_protocols TLSv1.2 TLSv1.3;
server_tokens off;
ignore_invalid_headers off;
client_max_body_size 0; # object lớn (layer Harbor, backup Velero)
proxy_buffering off;
proxy_request_buffering off; # truyền thẳng luồng upload, không đệm xuống đĩa
# Metrics của các thành phần SeaweedFS: chỉ Prometheus (VM235) được đọc
location ^~ /_metrics/ {
allow 10.11.45.35;
allow 127.0.0.1;
deny all;
location = /_metrics/s3 { proxy_pass http://127.0.0.1:9327/metrics; }
location = /_metrics/master { proxy_pass http://127.0.0.1:9324/metrics; }
location = /_metrics/volume { proxy_pass http://127.0.0.1:9325/metrics; }
location = /_metrics/filer { proxy_pass http://127.0.0.1:9326/metrics; }
location = /_metrics/worker { proxy_pass http://127.0.0.1:9328/metrics; }
return 404;
}
location / {
proxy_pass http://127.0.0.1:8333;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_set_header Host $http_host; # SigV4 ký theo Host: phải chuyển nguyên vẹn
proxy_set_header X-Forwarded-Host $host;
proxy_set_header X-Forwarded-Port $server_port;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Real-IP $remote_addr;
proxy_connect_timeout 300;
proxy_send_timeout 900;
proxy_read_timeout 900;
}
}
# Admin UI SeaweedFS: cổng 8443, chỉ VLAN quản trị; Admin UI còn có mật khẩu riêng
server {
listen 8443 ssl;
server_name s3.hoatranlabs.local;
ssl_certificate /etc/ssl/certs/s3.crt;
ssl_certificate_key /etc/ssl/private/s3.key;
ssl_protocols TLSv1.2 TLSv1.3;
server_tokens off;
allow 10.11.45.0/24;
allow 127.0.0.1;
deny all;
location / {
proxy_pass http://127.0.0.1:23646;
proxy_http_version 1.1;
proxy_set_header Host $http_host;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header Upgrade $http_upgrade;
proxy_set_header Connection "upgrade";
proxy_read_timeout 300;
}
}
NGINX_EOF
ln -sf /etc/nginx/sites-available/s3 /etc/nginx/sites-enabled/s3
rm -f /etc/nginx/sites-enabled/default
# Chưa chạy `nginx -t` ở bước này: các vhost trỏ tới cert /etc/ssl/certs/s3.crt
# và key /etc/ssl/private/s3.key, hai file này chỉ được cấp ở mục 3.1 (step-CA).
# `nginx -t` và việc nạp vhost sẽ thực hiện ở cuối mục 3.1, sau khi đã có cert.
Cấu hình
TLS Certificate từ step-CA · Cài AWS CLI và lệnh s3as · Tạo Buckets
3.1 TLS Certificate từ step-CA
# Cài step CLI 0.31.0 (gói .deb, giá trị dùng chung của lab)
wget -O /tmp/step-cli.deb \
https://dl.smallstep.com/gh-release/cli/gh-release-header/v0.31.0/step-cli_0.31.0-1_amd64.deb
dpkg -i /tmp/step-cli.deb
step version
# Bootstrap trust
step ca bootstrap \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--fingerprint [FINGERPRINT_TU_VM242] \
--install
# Lưu Root CA ở đường dẫn dùng chung của lab (như bài 13, 21, 22) để lệnh bên dưới dùng --root
# (nếu VM đã chạy distribute-root-ca.sh ở bài 13 thì file này đã có sẵn)
step ca root /usr/local/share/ca-certificates/hoatranlabs-root.crt
update-ca-certificates
# Request certificate: một cert cho tên s3 (S3 API, Admin UI và metrics dùng chung), SAN gồm tên ngắn và IP
step ca certificate s3.hoatranlabs.local \
/etc/ssl/certs/s3.crt \
/etc/ssl/private/s3.key \
--ca-url https://step-ca.hoatranlabs.local:9000 \
--root /usr/local/share/ca-certificates/hoatranlabs-root.crt \
--san s3 \
--san 10.11.85.10 \
--not-after 2160h
# Kiểm tra cấu hình Nginx (lúc này cert đã có) và nạp vhost s3
# (Nginx đã được apt khởi động ở mục 2.6 với cấu hình mặc định nên cần restart)
nginx -t && systemctl enable nginx && systemctl restart nginx
# Auto-renew weekly
cat > /usr/local/bin/renew-s3-cert.sh << 'EOF'
#!/bin/bash
step ca renew --force \
/etc/ssl/certs/s3.crt \
/etc/ssl/private/s3.key
nginx -s reload
EOF
chmod +x /usr/local/bin/renew-s3-cert.sh
echo "0 3 * * 0 root /usr/local/bin/renew-s3-cert.sh >> /var/log/cert-renew.log 2>&1" \
> /etc/cron.d/s3-cert-renew
Tùy chọn: TLS ngay tại cổng S3 của SeaweedFS ("TLS gốc"). Nginx đã mã hóa phía client; nếu muốn mã hóa cả đoạn Nginx tới gateway hoặc cho client đi thẳng, weed s3 có cờ -port.https, -cert.file, -key.file. Chép cert vào thư mục riêng cho uid 1000 đọc rồi thêm vào service s3 (đoạn dưới chưa chạy thử trên máy thật; weed s3 đọc cert khi khởi động nên sau mỗi lần gia hạn phải docker compose restart s3):
install -d -m 750 -o 1000 -g 1000 /opt/seaweedfs/tls
install -m 640 -o 1000 -g 1000 /etc/ssl/certs/s3.crt /opt/seaweedfs/tls/s3.crt
install -m 640 -o 1000 -g 1000 /etc/ssl/private/s3.key /opt/seaweedfs/tls/s3.key
# Trong docker-compose.yml, service s3: thêm vào command - -port.https=8334 - -cert.file=/etc/seaweedfs/tls/s3.crt - -key.file=/etc/seaweedfs/tls/s3.key
# thêm volume - /opt/seaweedfs/tls:/etc/seaweedfs/tls:ro và (nếu Nginx proxy_pass https://127.0.0.1:8334) ports - "127.0.0.1:8334:8334"
TLS và mTLS giữa master, volume, filer (gRPC/HTTP nội bộ) cấu hình trong security.toml; với một VM, cả ba chỉ nằm trong mạng Docker riêng nên bài không bật. Khi thêm volume server trên VM khác (mục 3.7) thì phải bật, xem mục 3.8.
3.2 Cài AWS CLI và lệnh s3as
Ubuntu 24.04 không có gói apt awscli, nên cài bản v2 từ trình cài đặt chính thức của AWS (AWS công bố chữ ký .sig kèm theo tệp zip để kiểm tra, xem tài liệu cài đặt AWS CLI):
cd /tmp
curl -fsSLO https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip
unzip -q awscli-exe-linux-x86_64.zip
./aws/install
aws --version
# s3as <identity> <lệnh aws ...>: nạp khóa từ /opt/seaweedfs/secrets/<identity>.env rồi gọi aws tới S3 nội bộ
cat > /usr/local/bin/s3as << 'EOF'
#!/bin/bash
# Ví dụ: s3as admin s3 ls s3as loki s3 ls s3://loki (chạy bằng root vì thư mục secrets quyền 700)
id="$1"; shift
set -a; . "/opt/seaweedfs/secrets/${id}.env"; set +a
export AWS_ACCESS_KEY_ID="$S3_ACCESS_KEY" AWS_SECRET_ACCESS_KEY="$S3_SECRET_KEY"
export AWS_DEFAULT_REGION=us-east-1
export AWS_CA_BUNDLE=/usr/local/share/ca-certificates/hoatranlabs-root.crt # AWS CLI không dùng kho CA của hệ thống
# AWS CLI/SDK mới gửi thêm checksum CRC (aws-chunked) mặc định; chỉ tính khi S3 yêu cầu để giảm rủi ro tương thích
export AWS_REQUEST_CHECKSUM_CALCULATION=when_required AWS_RESPONSE_CHECKSUM_VALIDATION=when_required
exec aws --endpoint-url https://s3.hoatranlabs.local "$@"
EOF
chmod 755 /usr/local/bin/s3as
s3as admin s3 ls # chưa có bucket nào: không in gì và không báo lỗi
3.3 Tạo Buckets
Bucket tạo bằng weed shell để gán chủ sở hữu (-owner) trùng tên identity: theo mã nguồn SeaweedFS (s3.bucket.owner), khi dùng IAM của S3 thì người dùng không phải admin chỉ thấy bucket mình sở hữu; bucket tạo bằng weed shell mà không có -owner chỉ admin truy cập được. Một identity chỉ dùng được bucket của mình nhờ các action theo bucket ở s3.json (mục 3.4).
# bucket:chủ-sở-hữu (tên identity trong s3.json)
for pair in harbor-storage:harbor loki:loki velero-backups:velero gitea-lfs:gitea \
artifacts:ci-artifacts tofu-state:tofu nexus-blobs:nexus; do
weedsh "s3.bucket.create -name ${pair%%:*} -owner ${pair##*:}"
done
weedsh "s3.bucket.list"
s3as admin s3 ls
| Bucket | Dịch vụ | Identity | Ghi chú |
|---|---|---|---|
harbor-storage | Harbor (bài 21) | harbor | Layer và blob của registry |
loki | Loki (bài 33, mục 6) | loki | Tên bucket và identity khớp bài 33 |
velero-backups | Velero trên K3s (bài 28) | velero | TTL backup do Velero tự quản |
gitea-lfs | Gitea LFS (bài 22) | gitea | |
artifacts | Gitea Actions / CI | ci-artifacts | Lifecycle xóa sau 90 ngày (mục 3.5) |
tofu-state | OpenTofu state (bài 07) | tofu | Bật versioning (mục 3.5) |
nexus-blobs | Nexus blob store S3 (bài 31) | nexus | Tùy chọn |
3.4 Quyền tối thiểu cho từng dịch vụ
s3.json dùng action theo bucket dạng Hành động:tên-bucket. Bảng ánh xạ hành động S3 sang action của SeaweedFS lấy từ bảng route trong weed/s3api/s3api_server.go tại tag 4.48:
| Action | Cho phép các thao tác S3 |
|---|---|
Read | GetObject, HeadObject, HeadBucket, GetObjectTagging, ListMultipartUploads, ListParts, GetBucketVersioning, GetBucketLifecycle |
Write | PutObject, DeleteObject, DeleteObjects (xóa hàng loạt), CopyObject, Create/Upload/Complete/AbortMultipartUpload, PutBucketVersioning, PutBucketLifecycle |
List | ListObjects / ListObjectsV2 |
Tagging | PutObjectTagging |
Admin | Tạo bucket và các thao tác quản trị trên bucket đó |
Vì vậy mỗi dịch vụ chỉ cần Read, Write, List trên bucket của mình; chỉ nexus thêm Tagging và Admin (Nexus gắn tag và đọc bucket policy, mục 4.5). Identity admin (toàn quyền) chỉ dùng cho thao tác quản trị trong bài, không đưa cho dịch vụ. Kiểm tra ranh giới (mục 5):
s3as harbor s3 ls s3://harbor-storage # được phép (bucket trống thì không in gì)
s3as harbor s3 ls s3://loki # phải báo AccessDenied
Sửa quyền: chỉnh SERVICES trong make-s3-config.py, chạy lại script (giữ khóa cũ) rồi cd /opt/seaweedfs && docker compose restart s3.
s3.json (khai báo, dễ sao lưu). Theo wiki "S3 Credentials", nguồn cấu hình ưu tiên là tệp -config, rồi cấu hình lưu trên filer (do Admin UI và weed shell ghi), rồi biến môi trường; nguồn cao hơn thay thế hoàn toàn nguồn thấp hơn. Hệ quả: khi đã dùng -config, tài khoản tạo trong Admin UI hoặc bằng weed shell không có hiệu lực (cần kiểm lại trên máy thật). Muốn quản lý động thì bỏ cờ -config rồi dùng các lệnh của weed shell bản 4.48: s3.user.create -name <tên>, s3.policy -put -name <policy> -file <policy.json>, s3.policy.attach -policy <policy> -user <tên>, s3.accesskey.create -user <tên>, hoặc gọn hơn s3.user.provision -name <tên> -bucket <bucket> -role readwrite (policy cho readwrite gồm GetObject, PutObject, DeleteObject, ListBucket).
3.5 Versioning, lifecycle và hạn mức bucket
Quy tắc lifecycle do worker thi hành (container worker, theo wiki "S3 Lifecycle"): chạy mỗi ngày theo mặc định, độ trễ xóa có thể tới khoảng một ngày; chỉ hỗ trợ expiration, không có chuyển lớp lưu trữ (transition).
# artifacts: xóa object cũ hơn 90 ngày, dọn upload multipart dang dở sau 7 ngày
cat > /tmp/lc-artifacts.json << 'EOF'
{"Rules":[{"ID":"expire-90d","Status":"Enabled","Filter":{"Prefix":""},
"Expiration":{"Days":90},"AbortIncompleteMultipartUpload":{"DaysAfterInitiation":7}}]}
EOF
s3as admin s3api put-bucket-lifecycle-configuration --bucket artifacts \
--lifecycle-configuration file:///tmp/lc-artifacts.json
# tofu-state: bật versioning để giữ lịch sử state, xóa phiên bản cũ (noncurrent) sau 90 ngày
weedsh "s3.bucket.versioning -name tofu-state -enable"
cat > /tmp/lc-tofu.json << 'EOF'
{"Rules":[{"ID":"noncurrent-90d","Status":"Enabled","Filter":{"Prefix":""},
"NoncurrentVersionExpiration":{"NoncurrentDays":90}}]}
EOF
s3as admin s3api put-bucket-lifecycle-configuration --bucket tofu-state \
--lifecycle-configuration file:///tmp/lc-tofu.json
# Kiểm tra
s3as admin s3api get-bucket-lifecycle-configuration --bucket artifacts
s3as admin s3api get-bucket-versioning --bucket tofu-state
velero-backups không bật versioning vì Velero tự giữ và xóa backup theo TTL (--ttl 720h); harbor-storage và loki do chính ứng dụng quản lý vòng đời object (Harbor garbage collection, Loki retention).
Hạn mức dung lượng cho từng bucket (tùy chọn): đặt quota rồi chạy lệnh thi hành định kỳ, vì lệnh quota chỉ ghi giá trị còn việc chuyển bucket sang chỉ đọc khi vượt hạn mức là lệnh s3.bucket.quota.enforce (không tự chạy):
weedsh "s3.bucket.quota -name loki -op=set -sizeMB=40960" # 40 GiB (đĩa dữ liệu chỉ 100 GiB)
weedsh "s3.bucket.quota.enforce -apply" # mô phỏng nếu bỏ -apply
echo '*/30 * * * * root /usr/local/bin/weedsh "s3.bucket.quota.enforce -apply" >> /var/log/s3-quota.log 2>&1' \
> /etc/cron.d/s3-quota
Quy tắc lifecycle cần worker và cổng gRPC của gateway S3 (4.47 đặt thêm xác thực quản trị nội bộ cho tác vụ xóa này); việc xóa thật sự diễn ra trên VM thật chưa được kiểm. Xác nhận bằng chỉ số SeaweedFS_s3_lifecycle_dispatch_total của worker hoặc chạy tay một lượt trong weed shell: s3.lifecycle.run-shard -shards 0-15 -s3 s3:18333 -refresh 0 (cổng gRPC của S3 là 8333 + 10000, cần kiểm lại trên máy thật).
3.6 Giao diện quản trị (Admin UI)
Admin UI của SeaweedFS (weed admin, cổng nội bộ 23646) quản lý bucket, quota, người dùng và policy, xem topology master/volume/filer, trình duyệt tệp và cấu hình tác vụ nền cho worker. Bảo vệ theo ba lớp:
- Container chỉ publish
127.0.0.1:23646, không ai trong mạng tiếp cận trực tiếp. - Nginx mở cổng 8443 (HTTPS, cert step-CA) và chỉ cho VLAN quản trị 10.11.45.0/24 (mục 2.6, UFW ở mục 5.1).
- Admin UI yêu cầu đăng nhập: user
admin, mật khẩu làADMIN_UI_PASSWORDtrong/opt/seaweedfs/.env. Theo mã nguồnweed admin, khi có mật khẩu thì ứng dụng nghe trên mọi giao diện trong container, còn khi không có mật khẩu mà bind ngoài loopback thì từ chối khởi động; không bao giờ dùng cờ-allowInsecureBind.
grep ADMIN_UI_PASSWORD /opt/seaweedfs/.env # lấy mật khẩu để đăng nhập; lưu vào Vaultwarden (bài 19)
curl -s -o /dev/null -w '%{http_code}\n' --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
https://s3.hoatranlabs.local:8443/ # 200 hoặc 302 sang trang đăng nhập
Mở https://s3.hoatranlabs.local:8443 từ máy trong VLAN 45. Tài khoản chỉ xem: thêm WEED_ADMIN_READONLY_USER và WEED_ADMIN_READONLY_PASSWORD vào environment của service admin. Vì tài khoản S3 do s3.json quyết định (mục 3.4), dùng Admin UI chủ yếu để quan sát dung lượng, bucket, volume và tác vụ nền.
3.7 Dung lượng, nhân bản và erasure coding
Dung lượng và thin provisioning.
| Lớp | Cách hoạt động | Lệnh kiểm tra |
|---|---|---|
Ceph RBD (vm-bulk, HDD) cho dữ liệu; vm-ceph (SSD) cho hệ điều hành và metadata | Đĩa RBD là thin: đĩa dữ liệu 100 GiB chỉ chiếm chỗ khi ghi; discard=on trả chỗ khi VM trim; pool vm-bulk của lab chỉ khoảng 333 GB khả dụng (bài 07, mục 8.4) dùng chung nhiều VM | rbd du -p vm-bulk trên node; fstrim -av trong VM |
ext4 trên /srv/seaweedfs/volume | Hệ tệp của đĩa dữ liệu, chứa các tệp volume SeaweedFS; metadata filer ở /srv/seaweedfs/filer trên đĩa hệ điều hành | df -h /srv/seaweedfs/volume /srv/seaweedfs/filer |
| Volume SeaweedFS | Tệp .dat tối đa 1 GB, tạo khi cần; -max=0 = đĩa trống / 1 GB; dưới -minFreeSpace=5 (%) thì chỉ đọc | weedsh "volume.list" |
| Dọn rác | Object xóa chỉ đánh dấu; master chạy vacuum định kỳ (mặc định 840 giây, ngưỡng rác 0,3) | Admin UI → tác vụ vacuum |
Mở rộng khi đầy: trên node1 qm resize 268 scsi1 +50G (kiểm pvesm status xem vm-bulk còn chỗ thật không); trong VM resize2fs /dev/sdb (ext4 trực tiếp trên đĩa, không có phân vùng, mở rộng online được); rồi cd /opt/seaweedfs && docker compose restart volume để volume server tính lại số volume tối đa theo -max=0 (cần kiểm lại có tự cập nhật không). Wiki "S3 API" còn gợi ý khi có rất nhiều bucket trên đĩa nhỏ: weedsh "fs.configure -locationPrefix=/buckets/ -volumeGrowthCount=1 -apply" để mỗi bucket chỉ tạo 1 volume ban đầu thay vì nhiều volume.
Nhân bản (defaultReplication). Chuỗi XYZ: X = số bản ở data center khác, Y = ở rack khác, Z = ở server khác cùng rack. Bài đặt 000 (một bản): VM chỉ có một volume server nên 001/010 không thể thực hiện (ghi sẽ thất bại vì không đủ nơi đặt bản sao), còn độ bền dữ liệu ở tầng đĩa do Ceph vm-bulk đảm nhiệm (nhân bản size 3 theo bài 07, mục 8.4). Khi cần chịu được mất cả VM: thêm hai VM volume-only ở VLAN 85 trên node2 và node3, mỗi VM chạy một container volume với -master=10.11.85.10:9333 -dataCenter=site1 -rack=rack2 (và rack3), đổi master sang -defaultReplication=010 (một bản ở rack khác) rồi chạy weedsh "volume.fix.replication"; bản sao không tự sửa mà phải chạy lệnh này. Để volume server ở VM khác nói chuyện được với master, phải publish cổng 9333/19333 (master) ra IP 10.11.85.10, nên đi kèm luật DOCKER-USER/mạng riêng hoặc security.toml (mục 3.8); đây chỉ là hướng mở rộng, chưa chạy thử.
Erasure coding. SeaweedFS mã hóa Reed-Solomon 10+4 (14 shard, tốn khoảng 1,4 lần dung lượng) cho volume đã đầy và "nguội": mặc định worker xét volume đầy từ 80%, im lặng 300 giây, từ 30 MB. Wiki ghi: dưới 4 server thì EC chỉ chống hỏng ổ đĩa, từ 4 server trở lên mới chống hỏng server. Với một volume server, EC không có ý nghĩa; chỉ bật khi đã có từ 4 volume server. Có thể tắt tác vụ erasure_coding trong Admin UI nếu muốn chắc chắn.
3.8 Bảo mật nội bộ giữa các thành phần (tùy chọn)
Trong mạng Docker riêng của một VM, các cổng master/volume/filer không publish ra ngoài nên bài chấp nhận HTTP nội bộ. Khi thêm volume server trên VM khác hoặc publish cổng nội bộ ra mạng, bật các lớp sau theo wiki "Security Configuration" (mặc định đọc security.toml ở thư mục hiện tại, ~/.seaweedfs/ hoặc /etc/seaweedfs/; mẫu sinh bằng docker run --rm chrislusf/seaweedfs:4.48 scaffold -config=security):
-
[jwt.signing] key: master ký JWT, volume server kiểm trước khi ghi (biến môi trường tương đươngWEED_JWT_SIGNING_KEY, đặt cho master và volume). -
[jwt.filer_signing] key: filer chỉ nhận ghi HTTP đã ký; cổng S3 sinh token (biếnWEED_JWT_FILER_SIGNING_KEY). Khóa này cũng là khóa ký dự phòng của STS. -
[grpc]và[https.*]: mTLS giữa các thành phần; chứng chỉ cần có cảserverAuthlẫnclientAuth, wiki dùngcertstrapnhưng có thể cấp từ step-CA (bài 13) với CA trung gian riêng cho cụm. -
[guard] white_listgiới hạn IP được ghi.
Các khóa JWT sinh bằng openssl rand -hex 32 và để trong .env quyền 600 như mật khẩu Admin UI.
Kết nối các dịch vụ
Harbor (bài 21) · Gitea LFS (bài 22) · Loki (bài 33, mục 6)
Khóa của từng dịch vụ nằm ở /opt/seaweedfs/secrets/<identity>.env trên VM268 (S3_ACCESS_KEY, S3_SECRET_KEY); chép sang VM đích bằng scp hoặc dán vào tệp môi trường của dịch vụ đó (quyền 600), không ghi vào tệp cấu hình được commit hay sao lưu rộng. Mọi dịch vụ gọi https://s3.hoatranlabs.local (cert step-CA nên cần tin cậy root CA của lab) và phải dùng path-style (https://s3.hoatranlabs.local/<bucket>/<object>) vì lab không có DNS wildcard cho <bucket>.s3.hoatranlabs.local; khi Pi-hole chỉ có bản ghi s3, kiểu virtual-hosted sẽ không phân giải được. Region là giá trị tùy ý (dùng us-east-1); SeaweedFS không dùng region thật.
Kết quả đối chiếu tương thích (bằng tài liệu, mã nguồn và issue; ngày 2026-10-16; chưa chạy thử trên máy thật, mọi dòng đều cần kiểm lại sau khi triển khai):
| Dịch vụ | Cách dùng S3 | Đã đối chiếu | Kết luận |
|---|---|---|---|
| Loki 3.7.8 (bài 33) | AWS SDK v2; s3forcepathstyle, khóa trong tệp env | Issue grafana/loki#24206: lỗi aws-chunked ở 3.6.11–3.6.15 và 3.7.0–3.7.6, vá từ 3.7.7; SeaweedFS 4.48 có xử lý STREAMING-UNSIGNED-PAYLOAD-TRAILER và kiểm checksum trailer (mã chunked_reader_v4.go) | Tương thích theo tài liệu; xem log docker logs loki ngay sau khi đổi sang S3 |
| Harbor 2.15.4 (bài 21) | Driver S3 của registry (Distribution) | Wiki SeaweedFS "Docker Image Registry with SeaweedFS" có cấu hình mẫu; prepare của Harbor chép nguyên các khóa trong storage_service.s3 sang cấu hình registry | Tương thích theo tài liệu; thử đẩy và kéo image nhiều GB |
| Velero 1.18.4 + plugin AWS 1.14.4 (bài 28) | s3ForcePathStyle, s3Url, --cacert, checksumAlgorithm | README plugin: bảng "known issues" cho plugin dùng aws-sdk-go-v2 không liệt kê SeaweedFS (liệt kê Ceph, Backblaze B2…); khuyến nghị checksumAlgorithm="" cho S3 bên thứ ba | Dùng checksumAlgorithm="" làm cấu hình an toàn; bỏ nếu chạy tốt |
| Gitea 28.1.0 (bài 22) | Client minio-go: STORAGE_TYPE=minio | Config cheat sheet: MINIO_BUCKET_LOOKUP_TYPE (path), MINIO_USE_SSL; không có issue riêng về SeaweedFS | Tương thích theo tài liệu |
| Nexus 3.96.4 (bài 31) | Blob store S3: ô Endpoint URL và "Use path-style access" | Sonatype ghi các ô đó dành cho S3 bên thứ ba nhưng chỉ khuyến nghị S3 khi Nexus chạy trên EC2 trong AWS; cần quyền tagging, đọc bucket policy, xóa hàng loạt | Tùy chọn, không khuyến nghị làm mặc định; giữ blob store file của bài 31 |
| OpenTofu 1.13.1 (bài 07) | Backend s3 với endpoint tùy chỉnh | Tài liệu OpenTofu có use_path_style, skip_*, skip_s3_checksum, use_lockfile; khóa native cần ghi có điều kiện If-None-Match, chưa xác minh SeaweedFS hỗ trợ | State dùng được; khóa use_lockfile cần thử |
4.1 Harbor (bài 21)
# Trên Harbor (VM239, harbor.hoatranlabs.local)
# Harbor cấu hình storage backend trong /opt/harbor/harbor.yml (bài 21, mục 4.2),
# không có màn hình cấu hình storage trong Web UI. Bỏ dấu # (hoặc thêm) khối sau, chỉ giữ MỘT nhà cung cấp (s3, xóa filesystem):
#
# storage_service:
# ca_bundle: /usr/local/share/ca-certificates/hoatranlabs-root.crt # root CA step-CA (quyền đọc cho mọi user)
# s3:
# accesskey: [S3_ACCESS_KEY của identity harbor]
# secretkey: [S3_SECRET_KEY của identity harbor]
# region: us-east-1 # SeaweedFS không dùng region thật, giá trị tùy ý
# regionendpoint: https://s3.hoatranlabs.local
# bucket: harbor-storage
# secure: true
# v4auth: true
# forcepathstyle: true
# rootdirectory: /
# redirect:
# disable: true # registry tự đọc blob từ S3 rồi trả cho client
#
# - Khi đặt regionendpoint, driver S3 của Distribution cần path-style (tài liệu Distribution v3: bắt buộc
# forcepathstyle: true); `prepare` của Harbor ghi mọi khóa trong khối s3 vào cấu hình registry nên thêm được khóa này.
# - redirect.disable: true để client (Docker host, K3s ở VLAN 65) chỉ nói chuyện với Harbor, không bị chuyển
# hướng thẳng tới s3.hoatranlabs.local ở VLAN 85 (mặc định registry redirect client sang storage backend).
# - Dữ liệu image đã có trong /data/registry không tự chuyển sang S3: áp dụng khi Harbor còn trống,
# hoặc sao chép dữ liệu cũ vào bucket trước khi chuyển.
# Áp dụng cấu hình mới:
cd /opt/harbor && docker compose down && ./prepare --with-trivy && docker compose up -d
Kiểm tra: docker push một image có layer lớn (vài trăm MB), rồi trên VM268 s3as harbor s3 ls s3://harbor-storage --recursive | head.
4.2 Gitea LFS (bài 22)
# Trên Gitea (VM240): Gitea chạy bằng Docker Compose và cấu hình qua biến môi trường
# GITEA__<section>__<KEY> (bài 22), không có /etc/gitea/app.ini trên host.
# Đặt khóa vào tệp /opt/gitea/.env (quyền 600): S3_LFS_ACCESS_KEY=... và S3_LFS_SECRET_KEY=... (khóa identity gitea)
# Thêm vào mục environment của service `gitea` trong /opt/gitea/docker-compose.yml:
# GITEA__server__LFS_START_SERVER: "true" # bật LFS nếu bài 22 chưa bật
# GITEA__lfs__STORAGE_TYPE: minio # "minio" là tên client S3 của Gitea (dùng cho mọi S3-compatible)
# GITEA__lfs__SERVE_DIRECT: "false"
# GITEA__lfs__MINIO_ENDPOINT: s3.hoatranlabs.local
# GITEA__lfs__MINIO_ACCESS_KEY_ID: ${S3_LFS_ACCESS_KEY}
# GITEA__lfs__MINIO_SECRET_ACCESS_KEY: ${S3_LFS_SECRET_KEY}
# GITEA__lfs__MINIO_BUCKET: gitea-lfs
# GITEA__lfs__MINIO_LOCATION: us-east-1
# GITEA__lfs__MINIO_USE_SSL: "true"
# GITEA__lfs__MINIO_BUCKET_LOOKUP_TYPE: path # path-style (mặc định "auto")
# Gitea gọi S3 qua HTTPS (cert step-CA) nên container gitea phải tin cậy root CA: thêm vào mục volumes
# của service `gitea` (file root CA đã có trên VM240 từ bài 22):
# - /usr/local/share/ca-certificates/hoatranlabs-root.crt:/etc/ssl/certs/hoatranlabs-root.crt:ro
# (Không dùng GITEA__lfs__MINIO_INSECURE_SKIP_VERIFY để bỏ qua kiểm tra chứng chỉ.)
# Sau đó áp dụng:
cd /opt/gitea && docker compose up -d gitea
Nếu git lfs push lỗi liên quan checksum, thử thêm GITEA__lfs__MINIO_CHECKSUM_ALGORITHM: md5 (tùy chọn có trong các bản Gitea gần đây, dành cho S3 không hỗ trợ header checksum mới; cần kiểm lại với Gitea 28.1.0). Kiểm tra: s3as gitea s3 ls s3://gitea-lfs --recursive sau khi đẩy một tệp LFS.
4.3 Loki (bài 33, mục 6)
Bài 33 đã mô tả đầy đủ phần cấu hình Loki (khóa nằm trong tệp env, -config.expand-env=true, tin cậy root CA qua file đã mount). Phần việc ở bài này đã có: bucket loki (mục 3.3) và identity loki chỉ có quyền trên bucket đó. Lấy khóa:
cat /opt/seaweedfs/secrets/loki.env
# S3_ACCESS_KEY -> LOKI_S3_ACCESS_KEY, S3_SECRET_KEY -> LOKI_S3_SECRET_KEY trong /opt/loki/loki.env trên VM235
Điểm khớp với bài 33: endpoint s3.hoatranlabs.local (cổng 443, không cần ghi cổng), s3forcepathstyle: true, insecure: false, bucket loki. Cách liệt kê đối tượng sau vài phút: s3as loki s3 ls s3://loki --recursive | head. Loki phải từ 3.7.7 trở lên (bài 33 ghim 3.7.8).
4.4 Velero — backup K3s lên SeaweedFS (bài 28)
# Trên máy admin có kubectl tới K3s (bài 28): cài Velero CLI 1.18.4
VELERO_VERSION=v1.18.4
wget https://github.com/vmware-tanzu/velero/releases/download/$VELERO_VERSION/velero-$VELERO_VERSION-linux-amd64.tar.gz
tar -xzf velero-$VELERO_VERSION-linux-amd64.tar.gz
install -m 0755 velero-$VELERO_VERSION-linux-amd64/velero /usr/local/bin/velero
# Tạo credentials file (khóa identity velero)
install -m 600 /dev/null /tmp/velero-credentials
cat > /tmp/velero-credentials << 'EOF'
[default]
aws_access_key_id=[S3_ACCESS_KEY của identity velero]
aws_secret_access_key=[S3_SECRET_KEY của identity velero]
EOF
# Cài Velero vào K3s cluster
# --cacert: Velero tin cậy root CA của lab khi gọi https://s3.hoatranlabs.local
# checksumAlgorithm= (rỗng): theo README plugin, tắt checksum CRC của SDK v2 cho S3 bên thứ ba;
# bỏ giá trị này nếu muốn thử cấu hình mặc định
# --use-volume-snapshots=false: K3s dùng local-path, không có snapshot kiểu đám mây; dữ liệu PV nhờ node agent
velero install \
--provider aws \
--plugins velero/velero-plugin-for-aws:v1.14.4 \
--bucket velero-backups \
--secret-file /tmp/velero-credentials \
--cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
--backup-location-config 'region=us-east-1,s3ForcePathStyle=true,s3Url=https://s3.hoatranlabs.local,checksumAlgorithm=' \
--use-volume-snapshots=false \
--use-node-agent \
--wait
# Shred credentials file sau khi dùng
shred -u /tmp/velero-credentials
# BackupStorageLocation phải ở trạng thái Available
velero backup-location get
# Tạo schedule backup hàng ngày
velero schedule create daily-k3s-backup \
--schedule="0 1 * * *" \
--ttl 720h # Giữ 30 ngày
velero schedule get
Nút K3s phân giải s3.hoatranlabs.local qua Pi-hole (bài 28); pod Velero cần ra được VLAN 85 cổng 443 (FortiGate cho phép VLAN 65 sang 10.11.85.10:443). Muốn sao lưu dữ liệu PV thì thêm --default-volumes-to-fs-backup (kopia qua node agent; K3s dùng thư mục kubelet mặc định, cần kiểm lại). Ma trận phiên bản: plugin 1.14.x đi với Velero 1.18.x; Velero 1.18 kiểm trên Kubernetes 1.33–1.35 còn K3s của lab là v1.36.5, nên cần kiểm lại trên máy thật.
4.5 Nexus blob store S3 (bài 31) — tùy chọn
Sonatype nêu rằng S3 blob store phù hợp khi Nexus chạy trên EC2 trong AWS (độ trễ khi truy cập từ mạng khác); lab giữ blob store file mặc định của bài 31 làm cấu hình chuẩn. Nếu vẫn muốn thử S3 làm blob store (ví dụ để lưu bản dài hạn), tạo trong Nexus: Administration → Repository → Blob Stores → Create blob store → Type: S3:
| Ô | Giá trị |
|---|---|
| Name | s3-blobs |
| Region | us-east-1 (giá trị tùy ý) |
| Bucket | nexus-blobs |
| Authentication | Access Key ID và Secret Access Key của identity nexus |
| Advanced Connection Settings → Endpoint URL | https://s3.hoatranlabs.local |
| Advanced Connection Settings → Use path-style access | bật |
Nexus (JVM) phải tin cậy root CA của lab: nạp chứng chỉ trong Administration → Security → SSL Certificates hoặc thêm CA vào truststore Java của container (cần kiểm lại cách Nexus 3.96 dùng truststore cho kết nối S3). Quyền của identity nexus gồm Read, Write, List, Tagging và Admin trên bucket nexus-blobs; nếu Nexus báo AccessDenied khi đọc bucket policy thì quyền Admin:nexus-blobs đã đủ cho bucket đó (chưa kiểm trên máy thật).
4.6 OpenTofu state backend (bài 07) — tùy chọn
# backend.tf trên ops01 (VM290). Khóa: export AWS_ACCESS_KEY_ID / AWS_SECRET_ACCESS_KEY từ identity "tofu";
# CA: export AWS_CA_BUNDLE=/usr/local/share/ca-certificates/hoatranlabs-root.crt
terraform {
backend "s3" {
bucket = "tofu-state"
key = "lab/terraform.tfstate"
region = "us-east-1"
endpoints = {
s3 = "https://s3.hoatranlabs.local"
}
use_path_style = true
skip_credentials_validation = true
skip_requesting_account_id = true
skip_metadata_api_check = true
skip_region_validation = true
skip_s3_checksum = true
# use_lockfile = true # khóa native cần ghi có điều kiện (If-None-Match); thử trên SeaweedFS trước khi bật
}
}
Chạy tofu init -migrate-state để chuyển state từ đĩa cục bộ. Bucket tofu-state đã bật versioning (mục 3.5) nên giữ được lịch sử state.
Tích hợp với hạ tầng
Pi-hole DNS và tường lửa · Prometheus Monitoring · PBS Backup
5.1 Pi-hole DNS và tường lửa
# Chỉ MỘT bản ghi: bài 12 đã có s3.hoatranlabs.local -> 10.11.85.10 (bảng VLAN_STORAGE / script add_dns_records.sh).
# Nếu chưa có, thêm trong Pi-hole Admin (http://10.11.45.53/admin) → Settings → Local DNS Records:
s3.hoatranlabs.local → 10.11.85.10
Tường lửa trên VM268 (UFW). Docker chỉ publish 127.0.0.1 nên UFW kiểm soát được các cổng còn lại; VLAN 45/65 → VLAN 85 cũng cần được FortiGate cho phép:
ufw default deny incoming
ufw default allow outgoing
ufw allow from 10.11.45.0/24 to any port 22 proto tcp comment 'SSH MGMT'
ufw allow from 10.11.45.0/24 to any port 80 proto tcp comment 'S3 redirect'
ufw allow from 10.11.45.0/24 to any port 8443 proto tcp comment 'Admin UI'
ufw allow from 10.11.45.35 to any port 9100 proto tcp comment 'node_exporter (Prometheus)'
# Cổng 443 (S3 API): chỉ các máy khách của dịch vụ
for ip in 10.11.45.35 10.11.45.39 10.11.45.40 10.11.45.20 \
10.11.65.60 10.11.65.61 10.11.65.62 10.11.65.63 10.11.65.64 10.11.65.65 10.11.65.67; do
ufw allow from "$ip" to any port 443 proto tcp comment 'S3 client'
done
ufw --force enable
ufw status numbered
Các IP trên: Prometheus/Loki VM235, Harbor VM239, Gitea VM240, ops01 VM290, sáu node K3s (bài 28), Nexus VM267.
5.2 Prometheus Monitoring
Mỗi thành phần SeaweedFS có cổng metrics riêng (cờ -metricsPort), đã gom sau Nginx dưới https://s3.hoatranlabs.local/_metrics/<thành phần> và chỉ cho Prometheus (VM235) đọc. Job s3 là cổng S3, bốn job còn lại cho master, volume, filer, worker (tên bucket S3 không thể bắt đầu bằng dấu _ nên đường dẫn này không đụng bucket nào).
# SSH vào VM235 (Prometheus): ssh [email protected]
# - Các cổng metrics chỉ bind 127.0.0.1 trên VM268 nên Prometheus scrape qua Nginx HTTPS
# tại s3.hoatranlabs.local:443 (cert step-CA có SAN s3.hoatranlabs.local).
# - ca_file là đường dẫn TRONG container Prometheus: compose bài 15 đã mount root CA của host
# (/usr/local/share/ca-certificates/hoatranlabs-root.crt) vào /etc/prometheus/certs/hoatranlabs-root.crt.
# - Thêm job vào cuối file (mục scrape_configs là mục cuối của prometheus.yml ở bài 15).
cat >> /opt/prometheus/prometheus.yml << 'EOF'
- job_name: 's3'
metrics_path: /_metrics/s3
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
static_configs:
- targets: ['s3.hoatranlabs.local:443']
- job_name: 's3-master'
metrics_path: /_metrics/master
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
static_configs:
- targets: ['s3.hoatranlabs.local:443']
- job_name: 's3-volume'
metrics_path: /_metrics/volume
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
static_configs:
- targets: ['s3.hoatranlabs.local:443']
- job_name: 's3-filer'
metrics_path: /_metrics/filer
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
static_configs:
- targets: ['s3.hoatranlabs.local:443']
- job_name: 's3-worker'
metrics_path: /_metrics/worker
scheme: https
tls_config:
ca_file: /etc/prometheus/certs/hoatranlabs-root.crt
static_configs:
- targets: ['s3.hoatranlabs.local:443']
EOF
curl -X POST http://10.11.45.35:9090/-/reload
Chỉ số chính (tên theo mã nguồn weed/stats/metrics.go tại 4.48): SeaweedFS_s3_request_total, SeaweedFS_s3_request_seconds, SeaweedFS_s3_bucket_size_bytes, SeaweedFS_volumeServer_total_disk_size, SeaweedFS_master_is_leader. Cảnh báo gợi ý: up{job=~"s3.*"} == 0; dung lượng /srv/seaweedfs/volume (node_exporter, job node của bài 15 đã có 10.11.85.10:9100) dưới 15% trống.
Dashboard Grafana (VM236, http://10.11.45.36:3000): import dashboard 10423 (SeaweedFS) từ grafana.com hoặc tệp other/metrics/grafana_seaweedfs.json trong kho SeaweedFS; chọn datasource Prometheus. Dashboard cũ nên truy vấn có thể cần chỉnh theo tên job s3-* (cần kiểm lại).
5.3 PBS Backup
# Cài proxmox-backup-client (bản liên kết tĩnh) từ repository client-only công khai của Proxmox.
# Suite trixie của repo pbs-client có gói proxmox-backup-client-static (chỉ phụ thuộc qrencode), không phụ thuộc
# glibc của Ubuntu 24.04; lệnh sử dụng vẫn là proxmox-backup-client. Nguồn dạng deb822 + Signed-By (không dùng apt-key).
# Chạy trên Ubuntu 24.04 (noble): cần kiểm lại trên máy thật.
wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg \
-O /usr/share/keyrings/proxmox-archive-keyring.gpg
cat > /etc/apt/sources.list.d/pbs-client.sources << 'EOF'
Types: deb
URIs: http://download.proxmox.com/debian/pbs-client
Suites: trixie
Components: main
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
EOF
apt update && apt install -y proxmox-backup-client-static
# Script backup — cấu hình, khóa và bản xuất metadata của filer; KHÔNG sao lưu dữ liệu volume
# Dữ liệu bucket nằm trên đĩa scsi1 và được job vzdump của PVE (storage pbs-primary, bài 04) sao lưu cùng VM
cat > /usr/local/bin/seaweedfs-backup.sh << 'EOF'
#!/bin/bash
set -e
# Xuất toàn bộ metadata của filer (cây thư mục, bucket) vào /opt/seaweedfs/backup (filer mount thư mục này là /backup)
echo 'fs.meta.save -o /backup/filer-meta.gz /' | docker exec -i seaweed-filer weed shell -master=master:9333 -filer=filer:8888
# Backup file-level từ trong VM: API token vm-backup@pbs!s3 + namespace vm-s3
# (tạo theo bài 04, mục 5.7); PBS_PASSWORD là secret của token đó
export PBS_PASSWORD="<TOKEN_SECRET>"
# /opt/seaweedfs chứa compose, .env, s3.json, secrets/ và backup/; dữ liệu volume nằm ở /srv/seaweedfs/volume nên không nằm trong archive
proxmox-backup-client backup \
"seaweedfs-config.pxar:/opt/seaweedfs" \
--repository "vm-backup@[email protected]:syno-primary" \
--ns vm-s3
EOF
chmod +x /usr/local/bin/seaweedfs-backup.sh
echo "0 4 * * 0 root /usr/local/bin/seaweedfs-backup.sh >> /var/log/seaweedfs-backup.log 2>&1" \
> /etc/cron.d/seaweedfs-backup
Lưu ý: tệp secrets/*.env, s3.json và .env nằm trong archive PBS (kho syno-primary do lab kiểm soát); ai có quyền đọc namespace vm-s3 đọc được khóa S3. Bản xuất metadata chỉ có ích khi kèm dữ liệu volume: khôi phục đầy đủ dựa vào backup vzdump của VM268 (cả hai đĩa); backup trong VM dùng để lấy lại cấu hình, khóa và metadata nhanh, và fs.meta.load nạp lại metadata vào filer mới.
Loại đĩa dữ liệu khỏi job vzdump nếu dữ liệu có thể tạo lại (ví dụ chỉ dùng cho log Loki): trên node1 đặt backup=0 cho scsi1 (xem volume hiện tại bằng qm config 268); khi đó việc bảo vệ dữ liệu bucket thuộc từng dịch vụ.
5.4 Gia hạn chứng chỉ và nâng cấp
Cert gia hạn hằng tuần bằng cron ở mục 3.1. Nâng cấp SeaweedFS (đổi tag, quay lại bản cũ khi lỗi):
cd /opt/seaweedfs
/usr/local/bin/seaweedfs-backup.sh # sao lưu trước
# Đọc ghi chú phát hành trên https://github.com/seaweedfs/seaweedfs/releases (đặc biệt phần S3 và bảo mật)
sed -i 's|chrislusf/seaweedfs:4.48|chrislusf/seaweedfs:<BẢN_MỚI>|' docker-compose.yml
docker compose pull
docker compose up -d
docker compose ps
Các bản 4.45–4.48 có thay đổi hành vi S3 đáng lưu ý: 4.45 từ chối truy cập ẩn danh khi không nạp được identity nào, 4.47 đánh giá aws:SourceIp theo địa chỉ TCP trực tiếp (sau Nginx là 127.0.0.1) và đóng chuỗi chính sách thất bại khi gặp toán tử điều kiện chưa hỗ trợ, 4.48 yêu cầu quyền riêng cho thao tác Object Lock. Quay lại bản cũ: đặt lại tag cũ rồi docker compose up -d (định dạng dữ liệu volume giữ ổn định giữa các bản nhỏ; cần kiểm lại với bản đổi lớn).
Kiểm tra & Xác minh
# 1. Các container healthy
cd /opt/seaweedfs
docker compose ps
# Expected: master, volume, filer, s3 (healthy); admin, worker (running)
# 2. Topology cụm
weedsh "cluster.ps" "volume.list"
# Expected: 1 master, 1 volume server (site1/rack1) với số volume tối đa > 0, 1 filer, 1 S3
# 3. Kiểm tra TLS certificate
echo | openssl s_client -connect s3.hoatranlabs.local:443 \
-servername s3.hoatranlabs.local 2>/dev/null \
| openssl x509 -noout -subject -dates -ext subjectAltName
# Expected: CN=s3.hoatranlabs.local, SAN gồm s3 và 10.11.85.10
# 4. Kiểm tra tất cả buckets
s3as admin s3 ls
# Expected: harbor-storage, loki, velero-backups, gitea-lfs, artifacts, tofu-state, nexus-blobs
# 5. Test upload/download bằng identity của dịch vụ
echo "SeaweedFS test $(date)" > /tmp/test-object.txt
s3as ci-artifacts s3 cp /tmp/test-object.txt s3://artifacts/test-object.txt
s3as ci-artifacts s3 cp s3://artifacts/test-object.txt -
s3as ci-artifacts s3 rm s3://artifacts/test-object.txt
# Expected: tất cả thành công
# 6. Ranh giới quyền: identity này không được chạm bucket của identity khác
s3as harbor s3 ls s3://loki
# Expected: AccessDenied
# 7. Upload object lớn (multipart) để thử Nginx không đệm và không giới hạn kích thước
dd if=/dev/urandom of=/tmp/big.bin bs=1M count=200
s3as ci-artifacts s3 cp /tmp/big.bin s3://artifacts/big.bin
s3as ci-artifacts s3 rm s3://artifacts/big.bin
rm -f /tmp/big.bin
# Expected: không lỗi SignatureDoesNotMatch hay 413
# 8. Prometheus metrics (chỉ VM235 và 127.0.0.1 được đọc)
curl -s --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
https://s3.hoatranlabs.local/_metrics/s3 | grep -m3 SeaweedFS_s3
# Expected: SeaweedFS_s3_request_total ...; từ máy khác VM235 trả 403
# 9. Admin UI HTTPS (từ máy VLAN 45)
curl -s -o /dev/null -w '%{http_code}\n' --cacert /usr/local/share/ca-certificates/hoatranlabs-root.crt \
https://s3.hoatranlabs.local:8443/
# Expected: 200 hoặc 302; từ VLAN khác trả 403
# 10. Dữ liệu còn nguyên sau khi khởi động lại
docker compose restart
sleep 40 && docker compose ps && s3as admin s3 ls
# 11. Velero backup test (nếu đã cài)
velero backup create test-backup --ttl 1h --wait
velero backup describe test-backup
# Expected: Phase: Completed
velero backup delete test-backup --confirm
# 12. Dung lượng và volume
df -h /srv/seaweedfs/volume /srv/seaweedfs/filer
weedsh "volume.list" | grep -c "volume id"
Troubleshooting
| Vấn đề | Nguyên nhân | Giải pháp |
|---|---|---|
Container s3 lỗi ngay khi khởi động, báo không đọc được cấu hình | s3.json chưa tạo (Docker tạo thư mục rỗng thay file) hoặc sai quyền | Chạy lại make-s3-config.py (mục 2.3), kiểm ls -l /opt/seaweedfs/s3/s3.json là file, 1000:1000, quyền 600; xóa thư mục giả nếu có rồi docker compose up -d s3 |
docker compose ps thấy volume không healthy | Master chưa sẵn sàng, hoặc thư mục dữ liệu sai quyền | docker compose logs volume; chown -R 1000:1000 /srv/seaweedfs; kiểm df -h /srv/seaweedfs/volume đã mount đúng đĩa HDD (nếu chưa mount, chattr +i chặn ghi nhầm và volume không khởi động được) |
| Ghi báo "No writable volumes" hoặc không gán được vị trí | Đĩa dưới ngưỡng -minFreeSpace (volume chỉ đọc), hoặc -max đã hết | weedsh "volume.list"; mở rộng đĩa (mục 3.7) rồi docker compose restart volume; xóa dữ liệu thừa |
S3 API trả SignatureDoesNotMatch | Nginx không chuyển đúng Host, -externalUrl sai, hoặc đồng hồ lệch | So proxy_set_header Host $http_host và -externalUrl=https://s3.hoatranlabs.local; đồng bộ giờ: timedatectl set-ntp true; systemctl restart systemd-timesyncd, kiểm timedatectl timesync-status |
AccessDenied với dịch vụ | Thiếu action trên bucket hoặc bucket sai chủ | Xem identity trong s3.json; sửa SERVICES rồi chạy lại script và docker compose restart s3 (sửa s3.json không tự nạp); weedsh "s3.bucket.owner -name <bucket>" |
NoSuchBucket khi client dùng bucket.s3.hoatranlabs.local | Client dùng virtual-hosted style, lab không có DNS wildcard | Bật path-style ở client (mục 4: s3forcepathstyle, forcepathstyle, use_path_style, MINIO_BUCKET_LOOKUP_TYPE=path) |
| Nginx 502 / 504 khi upload lớn | Gateway S3 chưa chạy hoặc timeout ngắn | docker compose ps; kiểm proxy_read_timeout 900, client_max_body_size 0, proxy_request_buffering off |
| Loki báo lỗi 501/400 hoặc dữ liệu hỏng khi dùng S3 | Loki 3.6.11–3.6.15 hoặc 3.7.0–3.7.6 gửi checksum aws-chunked | Dùng Loki 3.7.7 trở lên (bài 33 ghim 3.7.8); xem docker logs loki |
| Harbor push lỗi x509 hoặc lỗi kết nối S3 | Registry không tin root CA, hoặc thiếu path-style | storage_service.ca_bundle trỏ hoatranlabs-root.crt (quyền đọc cho mọi user), thêm forcepathstyle: true, chạy lại ./prepare --with-trivy |
Velero backup fail, XAmzContentSHA256Mismatch hoặc lỗi tải/upload | Checksum SDK v2 hoặc thiếu path-style | BSL cần s3ForcePathStyle=true và checksumAlgorithm="": kubectl -n velero describe backupstoragelocation; xem velero backup logs <tên> |
| Gitea LFS lỗi 500 khi push | Container không tin CA, hoặc lookup/checksum | Kiểm volume mount root CA, MINIO_BUCKET_LOOKUP_TYPE=path; thử MINIO_CHECKSUM_ALGORITHM=md5; xem docker compose logs gitea |
| Nexus S3 blob store lỗi PKIX hoặc AccessDenied | Truststore Java thiếu CA, hoặc thiếu quyền bucket policy/tagging | Nạp root CA vào truststore của Nexus; cấp Tagging và Admin trên nexus-blobs (mục 3.4) |
| Admin UI không vào được | Thiếu ADMIN_UI_PASSWORD, container admin lỗi, hoặc IP không thuộc VLAN 45 | docker compose logs admin; allow 10.11.45.0/24 trong Nginx; UFW cổng 8443 |
Prometheus /_metrics/* trả 403 | IP nguồn không phải 10.11.45.35 | Sửa allow trong Nginx, nginx -s reload; xem Prometheus Targets |
| Lifecycle không xóa object | Worker không chạy hoặc chưa tới chu kỳ (mặc định chạy mỗi ngày) | docker compose ps worker; Admin UI → plugin s3_lifecycle; chạy tay s3.lifecycle.run-shard (mục 3.5) |
| Cổng bị lộ ra LAN dù UFW chặn | ports: thiếu 127.0.0.1: nên Docker mở cổng đi vòng UFW | Sửa compose cho mọi cổng chỉ bind loopback, docker compose up -d; kiểm ss -tlnp |
| Đầy đĩa dữ liệu | Hết chỗ trên scsi1 hoặc rác chưa vacuum | df -h /srv/seaweedfs/volume; kiểm lifecycle/quota; mở rộng: qm resize 268 scsi1 +50G rồi resize2fs /dev/sdb và docker compose restart volume |
| Từ máy admin gọi S3 báo timeout | Routing VLAN 85 / FortiGate / UFW | Kiểm route tới 10.11.85.10, chính sách FortiGate VLAN 45/65 → 10.11.85.10:443 và luật UFW (mục 5.1) |
Checklist triển khai
- VM 268 tạo thành công trên VLAN_STORAGE (tag=85) với hai đĩa:
scsi020 GiB (SSDvm-ceph) vàscsi1100 GiB (HDDvm-bulk), qemu-agent chạy - Ubuntu Server 24.04.5 LTS cài đặt, update, static IP 10.11.85.10 hoạt động (không còn
50-cloud-init.yamlDHCP), hostnames3 - Docker Engine và Docker Compose Plugin cài thành công từ repo
download.docker.comsuitenoble - Đĩa dữ liệu ext4 mount ở
/srv/seaweedfs/volume(fstab theo UUID, thư mục gốc đãchattr +i), các thư mục còn lại trên đĩa hệ điều hành, tất cả thuộc UID 1000 -
s3.jsonvàsecrets/*.envtạo xong, quyền 600;.envcóADMIN_UI_PASSWORD - Compose ghim
chrislusf/seaweedfs:4.48;master,volume,filer,s3healthy;admin,workerchạy - Mọi cổng publish chỉ bind
127.0.0.1; master dùng-telemetry=false - TLS certificate từ step-CA với SAN: s3 + 10.11.85.10; Nginx nghe 80, 443 và 8443
- DNS record
s3.hoatranlabs.localtrong Pi-hole (chỉ một bản ghi, không cònminio) -
awsvà lệnhs3as,weedshhoạt động;s3as admin s3 lsliệt kê đủ bucket - 7 bucket tạo bằng
s3.bucket.create -owner: harbor-storage, loki, velero-backups, gitea-lfs, artifacts, tofu-state, nexus-blobs - Mỗi dịch vụ có identity riêng chỉ có quyền trên bucket của mình;
s3as harbor s3 ls s3://lokibáo AccessDenied - Lifecycle
artifacts(90 ngày) vàtofu-state(versioning + noncurrent 90 ngày); worker chạy - UFW bật với các luật mục 5.1; FortiGate cho phép VLAN 45/65 → 10.11.85.10:443
- Prometheus thêm 5 job
s3*vào VM235; dashboard 10423 import vào Grafana (VM236) - Admin UI vào được tại https://s3.hoatranlabs.local:8443 từ VLAN 45
- Harbor cấu hình xong dùng SeaweedFS S3 backend (tùy chọn)
- Gitea LFS cấu hình xong dùng SeaweedFS (bucket
gitea-lfs) - Loki (bài 33) dùng bucket
loki(tùy chọn) - Velero 1.18.4 cài trên K3s, BackupStorageLocation Available, schedule hằng ngày tạo thành công
- Test backup Velero hoàn thành: Phase=Completed
- PBS backup cấu hình và metadata lần đầu thành công (namespace
vm-s3) - Cert auto-renew cron đã cài
Tài liệu tham khảo
- SeaweedFS: https://github.com/seaweedfs/seaweedfs · phát hành: https://github.com/seaweedfs/seaweedfs/releases · image: https://hub.docker.com/r/chrislusf/seaweedfs
- Wiki — Production Setup: https://github.com/seaweedfs/seaweedfs/wiki/Production-Setup
- Wiki — Amazon S3 API: https://github.com/seaweedfs/seaweedfs/wiki/Amazon-S3-API · S3 Credentials: https://github.com/seaweedfs/seaweedfs/wiki/S3-Credentials · S3 Configuration: https://github.com/seaweedfs/seaweedfs/wiki/S3-Configuration · S3 API FAQ (Nginx, chữ ký): https://github.com/seaweedfs/seaweedfs/wiki/S3-API-FAQ
- Wiki — S3 Lifecycle: https://github.com/seaweedfs/seaweedfs/wiki/S3-Lifecycle · Admin UI: https://github.com/seaweedfs/seaweedfs/wiki/Admin-UI · System Metrics: https://github.com/seaweedfs/seaweedfs/wiki/System-Metrics
- Wiki — Replication: https://github.com/seaweedfs/seaweedfs/wiki/Replication · Erasure coding: https://github.com/seaweedfs/seaweedfs/wiki/Erasure-coding-for-warm-storage · Security Configuration: https://github.com/seaweedfs/seaweedfs/wiki/Security-Configuration
- Wiki — Docker Image Registry with SeaweedFS: https://github.com/seaweedfs/seaweedfs/wiki/Docker-Image-Registry-with-SeaweedFS
- Lỗ hổng đã vá từ 4.34 (CVE-2026-55874): https://www.suse.com/security/cve/CVE-2026-55874/ · CVE-2026-55873: https://security-tracker.debian.org/tracker/CVE-2026-55873
- MinIO (archived): https://github.com/minio/minio · Garage — tương thích S3: https://garagehq.deuxfleurs.fr/documentation/reference-manual/s3-compatibility/ · RustFS: https://github.com/rustfs/rustfs
- Velero: https://velero.io/docs/ · tự ký/CA riêng: https://velero.io/docs/main/self-signed-certificates/ · plugin AWS: https://github.com/vmware-tanzu/velero-plugin-for-aws
- Harbor
storage_service: https://goharbor.io/docs/main/install-config/configure-yml-file/ · Distribution S3 driver: https://distribution.github.io/distribution/storage-drivers/s3/ - Gitea config cheat sheet (storage): https://docs.gitea.com/administration/config-cheat-sheet
- Nexus S3 blob store: https://help.sonatype.com/en/aws-simple-storage-service--s3-.html
- OpenTofu backend S3: https://opentofu.org/docs/language/settings/backends/s3/
- Loki S3 và issue
aws-chunked: https://github.com/grafana/loki/issues/24206 (bài 33, mục 6) - AWS CLI v2: https://docs.aws.amazon.com/cli/latest/userguide/getting-started-install.html