Files

T

Alexey Martemyanov 2b6c1817d1 [2026-09-02] eagle: family/documents/vault-sync/2026-09-02-restore-privilege-scope.md family/how-to/arr-stack-taiga.md family/how-to/vault-git-sync.md

2026-09-02 12:25:39 +06:00

27 KiB

Raw Blame History

tags: [truenas, restore, incident, git, media, arr, permission] created: 2026-09-02 updated: 2026-09-02 status: in-progress (Этап 0-3 + 2-й root-проход DONE — storage все 950, git-sync fetch ОК; ОСТАЛОСЬ основной блокер: NFS4 ACL DENY READ_DATA на ~1946 git-объектах → push на маке падает)

Incident 2026-09-02: Поломка прав uid 921/0000 после restore — масштаб и влияния

Сводный инцидент-документ. Родитель: 2026-08-31-syncthing-truenas-incident.md (Syncthing). Здесь документируем подтверждённый масштаб той же поломки прав и её воздействие на git-sync (мак/Eagle) и медиа/arr-стек на TrueNAS.

Корень (общий для всех): после восстановления из бэкапа /mnt/RED_2TB/storage/* стал принадлежать uid 921 = transmission с правами ----------/d--------- (0000), вместо truenas_admin (950). Контейнеры, пользователи и git, работающие под другими uid, теряют доступ.

1. Git-sync obsidian на маке (Eagle) — СТОИТ (ahead 55)

Симптом на ~/obsidian:

git status       → ## main...nas/main [ahead 55]
git fetch/push   → fatal: '/mnt/RED_2TB/storage/git/obsidian-vault.git' does not appear to be a git repository

Причина (read-only проверка TrueNAS):

/mnt/RED_2TB/storage/git                          d--------- 4 921 921
/mnt/RED_2TB/storage/git/obsidian-vault.git       (permission denied — вложено в storage/git)

Папка storage/git/ (внутри — bare repo obsidian-vault.git) с правами 0000 / owner 921. Git на маке (SSH-ключ жив, CONN_OK ✅) не может открыть bare repo → fetch/push падают → локальные 55 коммитов не уходят.

Важно про механизм cron — НЕ Hermes cron, а launchd:

Агент: ~/Library/LaunchAgents/com.sync-vault.plist
Программа: /Users/admin/scripts/sync-vault.sh, StartInterval = 300 сек (5 мин)
Состояние: активен (launchctl list → com.sync-vault), runs = 3762, last exit code = 0
sync-vault-lib.sh умышленно глушит недоступность remote: если git fetch падает → логирует и exit 0. Поэтому launchd показывает exit code 0 при фактически сломанном sync (ahead 55). Это не сбой cron — это корректное поведение скрипта, скрывающее dead remote.
Системный crontab на маке пуст (crontab -l нет), /etc/crontab нет. Запуск — только через launchd ${LABEL}.

Связанные доки: family/how-to/vault-git-sync.md, family/how-to/obsidian-sync.md.

2. Медиа-папки TrueNAS — сломаны (uid 921, d---------/drwx------)

Read-only проверка ls -ld /mnt/RED_2TB/storage/:

d---------  transmission transmission  storage/Cartoons
d---------  transmission transmission  storage/Downloads
d---------  transmission transmission  storage/Movies
d---------  transmission transmission  storage/Music
drwx------  transmission transmission  storage/series
d---------  transmission transmission  storage/shared

(отображается как transmission = uid 921 — тот же, что и в инциденте; права 0000/700 сломаны для внешних сервисов.) Movies-Radarr, Series-Sonarr — не существуют (старая схема, на TrueNAS актуальны только storage/-медиа).

Медиа-папки починки не проходили (в отличие от obsidian/obsidian-syncthing).

3. Arr/Jellyfin-стек на TrueNAS — выключен + не сможет работать из-за прав

Факты:

В docker ps -a НЕТ ни radarr/sonarr/prowlarr/jellyfin контейнеров (ни запущенных, ни остановленных). Стек не пересоздавался после проблемного периода.
Composes живут в /mnt/RED_2TB/docker/arr/: docker-compose.yml (prowlarr/radarr/sonarr/jellyfin), подпапки prowlarr/ radarr/ sonarr/ jellyfin/ media-pipeline/.
docker/arr/docker-compose.yml монтирует /mnt/RED_2TB/storage в radarr/sonarr (rw) и jellyfin (:ro). При сломанных правах медиа-папок контейнеры не смогут читать/импортировать → пустая библиотека.
Работает только transmission (Up 8 days), его compose отдельный: /mnt/RED_2TB/docker/transmission/. config владелец transdamon/911. RPC transmission-remote вернул 403 Forbidden — auth вкл., статус торрентов извне без токена не читается.

Чтобы запустить стек: восстановить права медиа-папок storage/ (150 и выше 950/нужный сервисный uid, rwX) → cd /mnt/RED_2TB/docker/arr && docker compose up -d.

Дексо стек — разделение ролей (см. family/how-to/arr-stack-taiga.md):

Taiga (TrueNAS) = acquisition (transmission качает, arr добавляет)
Kraken = serving (jellyfin на план-сервире). Jellyfin на TrueNAS — acquisition-side media storage, не primary serving.

4. Несвязанные находки (не трогала диагностика, для контекста)

Контейнер library-app (library) в restart-loop: FileNotFoundError: '/library/flibusta_fb2_local.inpx' — это приложение полки книг Flibusta, монтирует /mnt/RED_2TB/storage/Downloads/fb2.Flibusta.Net → /library; INPX-файла на пути нет. Не связано с поломкой прав; ручной фикс только по запросу.

Общий план (ИСПРАВЛЕН — актуальный рабочий статус в §5 ниже; здесь технические применения)

Практическое уточнение 2026-09-02 (Важно для будущего): несмотря на утверждение в § «НЕ ПОСIX», на практике root-chown -R/chmod на хосте TrueNAS СРАБОТАЛИ и привели медиа-папки к 950:950 drwxrwx--- (это под LTS-смонтированным zfs с acltype=nfsv4, где POSIX-биты отображаются из NFS4 owner@/group@/ACL). Реальная поломка была двухслойная: (1) uid владельца файла сбит на 921 (правит chown), (2) биты owner@ обнулены (правит chmod/ACL). Вывод: у этих простых zfs-датасетов chown/chmod под root достаточны и быстрее, чем полный filesystem.setacl. midclt setacl нужен, когда ACL не-тривиальный (произвольные ACE entries поверх базовых) — здесь их не было (ACL тривиальны, trivial:true в getacl). Для будущего: пробовать POSIX chown/chmod первым, setacl — только если chmod не влияет на ACE и остаётся d--------- у владельца с правильным uid.

Диагноз по NFS4 ACL (что именно сломано)

Реальные ACL через midclt call filesystem.getacl у storage, git, Downloads, Movies, Cartoons структурно ИДЕНТИЧНЫ рабочему obsidian, но:

владелец uid/gid = 921 (transmission) вместо правильного 950 (truenas_admin);
у записи owner@ обнулены READ_DATA / WRITE_DATA / EXECUTE / APPEND_DATA / DELETE_CHILD (все в false) → POSIX-маска d---------.

Рабочий эталон (obsidian): uid/gid 950:950, owner@ полный, group@ rwX (без WRITE_ATTRS/ACL/OWNER), everyone@ — только attrs.

Проверенная сигнатура midclt

# Filesystem-методы существуют (40, подтверждены 2026-09-02):
# filesystem.getacl / filesystem.setacl / filesystem.chown / filesystem.setperm
# setacl(schema): {path, uid, gid, dacl, nfs41_flags, acltype, options}
# options: {stripacl:bool, recursive:bool, traverse:bool, canonicalize:bool(default true),
#           validate_effective_acl:bool(default true)}
# dacl: массив ACE {tag: owner@|group@|everyone@|USER|GROUP, id, type: ALLOW|DENY, perms, flags}

Применение (скрипт готов на маке: `~/fix-storage-nfs4-acl.sh`)

Скрипт делает 3 этапа; применяется через filesystem.setacl с uid/gid + dacl + options.recursive/traverse:

# скопировать на TrueNAS и запустить (sudo не нужен):
scp ~/fix-storage-nfs4-acl.sh truenas_admin@mallexxx.duckdns.org:/tmp/
ssh truenas_admin@mallexxx.duckdns.org 'bash /tmp/fix-storage-nfs4-acl.sh'

Внутри:

Бэкап ACL каждой папки → /mnt/RED_2TB/backup/facl_fix_<дата>/<name>.acl.json (откат — применить сохранённые через filesystem.setacl).
Применение к каждой папке списка (Cartoons Downloads Edu Movies Music ada3s1 art books cartoons-series documentaries documentaries-series git nas photo_dedup_test seafile series shared singularity sonarr work):
```
midclt call filesystem.setacl <path> \
  '{"uid":950,"gid":950,"dacl":[<эталон-ACE obsidian>],"options":{"recursive":true,"traverse":true,"stripacl":false}}'
```
Verify: все каталоги → uid 950; тест git --git-dir=<base>/git/obsidian-vault.git log.

obsidian / obsidian-syncthing в список НЕ включены — уже рабочие 950:950.

После фикса прав

На маке: bash ~/scripts/sync-vault.sh → 55 коммитов уедут в bare repo (launchd возобновит нормальную работу; см. раздел 1).
Arr-стек: cd /mnt/RED_2TB/docker/arr && docker compose up -d → проверить docker compose ps.

Открытые вопросы перед запуском (подтверждение Alex)

Transmission-контейнер работает как root (docker exec transmission id → uid 0), поэтому права медиа для него некритичны; но данные Transmission (downloadDir /mnt/storage/Downloads) док описывал под transdamon/911. Решено ставить единообразно 950 (нужно для git/arr/serving). Если нужен и доступ transdamon/911 — добавить явный ACE GROUP на 911.
Альтернатива владельцу 950 — общая группа nas_users (3000, члены: truenas_admin, transmission, nas и др.). Эталон obsidian = 950.

5. ⭐ РЕШЕНИЕ от 2026-09-02: ВАРИАНТ А — единый PUID/PGID=950 + рекурсивный фикс прав

Контекст: вопрос «будут ли файлы, созданные transmission, читаться jellyfin?» вскрыл, что простой смены владельца верхних папок на 950 НЕДОСТАТОЧНО — нужно согласовать межсервисную читаемость контента + фикс вглубь файлов. Выбран Вариант A (одобрен Alex, стоп-правило: root-команды выполняет Alex, обязательный бэкап перед изменениями).

Факты, на которых строится решение

Все linuxserver-образы загружены локально на TrueNAS (проверено docker images): radarr, sonarr, jellyfin, transmission, prowlarr. Контейнеры (кроме transmission) ещё не созданы из них.
Проверен механизм PUID/PGID в linuxserver: Entrypoint=[/init], есть /etc/s6-overlay (s6-based). → PUID/PGID обрабатываются штатно s6-stage2-hook. Нативный механизм.
Дефолт без PUID: у текущего transmission PUID не задан → контейнер работает root (подтверждено docker exec transmission id → root). Медиа-образы без явного PUID разъехались бы по разным uid → не видят файлы друг друга.
Масштаб поломки вглубь (подсчёт через transmission-root, find -printf '%u'):
- Movies: 257 908 файлов, из них 257 751 → uid 921 (+157 → 950).
- Downloads: mix 518→911, 380→921, 7→1001.
- series: 94 → 921; Music: 8484; git(bare): 3430; work: 26180; Cartoons: 1009.
- Глубокие .mkv/.avi/.iso тоже 921:921 mode 0000 — поломка НЕ только каталоги, а каждый inode.

Целевая модель Варианта А

Все медиа/arr/jellyfin контейнеры работают под единым uid 950:950 (truenas_admin, как obsidian-эталон), тогда transmission→(radarr→jellyfin) взаимно читают:

transmission (станет 950) качает → файлы 950
radarr/sonarr (950) импортируют → 950
jellyfin (950) читает → ✅

Этапы (рабочий статус на 2026-09-02)

✅ Этап 0 — БЭКАП выполнен → /home/truenas_admin/variantA_bk/: transmission.docker-compose.yml (оригинал), arr.docker-compose.yml (оригинал), transmission_settings.json (2982 б), ACL топ-папок (Cartoons Downloads Movies Music git work series books shared) + README.txt.

⚠️ Питфолл бэкапа: /mnt/RED_2TB/backup — root-owned (drwxrwxr-x root root), truenas_admin туда писать не может → бэкап сделан в домашку ~truenas_admin. Файл docker/transmission/docker-compose.yml на хосте владеет uid 911 (drwx------ 911 911) → прочитан/скопирован через root-контейнер docker exec transmission cat /config/docker-compose.yml.
✅ Этап 1 — правка compose на PUID/PGID=950 ВЫПОЛНЕНА (2026-09-02):
- transmission compose: /config/docker-compose.yml перезаписан через docker cp /tmp/transmission-new-compose.yml transmission:/config/docker-compose.yml. Добавлено PUID=950 + PGID=950. Оригинал в variantA_bk. (Скрипт-источник на маке: ~/transmission-new-compose.yml.)
- arr compose: /mnt/RED_2TB/docker/arr/docker-compose.yml перезаписан (владелец truenas_admin → запись прошла без root): во всех 4 сервисах (prowlarr/radarr/sonarr/jellyfin) добавлено PUID=950 + PGID=950 (у всех уже был TZ). Проверено docker compose config --quiet → COMPOSE_VALID. Источник: ~/arr-new-compose.yml. Оригинал в variantA_bk.
  - Arr compose НЕ имеет секции networks у сервисов → при подъёме будет дефолт-сеть <project>_default. Consciously оставлено (оригинал не задавал networks у radarr/sonarr/jellyfin явно, только глобально media_net/caddy_default; НЕ переопределено чтобы не менять поведение без надобности).
✅ Этап 2 — ПЕРЕСОЗДАНИЕ transmission под PUID=950 ВЫПОЛНЕНО (2026-09-02). НЕ понадобился docker rm -f. Решено штатно:
- Питфолл про compose-проект: у контейнера НЕТ compose-лейблов (com.docker.compose.project = <no value>) → docker compose up в папке 911 его не распознаёт и даёт name-conflict. Причина 911-папки ушла сама: после пересоздания владелец /mnt/RED_2TB/docker/transmission стал 950:950 → папка доступна.
- Способ: cd /mnt/RED_2TB/docker/transmission && docker compose up -d --force-recreate — применил PUID, контейнер Recreated/Started, проект transmission.
- Проверено: docker exec transmission printenv PUID PGID → 950 950; процесс transmission-daemon работает под abc (uid 950), НЕ root.
- Ключевой урок (наш ошибка): временные compose-файлы в /tmp и docker cp — костыль. Использовать только штатный запуск из правильной папки compose. Временные файлы /tmp/transmission-new-compose.yml и /tmp/arr-new-compose.yml удалены (почищены 2026-09-02).
- (В /tmp остались чужие/ранее существовавшие compose_new.yml, reverse-portal-compose.yml — НЕ наши, не трогали.)
✅ Этап 3 — рекурсивный фикс прав вглубь ВЫПОЛНЕН Alex (root) + проверен. Результат верификации 2026-09-02:
- Медиа-папки → 950:950 drwxrwx---: Cartoons, Downloads, Movies, Music, art, books, cartoons-series, documentaries(-series), series, shared, work. ✅
- Вглубь Movies: файлы → 950:950, права разблокированы (rw-r-----/rwxrwx---). ✅
- ✅ Второй root-проход ВЫПОЛНЕН Alex (вторая команда ниже) — добиты git, nas, ada3s1, photo_dedup_test, seafile, singularity, radarr, sonarr: все теперь 950:950 drwxrwx---. Проверено:
  - Все топ-папки storage теперь 950:950 drwxrwx--- (сплошняком, кроме скрытых файлов корня и самого корня). ✅
  - storage/git/obsidian-vault.git теперь открывается — git log показывает коммиты (HEAD a2c72793 [2026-08-17]...).
  - git/nas уже не «matching вне-списка» — chown/chmod догнаны вторым проходом.

⬜ Найден БЛОКЕР PUSH: NFS4 ACL `DENY READ_DATA` на тировых объектах git-репозитория

Симптом (после починки прав): на маке git-sync теперь:

git fetch nas main → OK (bare repo доступен, fetch exit=0)
git push nas main  → FAIL:
    remote: fatal: loose object acd1b45542e82aa40f345da3b8ac9f721633b138 ... is corrupt
    remote unpack failed: index-pack abnormal exit

sync-vault.sh — Committed потом Push failed. Ahead вырос 55 → 62 (коммиты локально копятся, не пушатся).

Диагностика — это НЕ повреждение данных, а NFS4 ACL-блокировка чтения:

Проверка	Результат
`git fsck --full` через root (контейнер gitea, монтирует `/git-repos`)	ЧИСТО: только `dangling commit/tree`, ни одного corrupt/missing/bad
`git cat-file -t acd1b45...` под root (gitea)	`tree` — объект читается, цел
NFS4 ACL самого файла `objects/ac/d1b...` (через `filesystem.getacl`)	`owner@ DENY READ_DATA=True` поверх `ALLOW` → перекрывает

Суть: у ~1946 из 3373 loose git-объектов в obsidian-vault.git/objects/ стоит битый NFS4 ACL owner@ type=DENY READ_DATA=True. DENY-запись в NFSv4 перекрывает ALLOW, поэтому владелец (uid 950 = truenas_admin) не может mmap/прочитать эти объекты при push. Git на приеме (git-receive-pack/index-pack) трактует нечитаемость как «loose object corrupt» → push rejected. Root игнорирует ACL → поэтому fsck под gitea чист, а push от 950 падает. Данные целы.

POSIX-признак битых файлов: mode 40 (r--------); нормальные объекты — mode 750. (count: 3373 объектов, ~1946 с mode 4xx.)

Фикс (root/root-midclt) — ГОТОВ, Alex ещё не запускал (ждёт отдельного подтверждения, т.к. влияет на ACL объектов):

# снять битые NFS4 ACL (DENY) на весь git-репозиторий, вернуть стандарт из uid/gid
midclt call filesystem.setacl /mnt/RED_2TB/storage/git/obsidian-vault.git \
  '{"uid":950,"gid":950,"dacl":[],"options":{"recursive":true,"traverse":true,"stripacl":true}}'

# проверить, что проблемный объект читается владельцем:
git --git-dir=/mnt/RED_2TB/storage/git/obsidian-vault.git cat-file -t acd1b45542e82aa40f345da3b8ac9f721633b138

# затем с мака:
cd ~/obsidian && git push nas main

⚠️ chmod/chown НЕ снимает NFS4 DENY ACE — нужен именно stripacl:true (или setfacl -Rb на хосте, если доступен). TrueNAS SCALE: setacl с stripacl:true + пустым dacl переведёт на POSIX-default из owner@/group@. ⚠️ Перед применением снять бэкап ACL git/ (read-only): midclt call filesystem.getacl /mnt/RED_2TB/storage/git > ~/variantA_bk/git_after.acl. ⚠️ Стоп-правило Alex: nothing destructive без явного подтверждения — не делался, ждёт команды.

Куда попадают DENY-ACL: артефакт restore — часть loose-объектов при переносе данных получили инверсивный NFS4 ACL (owner@ DENY read). Это НЕ родние git-права (git-репо хранит объекты как read-only r--r--r-- в обычном случае); на полке после поломки.

Диагностические insights (для будущих сессий)

docker exec transmission ... даёт root вглубь /mnt/storage (transmission монтирует storage); gitea контейнер монтирует /mnt/RED_2TB/storage/git → /git-repos и имеет git — удобен для git fsck-честных проверок (root-контекст). hermes-taiga монтирует /vault.git = storage/git/obsidian-vault.git и тоже имеет git.
NFS4 owner@ DENY перекрывает ALLOW — клинический кейс «ls показывает доступно, а процесс не читает».
POSIX-бит файла (mode 40/750) коррелирует с NFS4 ACL; «corrupt» от index-pack при целых данных = почти всегда ACL/права на приеме, не реальное повреждение.

✅ Остаточный root-шаг (второй проход) — ВЫПОЛНЕН Alex; команда для справки (историческая)

Уже пройдено — итоговое состояние 950:950 drwxrwx--- на всех топ-папках см. в Этапе 3 выше. Команда зафиксирована как рецепт для будущего:

S=/mnt/RED_2TB/storage
chown -R 950:950 "$S/git" "$S/nas" "$S/ada3s1" "$S/photo_dedup_test" \
       "$S/seafile" "$S/singularity" "$S/radarr" "$S/sonarr" 2>/dev/null
find "$S/git" "$S/nas" "$S/ada3s1" "$S/photo_dedup_test" "$S/seafile" \
     "$S/singularity" "$S/radarr" "$S/sonarr" \
     -type d -exec chmod u+rwX,g+rwX,o-rwx {} + 2>/dev/null
find "$S" -maxdepth 1 -type f \( -name "._*" -o -name ".DS_Store" -o -name ".bash*" -o -name ".profile" \
     -o -name ".com.apple*" \) -exec rm -f {} + 2>/dev/null
chmod -R g+rX "$S/git" 2>/dev/null
git --git-dir="$S/git/obsidian-vault.git" log --oneline -2 2>&1 | head   # проверка

⚠️ rm -f скрытых файлов корня — mac-мусор/остатки старого владельца 921, безопасно. Если .profile/.bashrc рабочие — убрать их из rm по решению.

⚠️ Текущий статус после второго прохода (актуально)

Push на маке БЛОКИРОВАН NFS4 ACL DENY READ_DATA на ~1946 loose git-объектах — см. секцию «Найден БЛОКЕР PUSH» выше. Фикс filesystem.setacl ... stripacl:true ГОТОВ, Alex должен подтвердить.
Arr-стек: после снятия DENY-блокера на git и починки прав медиа — cd /mnt/RED_2TB/docker/arr && docker compose up -d → проверить docker compose ps + что jellyfin видит библиотеки (пути /storage/*). PUID/PGID=950 уже прописаны во всех 4 сервисах докер-стека.

Точное содержание transmission compose (оригинал, важно для пересоздания)

services:
  transmission:
    image: lscr.io/linuxserver/transmission:latest
    container_name: transmission
    restart: unless-stopped
    environment:
      - TZ=Asia/Novosibirsk
      - USER=transmission_admin
      - PASS=E$%p3En4a%R6
      - WHITELIST=172.16.*.*
    volumes:
      - /mnt/RED_2TB/storage:/mnt/storage
      - /mnt/RED_2TB/docker/transmission:/config
    ports:
      - 9091:9091
      - 51413:51413
      - 51413:51413/udp

(в compose НЕ было PUID/PGID → контейнер root; transmission монтирует storage → /mnt/storage, download-dir /mnt/storage/Downloads)

Связанные заметки

2026-08-31-syncthing-truenas-incident — вызвавший инцидент + фикс syncthing
arr-stack-taiga — acquisition-стек на TrueNAS
arr-stack-kraken — serving-стек (Kraken)
vault-git-sync — git-sync алгоритм и скрипты
obsidian-sync — общая схема Eagle↔Taiga↔Kraken
syncthing-truenas-android — syncthing схема (требует обновления volumes → obsidian-syncthing)

27 KiB Raw Blame History Unescape Escape