[2026-09-26] eagle: personal/plans/balda-mm-phase4-agents.md personal/plans/music-tags-review/music-tags-review.md personal/projects/balda/balda-mm-delegation-plan.md personal/tech/music-tags-repair-truenas.md

This commit is contained in:
Alexey Martemyanov committed 2026-09-26 15:22:34 +06:00
1 parent ca471c21af
commit 269f2b189a
4 files changed
+437 -15

No files matched your search

+247
View File
@@ -0,0 +1,247 @@
# Фаза 4 — исполнитель на Mac + `~/agents` + секция «Agents» в Eagle Dashboard
> Создан 2026-09-26. Статус: **ПЛАН — ожидает апрува Alex, работа не начата.**
> Часть [[personal/projects/balda/balda-mm-delegation-plan]] (Фаза 4 + Фаза 5).
> Предыдущее: [[personal/projects/balda/balda-kraken-mm-deploy]] (Фаза 3 ✅ — бот отвечает Alex).
---
## 0. Решения Alex (2026-09-26, этот заход)
| # | Вопрос | Решение |
|---|---|---|
| 1 | Папка для проектов исполнителя | **`~/agents`** |
| 2 | Подтверждения | **Full access** → `permissions.mode: allow_all` |
| 3 | Управление hardlink/symlink в `~/agents` | **Новая секция в Eagle Dashboard** |
---
## 1. 🔴 ПРОВЕРЕНО ЖИВЫМ ТЕСТОМ: симлинк в Docker НЕ работает
Alex спросил: «Если в папку симлинк кинуть вовне — докер это прочтет?»
**Ответ: НЕТ.** Проверено на живом Docker (alpine:3.20, linux/arm64), не по памяти.
```
host: /tmp/symtest/outside/file.txt = "REAL CONTENT ON HOST"
bind: -v /tmp/symtest/bind:/mnt (внутри /mnt/target -> /tmp/symtest/outside)
контейнер: cat /mnt/target/file.txt
→ cat: can't open '/mnt/target/file.txt': No such file or directory
```
Сам симлинк внутри виден (`lrwxrwxrwx link -> /outside`), но **цель резолвится
относительно корня контейнера**, где этого пути нет. Docker монтирует только реальный
путь — симлинки не разворачивает и не «протаскивает».
### Следствие для архитектуры
```
Mac Контейнер-исполнитель
~/agents/ /agents (bind-mount, rw)
project-x/ ← РЕАЛЬНАЯ папка → видна
src -> ~/Developer/proj-x ← СИМЛИНК → ✗ БИТЫЙ
```
**Правило:** внутрь `~/agents` — только **реальные каталоги** или **hardlink**.
Симлинки допустимы **только если цель лежит внутри того же смонтированного корня**.
---
## 2. Symlink / hardlink / bind-mount — что выбрать
| Способ | В Docker | Может пересечь ФС | Может указать на файл вне mount | Итог |
|---|---|---|---|---|
| **symlink** | ✗ битый | да | ✗ нет | ❌ не использовать для внешних целей |
| **hardlink** | ✓ работает | **✗ нет** | ✗ нет | ✓ для файлов внутри `~/agents` |
| **bind-mount** | ✓ работает | да | да | ✓ для внешних каталогов |
| **APFS clonefile** | ✓ (реальная копия) | да | да | ✓ для «копии проекта» без расхода диска |
### Ключевое ограничение hardlink
Hardlink **не может пересечь границу файловой системы** и **не может ссылаться на
каталог** (только на файл, и только на macOS — с `-F`). То есть замена симлинка
«проект целиком» через hardlink технически невозможна, если проект лежит
на другом томе или это директория.
**Вывод:** «линкование проекта извне» = **bind-mount**, а не линк. Линки — для
внутренней организации одного тома.
📌 **Прямо отвечая на исходный замысел Alex:** hardlink'ом **нельзя** подключить
проект-каталог извне — физически невозможно (каталоги не линкуются, ФС не пересекается).
Поэтому в целевой архитектуре внешние проекты висят на **bind-mount'ах**
(`~/Developer/<proj>:/agents/<name>`), а секция Dashboard управляет именно манифестом
`agents-mounts.yaml`. Hardlink-операции остаются как вспомогательный инструмент
для файлов внутри одного тома.
---
## 3. Целевая архитектура
```
Mattermost (Alex)
│ «почини баг X в project-y»
▼
Балда-оркестратор (Kraken, DeepSeek, mode=allow_all)
│ 1. читает Obsidian, формирует ТЗ
│ 2. /goalkeeper → work → validate
▼
Мост (Mac, FastAPI, :8790) ← новый сервис, регистрируется в Eagle Dashboard
│ HTTP + shared secret (WireGuard-хаб уже есть)
│ идемпотентность + таймаут + лимит 1-2 параллельных задач
▼
Контейнер-исполнитель (Mac, Docker)
│ -v ~/agents:/agents:rw
│ -v ~/Developer/<proj>:/agents/<name> ← для внешних проектов (bind, не линк)
│ Node 24 + codex + claude + git
│ CLAUDE_CODE_OAUTH_TOKEN из env
▼
возврат: diff + вывод тестов + коммит → Балда → MM
```
---
## 4. Секция «Agents» в Eagle Dashboard
### Где живёт код (проверено 2026-09-26)
| Файл | Строк | Что править |
|---|---|---|
| `~/Developer/eagle-dash/main.py` | 889 | новые `@app.get/post/delete` роуты |
| `~/Developer/eagle-dash/templates/index.html` | 1248 | новая вкладка + Alpine.js стейт |
| `~/Developer/eagle-dash/health.py` | 181 | health-чек моста (`type: http`) |
| `~/Developer/eagle-dash/services.yaml` | 6.5 КБ | регистрация сервиса `agents-bridge` |
**Существующие вкладки:** `services` · `crons` · `pages` · `files`
(роутинг через `?tab=`, `setUrlTab()`, `activeTab` в Alpine).
### Что делает новая секция
1. **Список содержимого `~/agents`** — по каждому проекту: имя, тип (реальная папка /
symlink / hardlink), размер, дата изменения, **статус линка** (валиден / битый).
2. **Создать проект** — `mkdir ~/agents/<name>`.
3. **Подключить внешний проект** — **bind-mount-запись**: сохраняется в
`~/Developer/agents-mounts.yaml`, мост перезапускает контейнер с новым `-v`.
⚠️ **Не symlink** — см. §1.
4. **Hardlink-операции** — `ln -F <file> ~/agents/<proj>/<name>` (только файлы,
только внутри тома; в UI показывать `st_dev` и блокировать при разных ФС).
5. **Удалить из контейнера** — убрать из `agents-mounts.yaml` + `docker compose up -d`
⚠️ **Файлы на диске не трогать** — только отвязка от контейнера (см. Core Rules).
6. **Открыть терминал** — ссылка на существующую вкладку `files`.
### API-контракт (черновик)
```
GET /api/agents → [{name, kind, size, mtime, link_valid, target}]
POST /api/agents {name} → mkdir ~/agents/<name>
POST /api/agents/{name}/mount {host_path} → добавить bind-mount + recreate
DELETE /api/agents/{name}/mount → убрать bind-mount + recreate (файлы целы)
POST /api/agents/{name}/hardlink {file, name} → ln -F (с проверкой st_dev)
GET /api/agents/{name}/usage → размер, место на томе
```
### Чего секция НЕ делает
- **Не удаляет** содержимое `~/agents` — только отвязывает от контейнера.
- **Не убивает** процессы — lifecycle контейнера через существующий supervisor.
- **Не создаёт symlink** на внешние цели — вместо них bind-mount.
---
## 5. Система подтверждений — итог разведки
### Как устроено в Balda (апстрим, `docs/architecture/interactive-questions.md`)
Три режима (`permissioncmd.Mode`):
| Режим | Поведение |
|---|---|
| `allow_all` | никого не спрашивает — **выбран Alex** |
| `ask` | ADK-callback **блокирует турн**, вопрос уходит в чат, ждёт ответа, таймаут fail-closed, продолжает через `ResumeTarget` |
| `deny_all` | всё запрещено |
🔴 **`ask` сейчас работает только для Telegram и Slackagent** — прямая цитата
`interactive-questions.md`: *«`ask` is supported for Telegram and Slackagent and
fails closed elsewhere»*. Для Mattermost `ask` **фейлится закрыто**.
### Что это значит для сценария «MCP просит линк → Alex подтверждает из чата»
Прямой путь **сейчас невозможен** поверх MM. Варианты:
| Вариант | Объём | Ложится куда |
|---|---|---|
| A. Дописать `ask` в MM | ~1-2 дня | ветка `feat/mattermost-channel` → **расширение PR #8** |
| B. Апрув в мосте (свой мини-эндпоинт + очередь) | ~0.5 дня | FastAPI-мост Фазы 4 |
**С Alex выбран `allow_all`** — этим заходом подтверждения не нужны. Пункт
оставлен как задел: когда `ask` понадобится, начинать с варианта **B** (дешевле,
не зависит от ревью апстрима).
---
## 6. План работ (по шагам)
### Шаг 1 — `~/agents` + контейнер-исполнитель (~2 ч)
1. `mkdir ~/agents` + `.gitkeep`, права `admin:staff`.
2. `~/Docker/balda-executor/Dockerfile` — Node 24 + `codex` + `claude` + `git`.
3. `docker-compose.yml` — `-v ~/agents:/agents:rw`, `CLAUDE_CODE_OAUTH_TOKEN` из `.env`.
4. Авторизация: `claude setup-token` на Mac → токен в `~/Docker/balda-executor/.env` (0600).
5. Проверка: `docker exec ... claude --version` + `codex --version`.
### Шаг 2 — Мост на Mac (~3-4 ч)
1. `~/Developer/agents-bridge/` — FastAPI, порт **8790**.
2. Эндпоинты: `POST /task` (idempotency key), `GET /task/{id}`, `GET /healthz`.
3. Запуск CLI headless в контейнере, возврат diff + тестов.
4. Лимит параллельных задач: **1-2** (риск «unusual traffic» — см. §Риски плана Фаз).
5. Shared secret в заголовке + проверка source IP (WireGuard-подсеть).
### Шаг 3 — Сеть Kraken → Mac (~1 ч)
1. WireGuard-туннель (хаб на VPS уже есть — см. скилл `wireguard-vps-hub`).
2. Проверка: `curl` с Kraken на Mac `:8790/healthz`.
### Шаг 4 — Секция «Agents» в Eagle Dashboard (~3-4 ч)
1. `main.py` — 6 роутов из §4.
2. `templates/index.html` — вкладка `agents` + `?tab=agents`.
3. `services.yaml` — запись `agents-bridge` (`health.type: http`, url `:8790/healthz`).
4. `__pycache__` + `launchctl kickstart -k gui/$(id -u)/com.eagle.dashboard`.
### Шаг 5 — Связка Балда → мост (~2 ч)
1. MCP-инструмент в Балде (или webhook) → `POST /task`.
2. Проверка на задаче-пустышке: `echo ok > /agents/test/probe.txt`.
### Шаг 6 — Приёмка Фазы 5 (~1 день)
1. Сквозной тест **от аккаунта Alex**: `@balda почини X` → diff в MM.
2. Расходы: DeepSeek-токены + подписочные лимиты.
3. Задокументировать: как работает, где логи, как откатить.
---
## 7. Риски
| Риск | Оценка | Митигация |
|---|---|---|
| Симлинк в `~/agents` на внешний путь → битый | **подтверждён** | bind-mount вместо линка; UI помечает битые линки |
| Hardlink через границу ФС → `EXDEV` | высокий | проверять `st_dev` перед `ln`; UI блокирует |
| Бан подписочного аккаунта за «unusual traffic» | средний | 1-2 параллельных задачи, официальный бинарь, без прокси токена |
| Полный доступ (`allow_all`) + MCP → агент может снести `~/agents` | **средний** | бэкапы + `git rm`-семантика вместо `rm`; правки только через bind-mount-манифест |
| Мост открыт наружу | высокий | только WireGuard-подсеть + shared secret; не публиковать порт в LAN |
---
## 8. Открыто (требует ответа Alex при старте)
1. Порт моста — **8790** (взят свободный; проверить `lsof -i :8790` перед стартом).
2. Провайдер исполнителя — **claude** (подписка уже залогинена) или **codex**?
3. Нужен ли `ask`-апрув в будущем, или `allow_all` достаточно постоянно?
## История
- **2026-09-26**: создан. Решения Alex: папка `~/agents`, full access, управление
линками — секция в Eagle Dashboard. Живым тестом доказано, что симлинк в Docker
не читается → внешние проекты подключать bind-mount'ом, не линком.
## Связанные заметки
- [[personal/projects/balda/balda-mm-delegation-plan]] — общий план (Фазы 4-5)
- [[personal/projects/balda/balda-kraken-mm-deploy]] — Фаза 3 (✅ бот отвечает)
- [[personal/plans/balda-mm-pr-plan]] — Фаза 2 (PR #8, 8/8 CI, ждёт ревью)
- [[personal/tech/balda-go-fx-pitfalls]] — fx-питфоллы, дельта-апплаер
- скилл `eagle-dashboard` — архитектура дашборда, health-типы, launchd-нюансы
- скилл `wireguard-vps-hub` — туннель Kraken → Mac
@@ -1,7 +1,14 @@
---
title: Music Tags — Review
type: task
namespace: personal
tags: [music, jellyfin, tags, review, truenas]
status: awaiting-approval
---
# Music Tags — проверка тегов
**К правке:** 4777 файлов · **без изменений:** 3129
**К правке:** 6773 файлов · **без изменений:** 1133
> [!warning] Ничего не изменено
> Это план. Ставь галочки, что одобряешь. После «go» — бэкап в `Music/backup/` и применение.
@@ -11,8 +18,37 @@
| Блок | Файлов | Что это значит |
|---|---:|---|
| [[1-needs-decision\|Требует решения]] | 28 | Нет ни исполнителя, ни альбома. Взять неоткуда — только имя файла. |
| [[2-medium-confidence\|Средняя уверенность]] | 2144 | Восстановлено из имён файлов и структуры папок. |
| [[3-high-confidence\|Высокая уверенность]] | 2605 | Точная перекодировка CP1251 → UTF-8, обратимая без потерь. |
| **Средняя уверенность** (разбита по категориям) | 5787 | Восстановлено из имён файлов и структуры папок. |
| [[3-high-confidence\|Высокая уверенность]] | 958 | Точная перекодировка CP1251 → UTF-8, обратимая без потерь. |
### Средняя уверенность — файлы по категориям
| Категория | Файлов |
|---|---:|
| [[2-medium-confidence-Pop_Club_Любэ\|Pop, Club, Любэ]] | 1141 |
| [[2-medium-confidence-RockFolk_Пилот\|Rock&Folk / Пилот]] | 281 |
| [[2-medium-confidence-RockFolk_Ногу_Свело\|Rock&Folk / Ногу Свело!]] | 153 |
| [[2-medium-confidence-RockFolk_Ночные_Снайперы\|Rock&Folk / Ночные Снайперы]] | 95 |
| [[2-medium-confidence-z_Другое_Enigma_Ленинград\|z Другое, Enigma, Ленинград]] | 903 |
| [[2-medium-confidence-Детские\|!Детские]] | 510 |
| [[2-medium-confidence-Рэп\|!Рэп]] | 469 |
| [[2-medium-confidence-RockFolk_Муммий_Тролль\|Rock&Folk / Муммий Тролль]] | 80 |
| [[2-medium-confidence-RockFolk_Пикник\|Rock&Folk / Пикник]] | 83 |
| _(остальные — в списке файлов блока)_ | |
> 📂 Раньше это был один файл на 1.1 МБ — Obsidian тормозил. Теперь **56 нот**,
> разбитых по категориям; Rock&Folk разложен по группам (глубина 2).
## Откуда взялось поле `track`
В v5 добавлена правка **номера трека**. Раньше номер оставался в названии:
```
БЫЛО: title = "01 Hit The Road Jack (Kub vs Ray Charles)"
СТАЛО: title = "Hit The Road Jack (Kub vs Ray Charles)" track = 1
```
Затронуто 5158 файлов. В нотах строка `track: → **N**`.
## Важное про блок 1
@@ -23,6 +59,13 @@
Если подставить туда имя папки, получится мусор вида `artist = Сказки`
(238 треков одним «исполнителем») — от этого отказались.
## Что НЕ трогаем (осознанно)
- **Рукописный транслит** — `EMINЭM`, `КняZz`, `Flёur`, `изBESTняк`, `Скаzки` (126 файлов).
Это оригинальное написание / реальные псевдонимы, а не порча кодировки.
- **`album == artist`** (101) — одноимённые альбомы: `Рубль/Рубль`, `Би-2/2001 Би-2`.
- **Числовые названия** (15) — `007` у Ленинграда, `48` у Пилота — это реальные треки.
## Формат
Каждый файл — чекбокс `- [ ]`. Под ним: поле, старое значение → **новое**, и источник
@@ -302,6 +302,12 @@ PR: `gh pr create --repo baldaworks/balda --base main --head mallexxx:feat/matte
Безлицензионная альтернатива — SMTP-почта, решение за Alex.
### Фаза 4 — исполнитель в VM/Docker на Mac (~2-3 дня)
0. ✅ **План зафиксирован: [[personal/plans/balda-mm-phase4-agents]].**
Решения Alex: папка **`~/agents`**, режим **`allow_all`** (full access),
управление линками — **новая секция «Agents» в Eagle Dashboard**.
🔴 **Доказано живым тестом: симлинк в Docker НЕ читается** → внешние проекты
подключать **bind-mount'ом**, не линком. Hardlink — только для файлов внутри
одного тома (не пересекает ФС, каталоги не линкует).
1. Docker-контейнер (или UTM VM) с Node 24 + `codex` + `claude` + `git`.
2. Авторизация: `claude setup-token` на Mac → `CLAUDE_CODE_OAUTH_TOKEN` в контейнер; для codex — свой flow.
3. Bind-mount проектной директории (не весь `~`).
@@ -420,6 +426,19 @@ PR: `gh pr create --repo baldaworks/balda --base main --head mallexxx:feat/matte
[[personal/tech/hermes-secret-redaction-bypass]].
- ⏳ Дальше: сборка образа на Mac → деплой → приёмка в UI MM.
Детальный план: [[personal/projects/balda/balda-kraken-mm-deploy]].
- **2026-09-26 (после приёмки)**: **Разведка под Фазу 4.** Фаза 3 подтверждена закрытой
(бот отвечает аккаунту Alex, `settlement_stage=accepted`).
- Alex решил три развилки: папка исполнителя — **`~/agents`**; подтверждения —
**full access** (`permissions.mode: allow_all`); управление линками — **новая секция
«Agents» в Eagle Dashboard** (`~/Developer/eagle-dash/`).
- 🔴 **Живой тест Docker (alpine:3.20 arm64): симлинк в bind-mount НЕ читается** —
цель резолвится от корня контейнера. Следствие: внешние проекты подключать
**bind-mount'ом** через манифест `~/Developer/agents-mounts.yaml`, не линком.
Hardlink каталоги не линкует и ФС не пересекает (`EXDEV`) — только файлы внутри тома.
- Уточнена система подтверждений: `ask` в Balda поддержан **только** для Telegram и
Slackagent, для Mattermost фейлится закрыто (`docs/architecture/interactive-questions.md`).
- План зафиксирован: [[personal/plans/balda-mm-phase4-agents]]. Работа **не начата** —
ждёт выбора Alex: Шаг 1 (`~/agents` + контейнер) или Шаг 4 (секция в Dashboard).
## Связанные заметки
- [[personal/projects/balda/mattermost-kraken-deploy]] — Фаза 1: MM на Kraken (arm64-блокер, деплой)
+125 -12
View File
@@ -16,13 +16,119 @@ related:
- '[[family/how-to/jellyfin-config]]'
- '[[family/projects/media-toolbox-taiga]]'
---
# Music Tags Repair — TrueNAS (7906 файлов)
> **Статус: ЭТАПЫ 1–2 ЗАВЕРШЕНЫ (2026-09-26). CSV v4 + ноты ревью отданы Alex. Правки файлов НЕ начаты.**
> **Статус: ЭТАПЫ 1–2 ЗАВЕРШЕНЫ (2026-09-26). CSV v5 + ноты ревью отданы Alex. Правки файлов НЕ начаты.**
> Следующий шаг — апрув Alex по нотам ревью, затем бэкап + применение.
> Прогонялись три волны проверок: полный аудит всех строк (`audit_plan.py` + `final_gate.py`) → 6 багов,
> затем третья волна по замечаниям Alex → 3 бага (en-dash + подстроковый поиск стоп-слов).
> Итог v4: 4777 `fix`, mojibake = 0, 80 тестов PASS, блок «требует решения» 296 → 28.
> Прогонялись **четыре волны** проверок: полный аудит всех строк (`audit_plan.py` + `final_gate.py`) → 6 багов,
> третья волна по замечаниям Alex → 3 бага (en-dash + подстроковый поиск стоп-слов),
> **четвёртая волна (ручной проход) → 10 багов (track-номера, disc-track, восклицательные знаки, регистр)**.
> Итог v5: 6773 `fix`, mojibake = 0, 121 тест PASS, блок «требует решения» 296 → 28.
## 🔴 ЧЕТВЁРТАЯ ВОЛНА: РУЧНОЙ ПРОХОД И TRACK-НОМЕРА (2026-09-26)
Alex: **«Ты блядь руками пройди и пофикси все что мне предлагал кроме того что неочевидно!
Чё за автообработка то!!»** + **«01 Hit The Road Jack (Kub vs Ray Charles), 06 Benassi I am a Dj
и другие подобные — в них тебе что не понятно? Почему ты вписал все включая трек намбер в тайтл?»**
Оба замечания верны. Автоматика выжата — дальше только глазами по всему файлу (8051 строка ревью).
### 🔴 ГЛАВНОЕ: ведущий номер трека ехал в title
Было: `title = "01 Hit The Road Jack (Kub vs Ray Charles)"`. Стало: `title = "Hit The Road Jack…"`, `track = 1`.
**Затронуто 5158 файлов** — это массовый случай, не единичный.
**Причина:** `PREFIX_RE = r"^\s*\d{1,3}\s*[-._)\]]\s*"` требовал **пунктуацию** после номера.
`01 Hit…` (пробел после номера) не матчился.
**Новое поле `new_track`** добавлено в CSV-план и в ноты ревью. Функция `split_track_number(stem) -> (track, title)`.
**Условия извлечения номера** (все проверены тестами `test_track_numbers.py`, 25 кейсов):
| Случай | Пример | Результат |
|---|---|---|
| Обычный ведущий номер | `01 Hit The Road Jack` | track=1, title=чисто |
| Номер в теге, не в имени | `24 Моцарт Турецкий марш` | track=24 |
| **Disc-track** | `1-01. Albibeno` | track=`01`, НЕ `1` (иначе весь диск = один номер) |
| **Ведущие нули** | `001 БУРАТИНО` | track=1 (3 цифры с нулём = позиция, не id плейлиста) |
| **Трёхзначный без нуля** | `159_Css`, `149_Thriving` | **не трогать** — это номер архива/плейлиста |
| Остаток — число | `05 48`, `11 140` | **не трогать** — это реальное название |
| 4 цифры = год | `1999 Жывой Концерррт` | **не трогать** |
| **Строчная после номера** | `50 cent - p.i.m.p` | **не трогать** — «50» часть имени артиста |
| `00` | `00-intro-family-affair` | **не трогать** — track 0 не существует в ID3 |
> 🔴 **ПИТФОЛЛ: `PREFIX_RE` НЕ должен срезать номер.** Сначала номер убрали из `PREFIX_RE`
> (чтобы `50 cent` не резался) — это **сломало** путь «отвергнутый `TrackNN` → `<Папка> <NN>`»,
> `numeric_title` подскочил 22 → 67. Решение: `title_from_name()` вызывает `split_track_number()`
> как единый источник истины по номерам, а не регекс.
### Остальные баги, найденные ручным проходом
| # | Баг | Пример | Фикс |
|---|---|---|---|
| 1 | Номер в **artist**, не title | `10 Armin Van Buuren feat. Jan Vayne - Serenity` → artist=`10 Armin…` | `split_track_number` перед `split_artist_title` в обеих ветках (`artist<-filename`, `artist<-filename(replaced-release)`) |
| 2 | `Track NN` оставался title | `11. Josh Wink - Higher State…` → title=`Track 11` | после срезания номера остаток `TrackNN` → брать имя файла |
| 3 | Disc-track схлопывался | `1-01..1-10` все → track=1 | `md = re.match(r"^\s*(\d{1,2})\s*[-–—]\s*(\d{1,2})…")` → track=MM |
| 4 | Восклицательные знаки в artist | `!!Dj_hottab_-_test…` → artist=`!!Dj hottab` | `clean_value`: `v.strip("!")`, `PREFIX_RE = r"^\s*!+\s*"` |
| 5 | Заглавные союзы из CP1251 | `Êîðîëü È Øóò` → `Король И Шут` | `normalise_case()` + `FUNCTION_WORDS` (29 файлов) |
| 6 | Ложный сплит в сборнике | `ДВАЖДЫ ДВА - ЧЕТЫРЕ` → artist=`ДВАЖДЫ ДВА` | не сплитить, если родитель в `NON_ARTIST` |
| 7 | `track = 0` | `00-intro`, `00 Geo…` | `if not num.strip("0"): return "", rest` |
**`normalise_case()` — узкое правило:** понижать русский служебный союз/предлог (`и`, `в`, `на`, `с`, `за`…)
только если (а) не первое слово, (б) значение **не в ALL-CAPS** (капс — стиль, `НЕ ХОДИТЕ В АФРИКУ` не трогаем),
(в) предыдущее слово не `&`/`+`/`and` (`Чиж & Со` — «Со» часть названия). 16 тестов.
### ⚪ Что ручной проход НЕ стал чинить (осознанно)
**Рукописный транслит — 126 файлов.** `EMINЭM`, `КняZz`, `Flёur`, `изBESTняк`, `Скаzки`, `ИNOМАРКИ`,
`Глюкоzа`, `Cо`, `WWWаленки`, `Закoлебал`. Это **оригинальное написание** (мода 2000-х) / реальные
псевдонимы (`КняZz`, `Flёur`), а **не порча байтов**. Заменять `Э`→`E` в произвольном имени = выдумывать.
Оставлено как есть, задокументировано как законное.
**`numeric_title` — 15 файлов, все законные:** `007` у Ленинграда, `48` у Пилота, `11 - 11`,
`Високосный год/06.mp3` (имени нет, взять негде).
**`album_equals_artist` — 101 файл, законные:** одноимённые альбомы (`Рубль/Рубль`, `Би-2/2001 Би-2`).
### 📊 Цифры четвёртой волны
| Метрика | v4 | **v5 (финал)** |
|---|---:|---:|
| `fix` | 4777 | **6773** |
| `no_change` | 3129 | 1133 |
| Ноты: «требует решения» | 28 | **28** |
| mojibake в выводе | 0 | **0** |
| Тесты | 80 | **80 + 41 новых = 121** |
| `bad_track` (track вне 1–99) | — | **0** |
| `no_visible_change` | 2301 | **0** (аудит теперь считает track) |
**Новые скрипты четвёртой волны:**
| Файл | Что делает |
|---|---|
| `manual_review.py` | Печать всех правок по папкам в читаемом виде (`T:`/`A:`/`L:`/`#:`). Аргументы `--dir`, `--limit`. Именно им пройден весь файл. |
| `test_track_numbers.py` | 25 тестов извлечения ведущего номера |
| `test_titlecase.py` | 16 тестов нормализации служебных слов |
| `test_separators.py` | 15 тестов разделителей artist/title (третья волна) |
**Обновлены:** `audit_plan.py` (класс `bad_track`, `track_not_canonical`; `no_visible_change` учитывает track),
`build_fix_plan2.py` (колонка `new_track`, `split_track_number`, `normalise_case`, `has_word`, `find_separator`).
### 📂 НОТЫ РЕВЬЮ РАЗБИТЫ ПО КАТЕГОРИЯМ
`2-medium-confidence.md` разросся до **1.1 МБ / 3932 чекбокса** — Obsidian тормозит.
`render_grouped_doc.py` теперь **рекурсивно** делит блок >1200 файлов по категориям
(глубина 1 → `!Rock&Folk`, глубина 2 → `!Rock&Folk/Пилот`), лимит `max_items=1200`.
Итог: **56 файлов**, крупнейший 317 КБ. `Rock&Folk` разложен по группам:
`Пилот` (281), `Ногу Свело` (153), `Номумий Тролль` (80), `Ночные Снайперы` (95), `Пикник` (83).
Функции: `note_body()`, `split_by_category(depth, max_items)`. Индекс `music-tags-review.md`
ссылается на все созданные ноты.
> ⚠️ **Собрано в `/tmp/rg3/` (56 файлов), в vault ЕЩЁ НЕ СКОПИРОВАНО.** Старая версия
> (296 «требует решения») лежит в `personal/plans/music-tags-review/`. Нужно: скопировать
> `/tmp/rg3/*.md` → vault, удалить старые `2-medium-confidence*.md`, синк.
## 📌 ПЛАН ТРЕТЬЕЙ ВОЛНЫ (2026-09-26, апрув Alex) — «сам проставь, потом на апрув»
@@ -503,11 +609,12 @@ if cyr < 2: # одна буква — совпадение
| # | Шаг | Статус |
|---|---|---|
| 1 | **Инвентаризация** read-only: `ffprobe` по 7906 файлам → CSV | ✅ **ГОТОВО (v2)** — `tag_inventory2.py`, `probe_failed`=0 |
| 2 | **CSV с предлагаемым исправлением** → Alex | ✅ **ГОТОВО (v4)** — `~/Downloads/music-tags/tag-fix-plan.csv`, 4777 `fix` / 3129 `no_change` |
| 2a | **Ноты для ревью в Obsidian** → Alex (запрос Alex) | ✅ **ГОТОВО (v4)** — `personal/plans/music-tags-review/`, пересинкнуто |
| 2 | **CSV с предлагаемым исправлением** → Alex | ✅ **ГОТОВО (v5)** — `~/Downloads/music-tags/tag-fix-plan.csv`, 6773 `fix` / 1133 `no_change`, +колонка `new_track` |
| 2a | **Ноты для ревью в Obsidian** → Alex (запрос Alex) | ✅ **ГОТОВО (v5)** — 56 файлов, разбиты по категориям; ⚠️ собрано в `/tmp/rg3/`, в vault НЕ скопировано |
| 2b | **Полный аудит всех строк** (`audit_plan.py` + `final_gate.py`) → 6 багов исправлено | ✅ **ГОТОВО** (запрос Alex «Сам проверил весь файл?») |
| 2c | **Третья волна** по замечаниям Alex: чекбоксы, en-dash, подстроковый поиск стоп-слов | ✅ **ГОТОВО** — 3 бага, блок «требует решения» 296→28 |
| 3 | **Апрув Alex по нотам ревью** → только после этого правки | ⏳ **ЖДЁМ** (v1–v3 отклонены, v4 + ноты отданы) |
| 2d | **Четвёртая волна (ручной проход)**: track-номера, disc-track, `!`-префиксы, регистр, ложный сплит | ✅ **ГОТОВО** — 10 багов, 5158 файлов получили track, 121 тест PASS |
| 3 | **Апрув Alex по нотам ревью** → только после этого правки | ⏳ **ЖДЁМ** (v1–v4 отклонены, v5 + ноты отданы) |
| 4 | **Бэкап** — копировать **только перезаписываемые** файлы в `Music/backup/` | ⏳ |
| 5 | **Ремонт** — перекодировка mojibake + восстановление из имён путей + чистка мусора | ⏳ |
| 6 | **Приёмка** — Alex слушает выборку | ⏳ |
@@ -568,20 +675,26 @@ if cyr < 2: # одна буква — совпадение
| `diagnose_probe_failures.py` | Анализ заголовков файлов, упавших в `probe_failed`: ID3-версия, `hdr_ok`, размеры |
| `test_encoding_guard.py` | **32 регресс-теста (v1).** Защита от порчи корректного UTF-8 (`Björk`, `Saint-Saëns`, `Noël`) + `split_artist_title` |
| `test_plan2.py` | **65 регресс-тестов (v3, актуальный).** Пословная конверсия смешанных строк, короткие токены (`7Á`→`7Б`), контейнеры не становятся артистом, release-папки, отказ сплита на event-именах |
| `render_grouped_doc.py` | **Генератор нот для Obsidian.** CSV → 3 блока по уверенности + обзор, группировка по папкам, чекбоксы, оглавление. **v4:** чекбоксы без префикса `> ` (иначе Obsidian парсит их как цитату и они не кликаются); `ROOT = /storage/Music/` (пути в CSV относительные от `/storage`, не от `/mnt/...`); блок «требует решения» = `нет artist И нет album` |
| `test_separators.py` | **15 регресс-тестов (v4).** Разделители `–`/`—`/приклеенный дефис; отказ сплита на `Рок-н-ролл`, `БИ-2`; event-имена (`НАШЕСТВИЕ 2009 - …`) не расщепляются; `VA - Title` и `Сказка - Теремок` возвращаются целиком. Зовётся `python3 test_separators.py` в `tools/music-tags/` |
| `test_separators.py` | **15 тестов (третья волна).** Разделители `-`/`–`/`—` в artist/title, `Doray- Apocalypse`, отказ на event-именах |
| `test_track_numbers.py` | **25 тестов (четвёртая волна).** `split_track_number`: disc-track `1-01`, ведущие нули `001`, трёхзначные `159_`, `05 48`, `50 cent`, год `1999` |
| `test_titlecase.py` | **16 тестов (четвёртая волна).** `normalise_case`: `Король И Шут`→`Король и Шут`, ALL-CAPS не трогается, `Чиж & Со` защищён |
| `manual_review.py` | **Ручной проход (четвёртая волна).** Печать всех правок по папкам: `T:`/`A:`/`L:`/`#:` префиксы, `--dir`, `--limit`. Именно им пройден весь файл глазами |
| `render_grouped_doc.py` | **Генератор нот для Obsidian.** CSV → блоки по уверенности + обзор. Рекурсивное деление блоков >1200 файлов по категориям (`note_body`, `split_by_category(depth, max_items)`). Чекбоксы БЕЗ `> ` |
| `final_gate.py` | **Гейт полноты.** Проверяет совпадение числа строк с инвентарём, отсутствие заглушек/пустых title/U+FFFD/правок без `source` |
| Артефакт | Где | Что |
|---|---|---|
| CSV-инвентарь v2 | `/mnt/RED_2TB/storage/tmp/tag-inventory2.csv` (NAS) → `~/Downloads/music-tags/tag-inventory.csv` (Mac) | 7906 строк, колонка `source`, `probe_failed`=0 |
| **CSV-план правок v4** | `~/Downloads/music-tags/tag-fix-plan.csv` (Mac, ~2.2 МБ) | **Отдан Alex 2026-09-26 (финал).** 4777 `fix` / 3129 `no_change` / 0 `probe_failed` |
| **CSV-план правок v5** | `~/Downloads/music-tags/tag-fix-plan.csv` (Mac, ~2.2 МБ) | **Отдан Alex 2026-09-26 (финал).** 6773 `fix` / 1133 `no_change` / 0 `probe_failed`, +`new_track` |
| Копия БД Jellyfin | `/tmp/jf-copy.db` (Mac) | Для чтения API-ключа (см. `[[family/how-to/jellyfin-config]]`) |
| Копия плана на NAS | `/tmp/tag-fix-plan.csv` (NAS) | Для запуска `id3_direct.py`/`check_ddt_album.py` с хостовым Python |
| **Ноты ревью в vault** | `personal/plans/music-tags-review/` (4 файла) | Обзор + 3 блока по уверенности; **вход для апрува Alex**, синкнуто |
| **Ноты ревью в vault** | `personal/plans/music-tags-review/` | Ранее 4 файла; **v5 — 56 файлов**, разбитых по категориям (Rock&Folk по группам). ⚠️ собрано в `/tmp/rg3/`, в vault ещё НЕ скопировано |
### Колонки `tag-fix-plan.csv`
`path | current_verdict | cur_title | cur_artist | cur_album | new_title | new_artist | new_album | action | source`
`path | current_verdict | cur_title | cur_artist | cur_album | new_title | new_artist | new_album | new_track | action | source`
**v5:** добавлена колонка **`new_track`** (1–99 или пусто). Заполнена у 5158 строк.
Последняя колонка `source` показывает, **откуда** взято значение — `title<-filename`,
`artist<-folder`, `artist<-filename`, `title<-folder+tracknum`, `translit artist tag; folder is Cyrillic`.