[2026-09-27] eagle: personal/plans/music-artist-albumartist-repair.md personal/tech/batch-data-edit-review-loop.md personal/tech/whale-soul-answer-format.md
This commit is contained in:
1 parent
204b254cc5
commit
d787749dd5
3 files changed
+334
-1
No files matched your search
@@ -36,6 +36,96 @@ related:
|
||||
6. **Инвариант полноты:** `sum(частей) == total`. Проверять **сумму**, не только группы.
|
||||
7. **Не выдавать выборку за полную проверку.**
|
||||
|
||||
## 🔴 Урок сессии 29-ОКТИ (2026-09-27): ФИЛЬТР ВЫВОДА ЖИВЁТ ВНУТРИ ГЕНЕРАТОРА
|
||||
|
||||
**Инстанс:** канонный дифф `~/Downloads/music-tags/DIFF-base-vs-applyplan-v3.csv`,
|
||||
сборщик `/tmp/build_canon_diff_v3.py`, источник `/tmp/apply-plan-v3.csv`.
|
||||
|
||||
### 1. 🔴 Пост-обработчик НЕ защищает от регенерации
|
||||
|
||||
Убрал 117 шумовых строк `track N → N/M` **отдельным скриптом** (`/tmp/drop_track_noise.py`) —
|
||||
чисто стало 945 строк. Следующая пересборка диффа **вернула все 117**: сборщик о фильтре
|
||||
не знал и сгенерировал их заново.
|
||||
|
||||
🔑 **Правило: фильтр вывода (шум-термы, исключения, нормализация) обязан находиться
|
||||
ВНУТРИ генератора-производителя артефакта, а не в скрипте-постобработчике.**
|
||||
Иначе каждый прогон генератора = регрессия, и её надо ловить руками.
|
||||
|
||||
**Проверка дисциплины:** перезапустить генератор ВТОРОЙ раз и сверить `wc -l` + `md5`.
|
||||
Идемпотентный генератор даёт те же числа.
|
||||
|
||||
### 2. Шум-термы: отличать правку от смены ФОРМАТА
|
||||
|
||||
`track_number` в базе Navidrome — **целое** (`1`..`24`). Значения `6/14` (номер/всего) и
|
||||
`08` (ведущий ноль) для плеера означают **то же самое число**, а `TRCK` с `/` ломает часть
|
||||
парсеров и сортировку.
|
||||
|
||||
🔑 **Критерий «не правка»:** если новое значение различается со старым только ФОРМОЙ и
|
||||
приводится к нему приведением типа (`int("6/14".split("/")[0]) == 6`, `int("08") == 8`) —
|
||||
это шум, а не правка. Выбрасывать из диффа.
|
||||
|
||||
Доказательство (факт из БД): `track_number LIKE '%/%'` → **0**, `GLOB '0[0-9]*'` → **0**.
|
||||
То есть база уже хранит целое, правки были впустую.
|
||||
|
||||
```python
|
||||
def _is_track_noise(r): # внутри генератора, не снаружи
|
||||
if r[3] != "track":
|
||||
return False
|
||||
old, new = r[4].strip(), r[5].strip()
|
||||
m = re.fullmatch(r"(\d+)/(\d+)", new)
|
||||
if m and old == m.group(1):
|
||||
return True # 6 -> 6/14 : значение не изменилось
|
||||
m2 = re.fullmatch(r"0+(\d+)", new)
|
||||
if m2 and old == m2.group(1):
|
||||
return True # 8 -> 08 : значение не изменилось
|
||||
return False
|
||||
```
|
||||
|
||||
### 3. 🔴 Число групп ≠ число строк ≠ число файлов
|
||||
|
||||
Доложил «genre 911 строк», Alex заподозрил расхождение. Реальность:
|
||||
**911 — число ГРУПП `(папка, значение)`**, из них схлопнулось **427 строк** диффа,
|
||||
а покрытие — **7861 файл (100%)**.
|
||||
|
||||
🔑 **В отчёте всегда называть, ЧТО именно посчитано:** группы / строки / файлы.
|
||||
Голое число без единицы измерения = гарантированный спор.
|
||||
|
||||
### 4. Схлопывание: ключ и что писать в `old`
|
||||
|
||||
- Ключ группировки: `(folder, field, new)`. **Старое значение в ключ НЕ входит** —
|
||||
иначе группы не собираются никогда (у каждого трека свой старый тег).
|
||||
- `old` при схлопывании: единственное значение, если все совпали; иначе `<N разных>`.
|
||||
- Одна папка может дать НЕСКОЛЬКО строк по одному полю, если у неё несколько `new`
|
||||
(пример: сборник `Sbornik_Novij_Rok`, `genre` = Folk/Pop/Rock/Punk/Rap). Это норма
|
||||
для сборника, не дефект.
|
||||
|
||||
### 5. Сортировка канонного диффа — `field` ПЕРВЫМ ключом
|
||||
|
||||
Alex: «**почему сортировки по филду нету в диффе**».
|
||||
Сортировка по `(folder, field, new)` мешает: внутри папки ПАПКА/ТРЕК чередуются, `field`
|
||||
идёт вразнобой. Правильно: `(field, folder, path)` — блоки по полю сквозные.
|
||||
|
||||
```python
|
||||
FIELD_ORDER = {f: i for i, f in enumerate(FIELDS)}
|
||||
rows.sort(key=lambda r: (FIELD_ORDER[r[3]], r[1], r[2], r[5]))
|
||||
```
|
||||
|
||||
### 6. Детектор дефекта: критерий «мусор», не «не равно эталону»
|
||||
|
||||
Детектор «правило корня не применилось» через `new_album != basename(folder)` дал **6161**
|
||||
ложных. Причина: он валится на **осмысленных** значениях (`Все пройдёт милая`, `Попса`,
|
||||
`Классика`) — правило корня там и не должно применяться.
|
||||
|
||||
🔑 **Формулировать детектор через `is_junk(значение)`, а не через «отличается от
|
||||
ожидаемого».** Иначе тысячи ложных срабатываний и потеря доверия к проверке.
|
||||
|
||||
### 7. Перед «фиксом» мусорного значения — спросить, не план ли это
|
||||
|
||||
76 файлов с `album='Разное' / 'Избранное' / 'Песни' / 'misc'` выглядели дефектом.
|
||||
Alex: «**план такой и был что папку Разное мы кидаем как альбом "Разное" а не разгребаем**».
|
||||
|
||||
🔑 **Мусорное на вид значение может быть осознанным решением. Спрашивать, не «улучшать».**
|
||||
|
||||
## 🔴 Уроки волны 38 (2026-09-26)
|
||||
|
||||
### 1. Частичный фикс фильтра-дроппера прячет остаток
|
||||
|
||||
Reference in new issue
Block a user