Files
obsidian-vault/personal/plans/lampac-watched-to-watchlist.md
T

22 KiB
Raw Blame History

title, type, status, namespace, created, updated, tags, related
title type status namespace created updated tags related
Отметка «просмотрено» из Lampa → watchlist.md plan planned-not-implemented personal 2026-09-23 2026-09-23
lampac
lampa
watchlist
timecode
torrserver
kraken
sync-up
family/projects/watchlist-automation
personal/plans/lampac-watchlist-plugin
family/documents/movies-watchlist

Отметка «просмотрено» из Lampa → movies-watchlist.md

Проблема (Alex, 2026-09-23): «А у нас из лампы уходят отметки просмотрено в список галочками как было в jellyfin?» Ответ: нет. Задача — сделать, чтобы уходили.


1. Диагноз (проверено фактами 2026-09-23)

1.1 Канал Jellyfin мёртв — и не он нужен

  • sync_up.py умеет только Jellyfin (GET /Users/{id}/Items?IsPlayed=true) → [x].
  • Jellyfin на Кра́кене хранит BaseItems: 53 записи, movie — 0, series — 1. UserData.IsPlayed=true — 0. PlaybackActivity — 0.
  • Причина: смотреть стали через Lampa + TorrServer, а не Jellyfin. Плюс с 2026-09-22 автозакачки отключены → в Jellyfin ничего не прибавляется.
  • Вывод: Jellyfin как источник — тупик. Фактический источник просмотров — Lampa.

1.2 Lampa уже пишет просмотр на сервер — канал ЕСТЬ

Модуль Lampac TimeCode (sync):

Элемент Значение
Модуль /lampac/module/Sync/TimeCode/ (Controller.cs, plugin.js, SqlContext.cs)
БД /lampac/database/TimeCode.sql (SQLite; на хосте $H/lampac/database/TimeCode.sql)
Таблица timecodes
Колонки Id, user, identity, card, item, position, duration, percent, profile, deleted, watched_at, updated_at, extra
Запись ставит Lampa → POST /timecode/add (легаси) или /timecode/set (нативный), пачками ≤10 req/s
Читает GET /timecode/all?card_id=...
Ключ личности identity = {tmdb_id}_movie — ровно то, что нужно для матча со списком

🔴 ФОРМАТ identity — ОБЕ ФОРМЫ СУЩЕСТВУЮТ. В README описана movie-674 (дефис, префикс), но card выводится как 674_movie. Живая запись показала именно дефисную форму. Regex должен принимать обе:

m = re.match(r'^(?:(movie|tv)-)?(\d+)', str(identity))

⚠️ Живая запись 2026-09-23 (снята дважды, значения менялись):

снимок 1:  identity=1758655_movie  card=movie-1758655
           position=1222.0  duration=6898.0  percent=18.0
           watched_at=0            deleted=0

снимок 2:  identity=movie-1758655  card=1758655_movie
           position=1222.0  duration=6898.0  percent=18.0
           watched_at=1790053739498   deleted=0

🔴 Вывод из снимка 2: watched_at > 0 при percent = 18. Значит watched_at ставится при любой записи таймкода, а не только при досмотре. Критерий «watched_at > 0 = просмотрено» — НЕНАДЁЖЕН. Порог должен быть по percent.

⚠️ Фильм 1758655 НЕ найден в watchlist.json (368 позиций с TMDB-ID). Это не watchlist-позиция — смотрится в Lampa из другого источника. Планируемое поведение: не найдено в json → тихо пропустить, не ошибка.

⚠️ sqlite3 в контейнере НЕТ (обычный случай у Alex) — БД читать через docker cp lampac:/lampac/database/TimeCode.sql /tmp/ + python3 файлом-скриптом (не -c, каждый inline = апрув). Готовые пробы: /tmp/probe_cache.py, /tmp/probe_match.py. На хосте Кра́кена python3 есть.

1.4 Порог «просмотрено» — ответ из документации модуля

README модуля (/lampac/module/Sync/TimeCode/README.md), раздел «Нативные клиенты»:

«Отдельного флага "просмотрено" нет: это percent. road Lampa его не несёт и не несла никогда, порог завершённости — политика клиента, а не свойство записи.»

Значит порог задаёт клиент (Lampa на ТВ), сервер его не знает. Две колонки:

Колонка Кто ставит Значение
watched_at клиент, мс Когда смотрели. Арбитр конфликтов между устройствами
updated_at сервер, мс Когда приняли строку. Курсор дельт ?since=
percent клиент Прогресс; флага «просмотрено» отдельно нет

Отсюда критерий отбора строки — 🔴 ПЕРЕСМОТРЕН по факту (см. выше):

deleted = 0   И   percent >= ПОРОГ

⚠️ deleted=1 — это снятая отметка (надгробие), position/percent обнулены, duration сохранён. Такие строки не считать просмотром. 🔴 watched_at в критерий НЕ ВХОДИТ — доказано живой записью: watched_at > 0 при percent = 18. Это просто «когда последний раз писали строку», ставится любым апдейтом таймкода.

Порог по percent — единственное надёжное. percent = 18 = начал смотреть, не досмотрел → [x] НЕ ставить. Точное значение порога (90? 95?) снять с живого досмотра: досмотреть фильм в Lampa, вычитать percent, записать факт сюда.

1.5 Что уже есть в watchlist.json — tmdb_id готов к матчу

$H/lampac/wwwroot/watchlist.json → channels.{films,new,cartoons,anime}.items[].

Поля позиции (ВСЕ, проверено):

{"name":"Простите за беспокойство","original":"Sorry to Bother You","year":2018,
 "rating":0,"image":"https://image.tmdb.org/t/p/w500/2QoxL3MMH8fvlHG7etFKfqLLnAe.jpg",
 "href":"https://www.themoviedb.org/movie/424781"}

🔴 TMDB-ID живёт ТОЛЬКО в href (.../movie/424781). Отдельного поля tmdb_id в json позиции НЕТ — это описание парсера каталога, а не json-схемы.

🔴 Поля с оригинальной строкой из .md в json НЕТ. Alex предположил, что оно есть — проверено, отсутствует. Значит матч json↔.md идёт по name + year, и обязан использовать ту же нормализацию, что parser._norm_title() (срезает markdown-ссылку, (2025), IMDb 7.1 KP 6.6, приводит к [0-9a-zа-яё]). Сырое имя не сравнивать — в .md строка выглядит так:

- [ ] ⬇️ [Под огнём](https://www.kinopoisk.ru/film/5455250/) (2025) IMDb 7.1 KP 6.6

1.6 Мост TMDB ↔ KP через .resolve_cache.json — НЕ РАБОТАЕТ

Кэш резолвера: 483 записи, все не-null. Структура:

{"status":"ok","candidate":{"tmdb_id":412656,"kp_id":null,"title":"Поступь хаоса",
 "year":2021,"media_type":"movie","score":1.0,"rating":6.548,"genres":[14,878,12]}}

🔴 kp_id = null у всех записей. Ключ существует, значение пустое. Моста TMDB↔KP в кэше нет.

Но он и не нужен. .md хранит KP-ссылки (kinopoisk.ru/film/, 68 штук), timecodes — TMDB-ID. Прямого моста действительно нет, однако цепочка замкнута через TMDB-ID, который есть с обеих сторон:

timecodes.identity (TMDB) → watchlist.json.href (TMDB) → name+year → строка .md

KP в этой цепочке не участвует вообще.

⚠️ Питфолл разведки: поиск «есть ли kp_id» по подстроке в JSON-блобе дал ложное «458 записей с kp-полем» — потому что строка "kp_id" присутствует с null. Проверять значение, а не наличие ключа.


2. Решение

Новый модуль в watchlist-sync: sync_from_lampac.py. Читает timecodes → сопоставляет с watchlist.json по TMDB-ID из href → берёт name + year → находит строку .md по нормализованному названию → ставит [x] тем же sync_up._mark_watched, что уже работает для Jellyfin. Вызывается в конце watchlist-nightly.sh — после sync-up, перед sync-vault (push).

Цепочка матча (единственная рабочая):

timecodes.identity   "movie-1758655" / "1758655_movie"
        │  regex ^(?:(movie|tv)-)?(\d+)
        ▼
   tmdb_id = 1758655
        │  watchlist.json: href = ".../movie/1758655"
        ▼
   {name, year}  →  нормализация + год
        ▼
   строка movies-watchlist.md  →  [x]

KP-ID (kinopoisk.ru/film/, 68 штук в .md) в цепочке не участвует — моста TMDB↔KP нет и не требуется.

Почему так, а не «писать в Jellyfin»: Jellyfin не источник просмотров и не имеет файлов для большинства позиций. Единственный честный источник — Lampa.

Статус на конец сессии: план готов, код не написан. Разведка закрыта (цепочка проверена, одна живая запись прогнана — матч дал 0, потому что фильм вне вотчлиста; это ожидаемо, не баг).


3. Шаги

  1. Бэкап. TimeCode.sql + movies-watchlist.md + watchlist-sync/ в ~/backup-watchlist-before-lampac-sync-<ts>/. Без бэкапа не начинать.
  2. Новый файл watchlist_sync/sync_from_lampac.py:
    • читает БД по пути из env LAMPAC_TIMECODE_DB (default /lampac/database/TimeCode.sql; хост-путь подставить в .env);
    • отбирает deleted = 0 И percent > 0 И watched_at > 0 (см. 1.4 — «просмотрено» = watched_at, не percent);
    • identity → tmdb_id; форматы movie-674, 674_movie, tv-1851-s1e2; на этапе 1 только фильмы, tv-* пропускать;
    • position/duration/percent выводить в лог для отладки — по ним видно, насколько клиент реально досмотрел;
    • строит {tmdb_id: title} из watchlist.json (channels.*.items[]);
    • для каждого найденного [ ]-строки в .md — [x] через _mark_watched;
    • --dry-run по умолчанию, --apply для записи; печатает каждое действие.
  3. Копия для теста. Dry-run на копии боевого .md, сверить: сколько строк перешло, какие именно. Только после сверки — --apply на боевом.
  4. .env на Кра́кене: LAMPAC_TIMECODE_DB=/srv/dev-disk-by-uuid-6194539b-03e0-4f33-986b-4da09834e82f/lampac/database/TimeCode.sql (БД лежит на хосте, не в контейнере — путь проверен).
  5. Крон. В ~/scripts/watchlist-nightly.sh — новый вызов после sync-up, до sync-vault (push). Правка через sudo cp (~/scripts/ — root:root 755). Бэкап скрипта до правки. Сумма новой версии зафиксировать в доке.
  6. Порог. 🔴 По percent, НЕ по watched_at — пересмотрено по факту (см. 1.4): watched_at > 0 встречается при percent = 18. Стартовое значение percent >= 90. Уточнить с живого досмотра: досмотреть в Lampa, вычитать percent, вписать факт сюда. percent = 18 проходить не должен.
  7. Документировать в family/projects/watchlist-automation.md (раздел про синк)
    • ссылка из personal/plans/lampac-watchlist-plugin.md.
  8. Проверка матча — обязательна до записи. Прогнать /tmp/probe_match.py (цепочка timecodes → watchlist.json → .md) и убедиться, что хоть одна позиция находится. Если находится 0 — матч сломан, --apply не запускать. Сейчас: 1758655 в json не найден (вне watchlist) → 0 совпадений ожидаемо.

4. Грабли (известные заранее)

# Граблю Обход
1 sqlite3 в контейнерах НЕТ docker cp + файл-скрипт python3 /tmp/x.py на хосте
2 ~/scripts/ на Кра́кене root:root 755 — scp даёт Permission denied только sudo cp
3 Кириллица в inline-ssh BLOCKED tirith — писать скрипт файлом (write_file), не heredoc
4 identity для сериалов = tv-1851-s1e2, серия в card этап 1 — только фильмы; сериалы отдельно
5 percent сбрасывается в 0 при deleted фильтровать deleted = 0
6 Матч по названию ломается на год/рейтингах нормализация _norm_title() + год как второй ключ
7 timecodes переживает рестарт лампака (SQLite на хосте, не в контейнере) ок
8 Крон-файлы возвращать только crontab /tmp/файл; бэкап crontab -l > f обязателен —
9 🔴 identity бывает в ДВУХ формах (movie-674 и 674_movie) regex ^(?:(movie|tv)-)?(\d+)
10 🔴 watched_at не признак досмотра — бывает >0 при percent=18 порог только по percent
11 🔴 inline python3 -c уходит на апрув и истекает все пробы — файлами
12 ssh kraken резолвится в мёртвый .15 работать через kraken@192.168.1.14
13 Длинные ssh + тяжёлый jq рвут соединение («banner exchange») разбивать на короткие команды, тяжёлое — файлом

5. Проверка результата

  • sync_from_lampac.py --dry-run находит запись 1758655_movie (18% — не проходит)
  • После ручной отметки фильма в Lampa до 100% → --dry-run показывает его, --apply ставит [x]
  • [x]-строка переехала вверх (поведение _mark_watched как у Jellyfin-канала)
  • Лог ночного прогона содержит строку от sync_from_lampac
  • Alex видит: фильм, отмеченный в Lampa, пропал из «Мой список» в каталоге после ночного прогона
  • git log в vault — коммит с изменённым .md от Hermes

6. Что НЕ делается

  • Не трогаем arr.py (searchForMovie: True) — отдельная задача на апруве.
  • Не возвращаем sync-down в крон — закачек быть не должно.
  • Не пишем в Jellyfin — он не источник просмотров.
  • Не трогаем cleanup — отдельная задача.

7. Открытый вопрос — ЗАКРЫТ документацией ✅

Alex сказал «в душе не ебу как она там ставится, ищи документацию» — и был прав. Ответ найден в README модуля, вопрос задавать не следовало.

README TimeCode, раздел «Нативные клиенты»:

«Отдельного флага "просмотрено" нет: это percent. road Lampa его не несёт и не несла никогда, порог завершённости — политика клиента, а не свойство записи.»

То есть порог — политика клиента (Lampa на ТВ), сервер его не знает и не хранит. Отсюда: единственный переносимый признак — percent, и значение порога надо взять у клиента, а не у сервера.

Дополнительно опровергнуто фактом: живая запись дала watched_at > 0 при percent = 18. Значит watched_at — «когда последний раз писали строку», а не «досмотрел». Использовать его как критерий — ошибка.

Как снять точный порог (следующая сессия):

  1. Досмотреть в Lampa фильм из вотчлиста (не 1758655 — его нет в json).
  2. Вычитать percent из timecodes (через /tmp/probe_match.py).
  3. Вписать наблюдённое значение в этот раздел и в шаг 6.

8. Связанные находки этой сессии (не часть плана, но проверено)

8.1 Стек после ребута

14/14 контейнеров поднялись сами, Radarr/Sonarr queue 0, Transmission 9 торрентов всё Done/Idle (Sum down 0.0), диск 31% (539G/1.8T), Lampac :9118 → 200, Jellyfin :8096 → 302. Ночные скрипты отработали: cleanup 02:00, nightly 01:00, catalog 02:30–02:32 (каналов 4, позиций 392, .md 708 строк / 615 позиций). Vault git чистый. Записано в family/projects/watchlist-automation.

8.2 🔴 Лог nightly живёт в /tmp/ → умирает при ребуте

Крон: 0 1 * * * bash ~/scripts/watchlist-nightly.sh >> /tmp/watchlist-nightly.log. /tmp чистится при перезагрузке — сегодняшний прогон следа не оставил, вывод восстановлен только косвенно (по mtime артефактов). Остальные логи уже в ~/logs/ (watchlist-catalog.log, watchlist-cleanup.log). Фикс (перенести в ~/logs/) предложен, ждёт команды Alex.

8.3 🔴 ssh kraken резолвится в МЁРТВЫЙ адрес

ssh kraken → DNS отдаёт 192.168.1.15 → порт 22 открыт, но sshd рвёт соединение на banner exchange. Рабочий адрес — 192.168.1.14 (проверено: ALIVE_14, uptime 6:27, load 0.02).

Причина в ~/.ssh/config: proxy-команда

if ifconfig | grep -q 10.99.0.2; then nc 10.99.1.2 22; else nc kraken 22; fi

На Mac интерфейса с 10.99.0.2 нет → уходит на nc kraken 22 → мёртвый .15. WG-туннель до Кра́кена не поднят.

Обход до восстановления WG: всегда ssh kraken@192.168.1.14 явно. Проверка: nc -z -w 5 192.168.1.14 22.

8.4 Commit незакоммиченных фиксов сирот

В рабочем дереве watchlist-sync висели незакоммиченные правки, которые уже работали боевым прогоном: cli.py (+7) и parser.py (+65) — фикс «ОСИРОТЕВШИЕ СТРОКИ» в process_thumbs() + явные ветки вывода 👍/👎/[x]/[drop]. Закоммичены отдельным коммитом ffe7974 (не смешаны с новым кодом).

_mark_watched в sync_up.py уже содержит фикс эмодзи-префикса (_PREFIX поглощает эмодзи с обеих сторон ⬇️) — переиспользуется без правок.

8.5 Внешний TMDB API с Кра́кена недоступен

curl https://api.themoviedb.org/3/movie/... без ключа → Invalid API key. Ключ живёт в $WS/.env (TMDB_KEY), прямой вызов из шелла не проходит. Для проверки названий использовать watched_at-путь через watchlist.json, а не TMDB API.