[2026-05-15] obsidian-vault-strategy: deep research + 3-project plan

2026-05-15 16:27:56 +06:00
1 parent 918a31286f
commit e4e7ffd8d5
@@ -0,0 +1,284 @@
+---
+created: '2026-05-15'
+updated: '2026-05-15'
+tags:
+  - personal-os
+  - obsidian
+  - vault
+  - strategy
+  - llm-wiki
+status: research-complete
+---
+# Obsidian Vault Strategy & LLM Wiki Plan
+
+> Deep research 2026-05-15.
+> Источники: Karpathy LLM Wiki gist (5000+ stars), LLM Wiki v2 (rohitg00, 1200+ stars), claude-obsidian (PyShine), Ar9av/obsidian-wiki (DeepWiki), Tom Nguyen 6-month report, Nodus Labs knowledge graph extension, mathisgauthey (r/ObsidianMD, 1000+ upvotes), MOC+Dataview guide, Obsidian+Claude Code integration, LifeOS, Obsidian Forum.
+
+---
+
+## Часть 1 — Текущее состояние vault
+
+### Что есть
+
+| Тип контента | Примеры | Где лежит |
+|---|---|---|
+| Личные списки | Список дел, Фильмы, Книги, Покупки | `personal/documents/`, `family/documents/` |
+| Брифы и планы | Daily brief, weekly plan, inbox triage | `work/briefs/` |
+| Проектные заметки | executor, media-pipeline, wiki | `personal/projects/`, `family/projects/` |
+| How-to документация | HTPC, Кракен, WireGuard | `family/how-to/` |
+| Knowledge wiki | Архитектура personal-os, схема БД | `wiki/` |
+
+### Что не работает
+
+- **Граф пустой** — 90% заметок без frontmatter, aliases, wikilinks. Поиск находит только по точному имени файла.
+- **Воркер переименовал файлы** без aliases → `✅ Список дел` → `todo-list.md`, поиск сломан.
+- **Wiki-curation делает лишнее** — Task 3b (раскладка файлов по папкам) не относится к Karpathy, добавлен ошибочно.
+- **Нет накопления знаний** — каждый research-сеанс начинается с нуля. Пример: анализ Obsidian PKM занял 15 минут и 10+ web запросов, которые нужно будет повторять снова.
+- **Нет проактивных исследований** — агент реагирует на запросы, не инициирует изучение пробелов.
+
+---
+
+## Часть 2 — Анализ подходов из research
+
+### Karpathy LLM Wiki (оригинал, апрель 2026)
+
+**Суть:** LLM читает сырые источники → строит wiki с entity/concept pages → cross-references → compounding knowledge base. Человек почти не пишет в wiki руками.
+
+**Ключевые цифры:** Karpathy вырастил wiki на одну тему до ~100 статей, 400k слов, не написав ни одной напрямую. Tom Nguyen (6 месяцев в production): 77 wiki pages, 30+ источников, 13 custom skills читают из wiki.
+
+**Три операции:**
+1. **Ingest** — дропаешь источник, агент создаёт/обновляет 10-15 wiki pages
+2. **Query** — агент читает index.md, находит нужные pages, даёт ответ со ссылками
+3. **Lint** — проверка orphan pages, противоречий, stale claims, пробелов
+
+**Применимость к нам:** Wiki для накопления knowledge (техника, workflows, инфраструктура, AI tools) — да. Для личных списков — нет.
+
+---
+
+### LLM Wiki v2 (rohitg00) — production extensions
+
+**Ключевые расширения:**
+
+**4-tier memory pipeline:**
+```
+Working Memory   → сырые наблюдения текущей сессии
+Episodic Memory  → сжатые саммари сессий
+Semantic Memory  → кросс-сессионные факты (wiki)
+Procedural Memory → паттерны, workflows, skills
+```
+
+**Confidence scoring:** каждый факт имеет score (кол-во источников, свежесть, противоречия). Устаревает со временем, усиливается при подтверждении.
+
+**Event-driven automation:**
+```
+On new source    → auto-ingest, extract entities, update graph
+On session end   → compress session into observations, file insights  
+On query         → check if answer worth filing back
+On schedule      → periodic lint, consolidation
+```
+
+**Кристаллизация:** завершённые debug/research сессии автоматически дистиллируются в wiki pages.
+
+---
+
+### claude-obsidian / Ar9av/obsidian-wiki — автономные skills
+
+Наиболее зрелые production реализации. Ключевые skills:
+
+**`wiki-synthesize`** — сканирует vault, находит concept pairs которые часто co-occur но не имеют synthesis page. Строит `Concept A × Concept B` pages автоматически.
+
+**`wiki-research` (3-round autonomous loop):**
+- Round 1: decompose topic → 3-5 angles → broad search
+- Round 2: find gaps/contradictions → targeted search  
+- Round 3: resolve contradictions → synthesis
+
+**`wiki-capture`** — конвертирует AI-human сессии в declarative wiki notes. Эта сессия (анализ Obsidian PKM) должна была бы стать wiki pages автоматически.
+
+**`autoresearch` (claude-obsidian):**
+```
+/autoresearch topic
+→ Round 1: query wiki → identify gaps → ingest sources
+→ Round 2: re-query → find remaining gaps → more sources
+→ Round 3: synthesis → comprehensive result with citations
+```
+
+**Session hooks:**
+- `SessionStart` → load hot cache, read schema
+- `PostToolUse` → auto-commit if files changed
+- `Stop` → save final state, update manifest
+
+---
+
+### Knowledge Graph extension (Nodus Labs)
+
+Добавляет структурную самоосознанность поверх Karpathy:
+
+**Gap detection:** находит disconnected clusters в wiki graph. Там, где два тематических кластера не связаны — это часто место для нового insight или исследования.
+
+**Prompt-to-structure:** вместо "объясни X" → "как A связан с B, учитывая что они в разных кластерах?" → более точные, оригинальные ответы.
+
+---
+
+### Проактивные исследования — PersonalAgent pattern (arxiv 2512.15302)
+
+**Идея:** агент строит user profile → из профиля выводит гипотезы что пользователю может быть интересно → инициирует исследования без запроса.
+
+**Применительно к нам:** агент знает что ты работаешь над personal-os, media-pipeline, executor — и проактивно исследует смежные темы: новые подходы к orchestration, медиа-библиотеки, home automation.
+
+**Реализация:** weekly cron который читает wiki + профиль + последние сессии → формирует список hypothesis → запускает `wiki-research` по каждой → результаты в inbox для review.
+
+---
+
+## Часть 3 — Что реально нужно нам
+
+### Три разных задачи (не смешивать!)
+
+**Задача A: Vault enrichment** — сделать личные заметки searchable и связными
+- frontmatter + aliases на существующие файлы
+- wikilinks между связанными заметками
+- MOC/index files для навигации
+
+**Задача B: LLM Wiki для knowledge accumulation** — накапливать research результаты
+- `wiki/` как compounding knowledge base
+- Research сессии → wiki pages
+- Lint + gap detection
+
+**Задача C: Проактивные автономные исследования** — агент сам генерирует гипотезы и исследует
+- User profile → hypothesis generation
+- Scheduled research runs
+- Results → inbox для review
+
+---
+
+## Часть 4 — План: три проекта
+
+### Проект 1: Vault Enrichment
+
+**Цель:** граф живой, поиск работает по aliases, Dataview агрегирует.
+
+**Шаги:**
+1. Убрать Task 3b из wiki-curation промпта
+2. Создать enrichment cron (еженедельно):
+   - Проходит по `personal/documents/`, `family/documents/`
+   - Для каждого файла без frontmatter: добавляет `aliases`, `tags`
+   - Для переименованных файлов: alias = оригинальное имя
+   - Добавляет wikilinks к связанным файлам
+   - НЕ переименовывает, НЕ перекладывает
+3. Создать `personal/index.md` и `family/index.md` с Dataview секциями
+4. Создать `VAULT-INDEX.md` в корне — живой dashboard для агента
+
+**Стек:** Hermes cron + obsidian MCP + terminal toolset
+
+**Оценка:** 1-2 дня работы агента
+
+---
+
+### Проект 2: LLM Wiki — Knowledge Accumulation
+
+**Цель:** каждая research сессия накапливается. Следующий вопрос про Obsidian PKM → читаю 2 страницы wiki вместо 10 web запросов.
+
+**Шаги:**
+1. Добавить `wiki-capture` в workflow wiki-curation:
+   - После каждой research сессии (как сегодня) → автоматически создаёт wiki page
+   - Ключевой механизм: я говорю "сохрани это в wiki" или агент сам идентифицирует valuable content
+2. Добавить `wiki-synthesize` в wiki-curation cron:
+   - Находит co-occurring concepts без synthesis page
+   - Строит `Concept A × Concept B` pages
+3. Добавить `wiki-research` как отдельный skill/cron:
+   - 3-round autonomous research loop
+   - Результаты → `wiki/concepts/` или `wiki/synthesis/`
+4. Session hooks: `Stop` → compress session → file insights
+5. Crystallization: значимые debug/research сессии → wiki pages
+
+**Что войдёт в wiki:** AI/ML tooling, Obsidian PKM, home infrastructure patterns, personal-os architecture decisions, Swift/iOS patterns, media pipeline learnings.
+
+**Стек:** расширить wiki-curation skill + новые cron jobs
+
+**Оценка:** 3-5 дней
+
+---
+
+### Проект 3: Proactive Research Agent
+
+**Цель:** агент сам инициирует исследования исходя из профиля и пробелов в wiki.
+
+**Архитектура:**
+```
+User Profile (интересы, проекты, домены)
+    ↓
+Gap Detector (читает wiki, находит слабосвязанные области)
+    ↓
+Hypothesis Generator (формирует вопросы для исследования)
+    ↓
+Research Queue (приоритизированный список)
+    ↓
+Autonomous Research Runs (по расписанию, по одному вопросу)
+    ↓
+Results → wiki/inbox → review
+```
+
+**User Profile** — файл `wiki/user-profile.md`:
+- Технические домены: Swift/iOS, home infrastructure, AI agents, media pipeline
+- Текущие проекты: personal-os, executor, media-toolbox
+- Интересы: home automation, music production, cycling, parenting
+
+**Gap Detector** (еженедельно):
+1. Читает wiki/index.md
+2. Смотрит на последние сессии (briefs/daily)
+3. Находит: что упоминается но нет страницы? что давно не обновлялось? где кластеры не связаны?
+4. Генерирует список hypothesis: "исследовать X", "сравнить A vs B", "что нового в Y"
+
+**Research Queue** — `wiki/research-queue.md`:
+```markdown
+## Priority Queue
+- [ ] Obsidian Bases vs Dataview — что использовать в 2026?
+- [ ] Home Assistant integrations для RPi5
+- [ ] Swift Concurrency patterns актуальные
+- [ ] Personal OS orchestration alternatives
+```
+
+**Scheduled Research** (например, еженедельно по субботам):
+- Берёт top-1 из queue
+- Запускает 3-round research loop
+- Сохраняет в wiki
+- Репортирует тебе с саммари
+
+**Стек:** новый cron + wiki-research skill + research-queue.md
+
+**Оценка:** 1-2 недели (зависит от wiki-research skill)
+
+---
+
+## Часть 5 — Последовательность
+
+```
+Сейчас → Проект 1 (enrichment) — быстро, ощутимый результат
+         ↓
+         Проект 2 (wiki accumulation) — параллельно или после
+         ↓
+         Проект 3 (proactive research) — когда wiki достаточно наполнена
+```
+
+Проект 3 имеет смысл только когда в wiki есть достаточно контента чтобы gap detection давал сигнал. Сначала нужно наполнить wiki (Проект 2).
+
+---
+
+## Что НЕ нужно делать
+
+- ❌ Task 3b в wiki-curation (убрать)
+- ❌ Переименовывать файлы с кириллицей/эмодзи
+- ❌ Применять Karpathy-wiki к личным спискам (разные задачи)
+- ❌ Глубже вкладывать папки
+- ❌ Внешние сервисы (LifeOS plugin, Todoist) — у нас есть Asana + Hermes
+
+---
+
+## Ссылки
+
+- [Karpathy LLM Wiki gist](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f)
+- [LLM Wiki v2 — rohitg00](https://gist.github.com/rohitg00/2067ab416f7bbe447c1977edaaa681e2)
+- [claude-obsidian](https://pyshine.com/2026/04/claude-obsidian-self-organizing-ai-knowledge-engine/)
+- [Ar9av/obsidian-wiki skills](https://deepwiki.com/Ar9av/obsidian-wiki/3.5-knowledge-building-skills)
+- [Nodus Labs knowledge graph](https://support.noduslabs.com/hc/en-us/articles/26724863249180)
+- [mathisgauthey vault template](https://github.com/mathisgauthey/obsidian-workflow-template)
+- [MOC + Dataview guide](https://github.com/seqis/ObsidianMOC)