From e4e7ffd8d56daa6c4589141c5e38634d8b40fd23 Mon Sep 17 00:00:00 2001 From: Alexey Martemyanov Date: Fri, 15 May 2026 16:27:56 +0600 Subject: [PATCH] [2026-05-15] obsidian-vault-strategy: deep research + 3-project plan --- .../personal-os/obsidian-vault-strategy.md | 284 ++++++++++++++++++ 1 file changed, 284 insertions(+) create mode 100644 personal/projects/personal-os/obsidian-vault-strategy.md diff --git a/personal/projects/personal-os/obsidian-vault-strategy.md b/personal/projects/personal-os/obsidian-vault-strategy.md new file mode 100644 index 00000000..ff69c593 --- /dev/null +++ b/personal/projects/personal-os/obsidian-vault-strategy.md @@ -0,0 +1,284 @@ +--- +created: '2026-05-15' +updated: '2026-05-15' +tags: + - personal-os + - obsidian + - vault + - strategy + - llm-wiki +status: research-complete +--- +# Obsidian Vault Strategy & LLM Wiki Plan + +> Deep research 2026-05-15. +> Источники: Karpathy LLM Wiki gist (5000+ stars), LLM Wiki v2 (rohitg00, 1200+ stars), claude-obsidian (PyShine), Ar9av/obsidian-wiki (DeepWiki), Tom Nguyen 6-month report, Nodus Labs knowledge graph extension, mathisgauthey (r/ObsidianMD, 1000+ upvotes), MOC+Dataview guide, Obsidian+Claude Code integration, LifeOS, Obsidian Forum. + +--- + +## Часть 1 — Текущее состояние vault + +### Что есть + +| Тип контента | Примеры | Где лежит | +|---|---|---| +| Личные списки | Список дел, Фильмы, Книги, Покупки | `personal/documents/`, `family/documents/` | +| Брифы и планы | Daily brief, weekly plan, inbox triage | `work/briefs/` | +| Проектные заметки | executor, media-pipeline, wiki | `personal/projects/`, `family/projects/` | +| How-to документация | HTPC, Кракен, WireGuard | `family/how-to/` | +| Knowledge wiki | Архитектура personal-os, схема БД | `wiki/` | + +### Что не работает + +- **Граф пустой** — 90% заметок без frontmatter, aliases, wikilinks. Поиск находит только по точному имени файла. +- **Воркер переименовал файлы** без aliases → `✅ Список дел` → `todo-list.md`, поиск сломан. +- **Wiki-curation делает лишнее** — Task 3b (раскладка файлов по папкам) не относится к Karpathy, добавлен ошибочно. +- **Нет накопления знаний** — каждый research-сеанс начинается с нуля. Пример: анализ Obsidian PKM занял 15 минут и 10+ web запросов, которые нужно будет повторять снова. +- **Нет проактивных исследований** — агент реагирует на запросы, не инициирует изучение пробелов. + +--- + +## Часть 2 — Анализ подходов из research + +### Karpathy LLM Wiki (оригинал, апрель 2026) + +**Суть:** LLM читает сырые источники → строит wiki с entity/concept pages → cross-references → compounding knowledge base. Человек почти не пишет в wiki руками. + +**Ключевые цифры:** Karpathy вырастил wiki на одну тему до ~100 статей, 400k слов, не написав ни одной напрямую. Tom Nguyen (6 месяцев в production): 77 wiki pages, 30+ источников, 13 custom skills читают из wiki. + +**Три операции:** +1. **Ingest** — дропаешь источник, агент создаёт/обновляет 10-15 wiki pages +2. **Query** — агент читает index.md, находит нужные pages, даёт ответ со ссылками +3. **Lint** — проверка orphan pages, противоречий, stale claims, пробелов + +**Применимость к нам:** Wiki для накопления knowledge (техника, workflows, инфраструктура, AI tools) — да. Для личных списков — нет. + +--- + +### LLM Wiki v2 (rohitg00) — production extensions + +**Ключевые расширения:** + +**4-tier memory pipeline:** +``` +Working Memory → сырые наблюдения текущей сессии +Episodic Memory → сжатые саммари сессий +Semantic Memory → кросс-сессионные факты (wiki) +Procedural Memory → паттерны, workflows, skills +``` + +**Confidence scoring:** каждый факт имеет score (кол-во источников, свежесть, противоречия). Устаревает со временем, усиливается при подтверждении. + +**Event-driven automation:** +``` +On new source → auto-ingest, extract entities, update graph +On session end → compress session into observations, file insights +On query → check if answer worth filing back +On schedule → periodic lint, consolidation +``` + +**Кристаллизация:** завершённые debug/research сессии автоматически дистиллируются в wiki pages. + +--- + +### claude-obsidian / Ar9av/obsidian-wiki — автономные skills + +Наиболее зрелые production реализации. Ключевые skills: + +**`wiki-synthesize`** — сканирует vault, находит concept pairs которые часто co-occur но не имеют synthesis page. Строит `Concept A × Concept B` pages автоматически. + +**`wiki-research` (3-round autonomous loop):** +- Round 1: decompose topic → 3-5 angles → broad search +- Round 2: find gaps/contradictions → targeted search +- Round 3: resolve contradictions → synthesis + +**`wiki-capture`** — конвертирует AI-human сессии в declarative wiki notes. Эта сессия (анализ Obsidian PKM) должна была бы стать wiki pages автоматически. + +**`autoresearch` (claude-obsidian):** +``` +/autoresearch topic +→ Round 1: query wiki → identify gaps → ingest sources +→ Round 2: re-query → find remaining gaps → more sources +→ Round 3: synthesis → comprehensive result with citations +``` + +**Session hooks:** +- `SessionStart` → load hot cache, read schema +- `PostToolUse` → auto-commit if files changed +- `Stop` → save final state, update manifest + +--- + +### Knowledge Graph extension (Nodus Labs) + +Добавляет структурную самоосознанность поверх Karpathy: + +**Gap detection:** находит disconnected clusters в wiki graph. Там, где два тематических кластера не связаны — это часто место для нового insight или исследования. + +**Prompt-to-structure:** вместо "объясни X" → "как A связан с B, учитывая что они в разных кластерах?" → более точные, оригинальные ответы. + +--- + +### Проактивные исследования — PersonalAgent pattern (arxiv 2512.15302) + +**Идея:** агент строит user profile → из профиля выводит гипотезы что пользователю может быть интересно → инициирует исследования без запроса. + +**Применительно к нам:** агент знает что ты работаешь над personal-os, media-pipeline, executor — и проактивно исследует смежные темы: новые подходы к orchestration, медиа-библиотеки, home automation. + +**Реализация:** weekly cron который читает wiki + профиль + последние сессии → формирует список hypothesis → запускает `wiki-research` по каждой → результаты в inbox для review. + +--- + +## Часть 3 — Что реально нужно нам + +### Три разных задачи (не смешивать!) + +**Задача A: Vault enrichment** — сделать личные заметки searchable и связными +- frontmatter + aliases на существующие файлы +- wikilinks между связанными заметками +- MOC/index files для навигации + +**Задача B: LLM Wiki для knowledge accumulation** — накапливать research результаты +- `wiki/` как compounding knowledge base +- Research сессии → wiki pages +- Lint + gap detection + +**Задача C: Проактивные автономные исследования** — агент сам генерирует гипотезы и исследует +- User profile → hypothesis generation +- Scheduled research runs +- Results → inbox для review + +--- + +## Часть 4 — План: три проекта + +### Проект 1: Vault Enrichment + +**Цель:** граф живой, поиск работает по aliases, Dataview агрегирует. + +**Шаги:** +1. Убрать Task 3b из wiki-curation промпта +2. Создать enrichment cron (еженедельно): + - Проходит по `personal/documents/`, `family/documents/` + - Для каждого файла без frontmatter: добавляет `aliases`, `tags` + - Для переименованных файлов: alias = оригинальное имя + - Добавляет wikilinks к связанным файлам + - НЕ переименовывает, НЕ перекладывает +3. Создать `personal/index.md` и `family/index.md` с Dataview секциями +4. Создать `VAULT-INDEX.md` в корне — живой dashboard для агента + +**Стек:** Hermes cron + obsidian MCP + terminal toolset + +**Оценка:** 1-2 дня работы агента + +--- + +### Проект 2: LLM Wiki — Knowledge Accumulation + +**Цель:** каждая research сессия накапливается. Следующий вопрос про Obsidian PKM → читаю 2 страницы wiki вместо 10 web запросов. + +**Шаги:** +1. Добавить `wiki-capture` в workflow wiki-curation: + - После каждой research сессии (как сегодня) → автоматически создаёт wiki page + - Ключевой механизм: я говорю "сохрани это в wiki" или агент сам идентифицирует valuable content +2. Добавить `wiki-synthesize` в wiki-curation cron: + - Находит co-occurring concepts без synthesis page + - Строит `Concept A × Concept B` pages +3. Добавить `wiki-research` как отдельный skill/cron: + - 3-round autonomous research loop + - Результаты → `wiki/concepts/` или `wiki/synthesis/` +4. Session hooks: `Stop` → compress session → file insights +5. Crystallization: значимые debug/research сессии → wiki pages + +**Что войдёт в wiki:** AI/ML tooling, Obsidian PKM, home infrastructure patterns, personal-os architecture decisions, Swift/iOS patterns, media pipeline learnings. + +**Стек:** расширить wiki-curation skill + новые cron jobs + +**Оценка:** 3-5 дней + +--- + +### Проект 3: Proactive Research Agent + +**Цель:** агент сам инициирует исследования исходя из профиля и пробелов в wiki. + +**Архитектура:** +``` +User Profile (интересы, проекты, домены) + ↓ +Gap Detector (читает wiki, находит слабосвязанные области) + ↓ +Hypothesis Generator (формирует вопросы для исследования) + ↓ +Research Queue (приоритизированный список) + ↓ +Autonomous Research Runs (по расписанию, по одному вопросу) + ↓ +Results → wiki/inbox → review +``` + +**User Profile** — файл `wiki/user-profile.md`: +- Технические домены: Swift/iOS, home infrastructure, AI agents, media pipeline +- Текущие проекты: personal-os, executor, media-toolbox +- Интересы: home automation, music production, cycling, parenting + +**Gap Detector** (еженедельно): +1. Читает wiki/index.md +2. Смотрит на последние сессии (briefs/daily) +3. Находит: что упоминается но нет страницы? что давно не обновлялось? где кластеры не связаны? +4. Генерирует список hypothesis: "исследовать X", "сравнить A vs B", "что нового в Y" + +**Research Queue** — `wiki/research-queue.md`: +```markdown +## Priority Queue +- [ ] Obsidian Bases vs Dataview — что использовать в 2026? +- [ ] Home Assistant integrations для RPi5 +- [ ] Swift Concurrency patterns актуальные +- [ ] Personal OS orchestration alternatives +``` + +**Scheduled Research** (например, еженедельно по субботам): +- Берёт top-1 из queue +- Запускает 3-round research loop +- Сохраняет в wiki +- Репортирует тебе с саммари + +**Стек:** новый cron + wiki-research skill + research-queue.md + +**Оценка:** 1-2 недели (зависит от wiki-research skill) + +--- + +## Часть 5 — Последовательность + +``` +Сейчас → Проект 1 (enrichment) — быстро, ощутимый результат + ↓ + Проект 2 (wiki accumulation) — параллельно или после + ↓ + Проект 3 (proactive research) — когда wiki достаточно наполнена +``` + +Проект 3 имеет смысл только когда в wiki есть достаточно контента чтобы gap detection давал сигнал. Сначала нужно наполнить wiki (Проект 2). + +--- + +## Что НЕ нужно делать + +- ❌ Task 3b в wiki-curation (убрать) +- ❌ Переименовывать файлы с кириллицей/эмодзи +- ❌ Применять Karpathy-wiki к личным спискам (разные задачи) +- ❌ Глубже вкладывать папки +- ❌ Внешние сервисы (LifeOS plugin, Todoist) — у нас есть Asana + Hermes + +--- + +## Ссылки + +- [Karpathy LLM Wiki gist](https://gist.github.com/karpathy/442a6bf555914893e9891c11519de94f) +- [LLM Wiki v2 — rohitg00](https://gist.github.com/rohitg00/2067ab416f7bbe447c1977edaaa681e2) +- [claude-obsidian](https://pyshine.com/2026/04/claude-obsidian-self-organizing-ai-knowledge-engine/) +- [Ar9av/obsidian-wiki skills](https://deepwiki.com/Ar9av/obsidian-wiki/3.5-knowledge-building-skills) +- [Nodus Labs knowledge graph](https://support.noduslabs.com/hc/en-us/articles/26724863249180) +- [mathisgauthey vault template](https://github.com/mathisgauthey/obsidian-workflow-template) +- [MOC + Dataview guide](https://github.com/seqis/ObsidianMOC)