# Windmill: the system as flows Local Windmill instance for Personal OS pipelines. After the owner-requested cleanup on 2026-11-18, the active catalog contains six flows with real code: `f/attend/attention_loop_e5`, `f/attend/roles_importance_e4`, `f/fetch/asana_expansion_e1`, `f/fetch/github_prs`, `f/analyse/work_claims_extract`, and `f/analyse/work_situation`. Sixteen obsolete entries are archived: fourteen flows containing placeholder modules (including the old system overview), plus the unused `asana_sync` compatibility entrypoint and `work_triage`. No flow was permanently deleted. The retained flow definitions, their versions, existing schedules, and active jobs were preserved. The archived paths and local source folders are excluded from normal CLI sync in `workspace/wmill.yaml`, so a later sync does not silently restore them. Their local source files remain historical material, not active implementations. See [the exact cleanup evidence](personal-os-evidence/2026-11-18/windmill-catalog-cleanup.json). The existing local owner account is now a member of `personal_os`. Open [Personal OS workflows](http://localhost:8000/?workspace=personal_os); refresh an already open page if it still shows only the Admins fallback. Visibility, real code, and successful runs do not certify correctness of every feature: the outstanding [remediation plan](../planning/personal-os-remediation-plan-2026-11-18.md) remains open and unrelated development remains paused. GitHub collection and work situations use the primary `personal_os` database. The work flow persists local work items and design sources in inventory mode; its separate `resolve` mode uses the existing model and keeps the result as a candidate. Asana task creation remains a separate reviewed dashboard action. See [the implementation](../planning/github-work-situations-2026-10-14.md). The approved rollout copied 17 evidence tables with full content hashes matched, then changed both flows' default target to `primary`. SQL source reads remain read-only; only the fixed host-runner operations write evidence and decisions. ## Layout | Path | What | |---|---| | `system-map.yaml` | The plan. One entry per flow with status, trigger, code it maps to, and its stages. Edit this. | | `bootstrap/gen_map.py` | Turns the map into `workspace/f//__flow/` skeletons. | | `bootstrap/bootstrap.py` | One-time: workspace, folders, CLI token. | | `bootstrap/steps/` | Historical extraction draft; the published incremental flow uses its real steps under `workspace/`. | | `workspace/` | What the `wmill` CLI syncs with the server. Flows live under `f/`. | | `docker-compose.yml` | Server, worker, native worker, LSP, caddy. Uses the host PostgreSQL. | | `.env` | Database URL and CLI token. Not in git. | Stage folders: `fetch` (sources in), `observe` (snapshots of now), `analyse` (claims and links), `publish` (acceptance), `attend` (roles, attention, retro). Historical status tags such as settled, draft, PROPOSED and PLANNED are not evidence of a working implementation. Archived definitions are visible only when archived entries are explicitly requested. ## Run ```bash cd windmill && docker-compose up -d ``` UI: http://localhost:8000. Workspace: `personal_os`. The administrator password was changed during setup; use the existing local credentials. CLI credentials are kept in `.env`, outside Git. The generator is historical scaffolding. It still describes archived drafts; do not regenerate that catalog or remove the archive exclusions. The active workspace contains the six retained flows. Do not push the whole workspace for a feature change: a dry-run on 2026-11-18 exposed unrelated resource and source drift, and no workspace-wide push was performed. First export the live target: ```bash cd windmill/workspace wmill flow get f/attend/attention_loop_e5 --json --workspace personal_os > /tmp/personal-os-e5-before.json ``` Build a scoped candidate from that export, preserving unrelated live modules, schema and permissions. Test it and run the inline-source audit below. Publish only the approved candidate directory to the existing target: ```bash wmill flow push /absolute/path/candidate__flow f/attend/attention_loop_e5 --workspace personal_os ``` Export the published target again, repeat the audit and compare the unchanged parts with the saved live version. Avoid workspace-wide pulls over local edits. ## Database Windmill uses the database `windmill` on the host PostgreSQL 17 (roles `windmill`, `windmill_user`, `windmill_admin`). Personal OS data stays in `personal_os`. Containers reach the host as `host.docker.internal`. ## Host-only work Mattermost and Zoom collectors need the signed-in Chrome on the Mac and cannot run inside a worker container. Their browser collection stays on launchd. Planning and discussion processing use the authenticated host transport while Windmill owns their step order, run identity and schedules. ## Personal planning and review (2026-11-13) E5 has separate `production`, `clarify`, `discussion_observe` and `discussion_refresh` modes. Production reads current mirrors through the host, freezes an evidence snapshot, runs E4 before E5 capacity allocation, validates the returned results against that snapshot and current source revisions, and publishes the plan. Preparation that creates a new review triggers exactly one second planning pass. GTD review, observation and notification follow publication. No mode sends a source-system message or treats a human review as already done. Short steps use `personalos_planning` on the reserved planning worker. Model inference uses the ordinary `python3` pool. The host only exposes fixed operations; it accepts no arbitrary command from a flow argument. A disconnected caller cancels its owned subprocess group. Lock contention is reported as `busy`, not completed analysis. The four schedule definitions are stored next to E5. They replace only the legacy focus-shadow, clarification-worker, discussion-actions and discussion-source-observer LaunchAgents. Asana, claims and browser collection retain their existing owners. A cutover requires saved flow/LaunchAgent versions, no active legacy job, persistent disabling of those four agents, and verification of the enabled Windmill schedules. Do not start both sets of owners. UI replanning submits a durable Windmill job ID through `windmill-dispatch.py`. An overlapping request is coalesced and drained after the current cycle. It does not run a second local planner. Production schedules enforce weekday hours; clarification also rechecks hours before inference. Current deployment versions, actual jobs and remaining acceptance conditions are recorded in the [acceptance journal](../planning/personal-os-production-acceptance.md). ## Continuous Asana worker (2026-10-14) `f/fetch/asana_expansion_e1` is scheduled every five minutes, with overlap disabled. Its real Python steps call `/asana/status` and `/asana/sync` on the authenticated Mac runner. Asana credentials remain on the host. Live project rosters and personal sources are scanned every 15 minutes; project events provide intermediate changes. The project catalogue adds newly followed projects hourly. Task details, complete stories, children, dependencies/dependents, memberships and the old read projection are updated through durable PostgreSQL cursors. A denied object enters a six-hour retry; transient errors use bounded backoff. No error or completed batch disables the schedule. The retired launchd backfill job stays disabled; Windmill owns the schedule. Its historical stop file is retained and is not consulted by the worker. The first automatic Windmill job was `01a13b4d-8006-7275-0af2-4cc619eb3fdf`: 3,000 read requests, 648 tasks refreshed, no source/task errors. This is a bounded batch result, not a claim that the initial refresh queue is empty. The dashboard header and `/api/asana-worker` show live project freshness, outstanding changes, background work and retry errors. See [the worker runbook](../planning/asana-coverage-pilot/expansion-2026-10-06.md#постоянный-worker--14102026). ## Incremental claim updates (2026-10-15) `f/analyse/work_claims_extract` is published (version 176) and scheduled every five minutes in `Asia/Bishkek`, with `target=primary`, `max_jobs=1` and `no_flow_overlap=true`. Both migrations 011 and 012 are applied to `personal_os`. The authenticated Mac runner and database browser were restarted after the Asana writer checkpoint. The existing pilot runs and claims remain unchanged. The flow has three real steps: `read_tasks` snapshots semantic source changes and queues work; `run_model` processes at most one durable job through the host runner's `/claims/process`; `write_claims` reports the scan and queue outcomes. The host calls the existing local model gateway at `127.0.0.1:8767`. Containers use the saved `f/system/work_evidence_runner` resource to reach the host runner. Credentials stay in that resource and the host configuration. Existing claims receive sparse `add/update/withdraw` operations with stable IDs and history. Unchanged work makes no model call. Human decisions are protected; contradictions become proposals for review in the task page's **Анализ работы** panel. A completed job does not establish semantic acceptance. The separate `f/publish/claims_review` publication flow remains planned. Initial queue processing is ongoing. Packets over 160,000 characters are visibly blocked without truncation; retryable errors retain their attempts and backoff. `partial` reports pending work even when the Windmill job itself succeeds. The interval is a scheduling interval, not a freshness guarantee. Current status, CLI commands, verification artifacts and rollback procedure are in the [claim-update runbook](../planning/work-claim-updates-2026-10-15.md). ## Проверка копий inline-кода перед публикацией Один Python-файл может использоваться в нескольких узлах с разными именами. Отбор только по имени узла пропускает обычные и диагностические ветки. Перед точечной публикацией проверьте кандидат, после неё — заново полученный JSON рабочего flow. Аудитор использует ссылки на файлы из локального `flow.yaml`, проверяет каждую копию и отклоняет старую, отсутствующую или лишнюю копию. Он ничего не публикует и не запускает задания. Для инструмента нужен PyYAML; в среде разработки проверена версия 6.0.3. Из корня репозитория: ```sh python3 scripts/windmill-inline-audit.py \ --local-flow windmill/workspace/f/attend/attention_loop_e5__flow/flow.yaml \ --published /path/to/fetched-flow.json \ --source read_context.py --source propose_actions.py --source day_constraints.py ``` Ошибку этой проверки требуется устранить до публикации. Остальные узлы, входная схема и права сравниваются с полученной рабочей версией отдельно. Проверка не разрешает широкую загрузку локальных незавершённых flow. ## Рабочие пути шести workflows · 18 ноября 2026 По отдельной команде заказчика исправляются именно шесть сохранённых workflows. Архив из шестнадцати entries не восстанавливается. Результаты, версии, реальные run ID и остаточные ограничения фиксируются в [квитанции проверки](personal-os-evidence/2026-11-18/windmill-six-workflows.json). Проверка не засчитывает интеграционные прогоны как дни пользовательского пилота. - **E5 — план дня.** Production запускается каждые 15 минут; наблюдение активности, обсуждений и уточнения имеют отдельные режимы. Публикация проверяет фактически вычисленные E4/E5 результаты против сохранённых входов и текущих источников. Сверяются все inline-копии, включая повторные ветки. Тайм-аут наблюдения активности согласован с работой сервиса: 90 секунд для HTTP, 105 для шага. Недельный выбор включает подтверждённые запросы на ответ и ревью с известной личной ролью, даже когда у них нет срочности или связи с текущим Top Priority. Срочность, дедлайн и принадлежность к цели при этом не добавляются. Удержанные действия, неизвестная роль, сроки, зависимости и резерв продолжают ограничивать отбор. - **E4 — ранжирование.** Самостоятельный read-only preview получает готовый пакет; сетевого сбора и собственного расписания у него нет. В production применяется проверяемая inline-копия rank. Отсутствие отдельного расписания здесь нормально: качество сбора источников остаётся обязанностью предыдущих шагов. Проверка E4 сравнивает реальный Windmill-результат с точным повтором рабочего входа. - **Asana E1 — непрерывный сбор.** Расписание — каждые 10 минут с запретом пересечения. Текущие назначения и My Tasks получают приоритет перед отслеживаемыми работами и историей; отдельная ограниченная доля обработки остаётся для старых ссылок. Завершённая история не блокирует свежесть текущих действий. Повторное открытие, новые события и отсутствие текущей записи сохраняют требование обновления. Признак completed из живого roster сохраняется вместе с checkpoint; история и доказательства не удаляются. Завершение ограниченной пачки возвращает partial или degraded, пока общий охват неполон. `coverage_complete` отделяет полный охват от успешного выполнения кода. - **GitHub PR mirror — сбор и сверка.** Запуск — на 3-й, 18-й, 33-й и 48-й минутах часа, без пересечения. Охват `personal-current-v1` строится из личных назначений, подтверждённых адресных запросов, зависимостей и завершений за семь дней. Канонические родители группируют работу, но не добавляют PR соседних задач. Прямые ссылки Asana принимаются из любых доступных репозиториев; дополнительный поиск открытых PR по авторству, запросу ревью и упоминанию также не ограничен прежним списком репозиториев. Историческое участие в ревью не является основанием для автоматического личного охвата. Пустая дата формы означает последние 30 дней. Исправление старой пустой даты сохраняет обработанную часть очереди. Незавершённый автоматический сбор возобновляется при совпадении охвата, параметров поиска, личных task ID, политики отбора, кэша и режима артефактов. Исчерпанные ошибки не сбрасываются. Блокирующие GitHub/keychain операции выполняются в отдельном последовательном потоке; HTTP-сервис остаётся доступным другим рабочим путям. При rate limit сохраняется пауза от 15 до 60 минут, очередь не продвигается и попытка PR не расходуется. Пауза сохраняется между перезапусками; удержанный результат не запускает verify. Повтор поиска после временного пробела выполняется в той же очереди. Повторный сбор merged PR использует ограниченный суточный кэш; новая активность в поиске и явный запрос code artifacts требуют обновления. Открытые и закрытые без merge PR проверяются заново. Сверка проверяет состояние, HEAD, текст и версии комментариев и ревью; для открытых PR — также CI и решение ревью. Изменившиеся источники ставятся на ограниченный повтор в той же очереди. `verified=false` всегда даёт partial. - **Work Claims — кандидаты обязательств.** Расписание — каждые 10 минут, до трёх заданий за проход с сохранением общего model lock. Результат содержит число ожидающих работ, категории блокировок, число квитанций и ограниченную выборку их ID. Полный scan остаётся в шаге read_tasks и в durable receipts; большой приватный пакет больше не дублируется в итоговом ответе. Partial, ожидание модели и блокировки не объявляются извлечёнными фактами. Сохранённые ответы, попытки и решения пользователя не обнуляются ради снятия блокировки. - **Work Situations — состояние работ.** Автоматический inventory запускается подзадачей GitHub после чтения той же выборки; отдельное конкурирующее расписание ему не требуется. Инвентаризация, связи и результаты сохраняются в primary. Работы без основания ожидать PR не получают ложный пробел «нет PR»; запрос изменений по старому HEAD не становится текущим блокером. Подтверждённый merge используется как необратимый факт в пределах ограниченного кэша; активные ревью требуют свежего чтения. Результат с пробелами — partial. Режим resolve не занимает GitHub writer, использует общий с Claims model lock, проверяет revision и stale; повтор request ID не создаёт новую модельную работу. Режим запускается отдельным действием агента из интерфейса и возвращает кандидата, требующего ревью; создание задачи Asana остаётся отдельным действием. ### Проверка эксплуатации Зелёный статус Windmill удостоверяет выполнение кода. Для приёмки дополнительно проверяются business result, сохранённый план и недельная привязка, содержимое рабочей БД, квитанции модели и фактическая видимость действий в Today. `busy`, `skipped`, `deferred`, `partial` и `queued` сохраняют собственный смысл. Покрытие всех источников нельзя выводить из количества успешных запусков. `GET /health` аутентифицированного host runner содержит `loaded_code`: PID, время запуска и SHA-256 шести загруженных JS-модулей. Перед сдачей требуется сравнить их с файлами релиза, затем сверить опубликованные inline-копии. Один хеш файла на диске не доказывает, что долгоживущий сервис загрузил правку. Перед применением проверяются оба вида модельных заданий: Work Claims и work resolution, а также активные HTTP-запросы. Исправленное ожидание обновления сохраняет health со статусом draining, новым операциям возвращает 409 и Retry-After; текущие запросы завершаются перед закрытием сервера; чужие model jobs и source requests не отменяются. Автоматический транспорт ограниченно повторяет только 409 и точно не принятые соединения. Неоднозначные тайм-ауты не повторяются как новые операции. До конца проверки квитанция имеет статус `verification_in_progress`. Исторический backlog Asana, недоступные источники, удержанные Claims и неподтверждённые связи локальной работы отражаются отдельно от исправлений кода. ### Отрицательный рабочий результат: избыточные 385 PR Первый общий обход не принят по релевантности: 355 PR были закрыты, у 78 не подтверждена прямая роль в GitHub. Новый read-only отбор дал 51 прямую ссылку из 194 личных задач; объединение с текущими ролями дало 77, но поиск упоминаний удержан secondary rate limit. Полнота и автоматический проход ещё открыты. Ограничение подтверждено реальным источником; временное обслуживание GitHub schedule и текущий запрос Claims отражены в квитанции. Поведение при лимитах соответствует [рекомендациям GitHub](https://docs.github.com/en/rest/using-the-rest-api/best-practices-for-using-the-rest-api): последовательные запросы, остановка при ограничении, увеличивающаяся пауза. Заголовки retry-after/reset через текущий gh-адаптер не доступны; используется консервативная пауза. Общие внешние GitHub-клиенты этим сборщиком не управляются. Сетевой отказ отдельного PR при verify не должен обрывать остальные проверки: источник сохраняется в verification_errors, результат partial, повтор ограничен сохранёнными attempts. В рабочем проходе это требование воспроизведено на TLS handshake timeout. Повтор resolve удержан реальным model lock Claims; окончательная квитанция ответа ещё не получена. Пропуск no_flow_overlap не засчитывается как обработка данных. Текущее обслуживание сохраняет активный HTTP-запрос Claims; фоновых resolver-заданий при drain не было.