[2026-10-17] legacy-xctest-runner: macOS 12 arm64 + per-test run; virfield: UI test practice notes

personal/tech/legacy-xctest-runner.md

@@ -1,7 +1,7 @@
 ---
 title: Legacy XCTest runner (run new-Xcode UI tests on macOS 12)
 namespace: personal
-updated: '2026-10-14'
+updated: '2026-10-17'
 tags:
   - xctest
   - ui-tests
@@ -12,9 +12,13 @@ tags:
 # Legacy XCTest runner
 
 Runs DDG macOS UI tests built with the current Xcode (27.x) on a Mac that can only
-run an old Xcode, e.g. the MBP 2014 node (Monterey 12.6.8, Intel, Xcode 13.4.1).
+run an old Xcode, e.g. macOS 12 + Xcode 13.4.1. Работает на двух типах целей:
+
+- MBP 2014 node (Monterey 12.6.8, **Intel x86_64**), 2026-10-12;
+- Tart VM из virfield, шаблон `monterey-xcode-13.4.1` (macOS 12.7.6, **arm64**, Xcode 13.4.1 в `/Applications/Xcode.app`), 2026-10-17.
 
 Location: `~/Developer/legacy-xctest-runner/` (not committed anywhere).
+macOS 12 **не входит в CI matrix** (PR: только macOS 27; полный прогон: 14, 15, 27), это чисто локальная проверка. Минимум приложения — macOS 12.3.
 
 ## Why it is needed
 
@@ -23,22 +27,26 @@ Location: `~/Developer/legacy-xctest-runner/` (not committed anywhere).
   if hosted by the old Xcode's runner.
 - The bundle imports 2 Swift symbols missing from Xcode 13 XCTest:
   `XCUIElement.typeKey(_:modifierFlags:)` (mangled under `XCUIAutomation`) and
-  `XCTIssue.init(…severity:)`. `XCTestCompat.swift` forwards them.
+  `XCTIssue.init(…severity:)`. `XCTestCompat.swift` forwards them
+  (так что `typeKey(XCUIKeyboardKey, …)` в тестах работает).
 
 ## How it works
 
 - `package.sh <derived-data> <out.tgz>` — collects `DuckDuckGo Review.app`,
-  `tests-server`, `UI Tests.xctest` + runner files.
+  `tests-server`, `UI Tests.xctest` + runner files. Ждёт `Build/Products/Review` с
+  `DuckDuckGo Review.app`, `tests-server`, `UI Tests-Runner.app`.
 - `run.sh [--gui] <TestClass[/testMethod]> [result-name]` on the target Mac:
   - builds `XCTestCompat.framework` (re-exports old XCTest + libXCTestSwiftSupport, adds forwarders);
   - hosts the bundle in Xcode 13's `XCTRunner.app`, `install_name_tool` repoints the
     bundle's XCTest/libXCTestSwiftSupport imports at XCTestCompat;
+  - **режет runner до нативного слайса** (`lipo -thin`, см. ниже), добавлено 2026-10-17;
   - repeats `macOS UI Tests CI` scheme pre-actions (clean-app review, suppress
     Move-to-Applications, start tests-server);
   - `xcodebuild test-without-building` with `UITests.xctestrun` (FormatVersion 1),
     then kills tests-server and the app (old XCTest doesn't terminate it).
   - `--gui`: over SSH xcodebuild can't reach the runner; relaunches itself via a
     Terminal `.command` in the console session, waits, closes finished windows.
+- Env `SKIP_BUILD=1` (патч на VM, в локальный `run.sh` не внесён): пропустить `build_compat` и `assemble_runner`, если уже собраны. Нужен для запуска по одному тесту.
 
 Build on the host (spell flags out — zsh doesn't word-split `$var`):
 
@@ -47,6 +55,8 @@ xcodebuild build-for-testing -workspace DuckDuckGo.xcworkspace -scheme "macOS UI
 xcodebuild build -workspace DuckDuckGo.xcworkspace -scheme "macOS Browser" -configuration Review -destination "platform=macOS,arch=x86_64" -derivedDataPath <dd> ONLY_ACTIVE_ARCH=YES -skipPackagePluginValidation -skipMacroValidation
 ```
 
+Для Apple Silicon VM архитектура `arm64`. Подписанное на хосте приложение 2026-10-17 собирали так: `xcodebuild archive -scheme "macOS Browser Review" -configuration Review … EXCLUDED_ARCHS=x86_64 RELEASE_PRODUCT_NAME_OVERRIDE=DuckDuckGo` + `-exportArchive` с **копией** `macOS/scripts/assets/ExportOptions.plist` (Developer ID, `signingCertificate` = SHA-1 из keychain; tracked plist не править, как делает `archive.sh`). Нотаризация внутри VM не нужна. Профили `match Direct …review` уже лежат в `~/Library/Developer/Xcode/UserData/Provisioning Profiles`.
+
 ## Target Mac prerequisites (once per boot volume, needs sudo)
 
 ```bash
@@ -58,19 +68,48 @@ Without them testmanagerd shows an admin-password prompt on the display
 ("Timed out while enabling automation mode"). Virfield's node probe now reports
 `ui_testing` (`ready` / `devtools_disabled` / `automation_mode_requires_auth` /
 `no_console_session`); setup script `/Users/admin/Developer/virfield/deploy/node-ui-testing.sh`.
+В Tart VM `monterey-xcode-13.4.1` Developer Mode уже включён, sudo без пароля; `automationmodetool` выполнить надо.
 
 ## Gotchas found
 
+**Запуск**
+
+- **arm64e: SIGKILL 137 на старте раннера (Apple Silicon).** `XCTRunner.app` из Xcode 13.4.1 — universal `x86_64 arm64 arm64e`, ядро выбирает arm64e: `exec_mach_imgact: not running binary "UI Tests-Runner" built against preview arm64e ABI`; xcodebuild: «Launched process exited during launch» / `Failed to install or launch the test runner`. Лечится `lipo -thin $(uname -m)` в `assemble_runner` (уже в `run.sh`). На Intel не проявлялось.
+- `--gui` запускает себя из `.command` по **`$0`**; из SSH вызывать `run.sh` только по **абсолютному пути**, иначе `./run.sh: No such file or directory` в Terminal (cwd=home).
+- `LEGACY_XCODE` из окружения SSH **не доходит** до Terminal `.command`: `xcrun: error: missing DEVELOPER_DIR path: /Applications/Xcode13.4.1.app`. Либо `sudo ln -sfn /Applications/Xcode.app /Applications/Xcode13.4.1.app`, либо править дефолт.
+- Over SSH xcodebuild без `--gui` не достаёт раннер; remote shell — zsh: нет `timeout` (используй `perl -e 'alarm N; exec @ARGV'`), `$var` не делится на слова, `log` — builtin (`/usr/bin/log show`).
+- Exit code `.command`-обёртки (`exit=0` в логах) **не равен** результату тестов. Смотреть `Executed N tests, with M failures` и `Test Case … passed|failed`. `Executed 0 tests, with 1 failure` = упал class `setUp`.
+- Старый xcodebuild пишет `LLVM Profile Error: Failed to write file default.profraw: Read-only file system` — безвредно.
+- Приложение: LSMinimumSystemVersion 12.3. arm64 VM требует arm64-сборку (Review app после `EXCLUDED_ARCHS=x86_64`, test bundle arm64).
+
+**Тесты**
+
+- **Старый XCTest не завершает приложение между тестами.** При запуске класса целиком каждый следующий тест стартует поверх предыдущего: `Failed to synthesize event: Unable to synthesize gesture request N 'click' because gesture request M 'Type 'n' key with modifiers ⌘' is still in progress`, `Timed out while evaluating UI query`, лавина падений без реальных assert (первый прогон: 49 «failures» на 25 тестах Duck.ai, 42 на 24 тестах поискового класса). Тот же тест по одному проходит за ~5 с. **Решение: один `xcodebuild` на каждый тест** со свежим `prepare_environment` (чистые defaults, перезапуск tests-server и приложения), `SKIP_BUILD=1` после первого. 88 тестов ≈ 25–30 мин. Цикл `each.sh` читает `tests-list.txt` (`Class/method`), пишет `summary-each.txt`, запускается из Terminal `.command`.
+- **`UITests.setAutocompleteToggleBeforeTestcaseRuns(false)` на macOS 12 падает по таймауту** (`Failed to get matching snapshots: Timed out while evaluating UI query`, окно Settings) → тесты класса не стартуют (`Executed 0 tests, with 1 failure`, ~190 с). Затронуты все классы с этим `setUp`, включая `AddressBarKeyboardShortcutsTests`. Локальный обход без коммита: убрать вызов хелпера при сборке бандла и в `prepare_environment` писать `defaults write com.duckduckgo.macos.browser.review preferences.appearance.show-autocomplete-suggestions -bool false`.
+- Редкий флейк: `Failed to compute hit point for (null)` → раннер падает при снятии скриншота (`Restarting after unexpected exit, crash, or test timeout`, итог `noresult`). Перезапуск одного теста помогает.
 - Repo `Logger` (`macOS/UITests/Common/UITests.swift`) calls private
   `-[XCTContext _recordActivityMessageWithFormat:]`; old XCTest lacks it → guard
-  with `responds(to:)` (done on branch `alex/fix-save-credentials-tooltip-crash-macos12`).
-- Remote shell is zsh: `log` is a builtin — use `/usr/bin/log show`.
-- MBP has a different SSH host key per boot volume; use the Virfield lease's
-  generated `ssh-config` (pins the booted volume's key).
+  with `responds(to:)` (в main уже есть).
 - Hover tracking in the app uses `.activeInKeyWindow`; popovers that open without
   focus don't get hover events.
+- Текст Duck.ai omnibar (`AIChatOmnibarTextContainerViewController.textView`) **не виден в accessibility-дереве** (контейнер `…view` — одиночный `Other`), в том числе на macOS 27. Ключи шлются через `app.typeKey`, текст читается через Cmd+A, Cmd+C и `NSPasteboard`.
+
+**Окружение / запись**
+
+- `screencapture -v` на macOS 12 VM: `capture error The operation could not be completed` и по SSH, и из Terminal в GUI-сессии (нет Screen Recording TCC, SIP включён, выдать нельзя). На macOS 27 golden `uitest-27-v1` работает по обычному SSH. Для macOS 12 записи экрана нет — только логи и `.xcresult`.
+- MBP has a different SSH host key per boot volume; use the Virfield lease's
+  generated `ssh-config` (pins the booted volume's key). Для Tart VM IP (192.168.64.x) доступен напрямую с хоста.
+- Диск Tart: `samsung-tart` ≈214 ГБ, macOS 27 clone резервирует 140 ГБ, Monterey 120 ГБ — вместе не помещаются, см. [[virfield]].
+
+## Находки на macOS 12 (PR 4548, address bar word selection)
+
+2026-10-17, ветка `alex/bug-08b-addressbar-selection`: тесты Opt+Shift+←/→, Cmd+Shift+←/→, Shift+←/→, Cmd+A, delete/forward-delete в адресной строке (URL, поисковый запрос, суффикс) и Duck.ai.
+
+- На macOS 12 после **Cmd+Shift+←** `selectionAffinity` остаётся прежним (на 27 становится `.upstream`) → Opt+Shift+→ не сжимала выделение слева. Исправлено явной установкой affinity в `AddressBarTextEditor` (`moveToBeginningOfLine/LeftEndOfLine/EndOfLine/RightEndOfLine…AndModifySelection`). Тот же класс проблемы — `selectAll`: affinity теперь явно `.downstream`.
+
+## Результаты запусков
+
+- 2026-10-12, MBP 2014 (Intel): воспроизведён Sentry crash `NSInternalInconsistencyException SaveCredentialsViewController.loadView` (`isfinite(newOrigin.x)` on macOS 12) до фикса.
+- 2026-10-17, Tart VM macOS 12.7.6 arm64: по-тестовый прогон 88 новых тестов. Первый проход 85 passed / 2 failed (находка про Cmd+Shift+← affinity) / 1 noresult (флейк скриншота). После фикса три теста перепроверены — passed.
 
-First used: 2026-10-12, reproducing Sentry crash
-`NSInternalInconsistencyException SaveCredentialsViewController.loadView`
-(`isfinite(newOrigin.x)` on macOS 12) — reproduced before fix on the MBP.
 See also [[virfield]].