137 lines
8.2 KiB
Markdown
Executable File
137 lines
8.2 KiB
Markdown
Executable File
---
|
||
tags: [hermes, llm, pricing, research, models, whale]
|
||
created: 2026-09-23
|
||
updated: 2026-09-23
|
||
related:
|
||
- glm-provider-migration
|
||
- ai-agent-landscape-2026
|
||
- OpenRouter setup
|
||
- deepseek-language-drift
|
||
---
|
||
# LLM цена/качество под задачи Whale (сентябрь 2026)
|
||
|
||
> Запрос Alex: «какая лучше всего модель под наши задачи по цене/качеству».
|
||
> Данные собраны 2026-09-23 из costgoat / benchlm / binaryverseai / o-mega / codersera.
|
||
|
||
## Профиль нагрузки Whale (это определяет выбор)
|
||
|
||
Из логов гейта: **60–70К контекста на вызов**, tool calling, много мелких шагов,
|
||
стабильный кэш-префикс (system prompt + skills). Критичны три метрики:
|
||
|
||
1. **cache-hit цена** — цикл пересылает один и тот же префикс каждый шаг
|
||
2. **output цена** — в 2–5× дороже input (каждый output-токен = полный forward pass)
|
||
3. **надёжность tool calling** — не общий «интеллект»
|
||
|
||
Gartner (март 2026): агентные воркфлоу жрут **5–30× больше токенов** на задачу, чем чат.
|
||
Ошибки компаундятся мультипликативно: 90% успеха на шаг → ~12% на 20 шагов.
|
||
|
||
## Разбор DeepSeek: `deepseek-chat` vs `deepseek-flash` vs `deepseek-v4-flash`
|
||
|
||
**Это НЕ апгрейд, а переименование.** DeepSeek выпустил V4.1-Flash 2026-09-10:
|
||
|
||
| ID | Статус |
|
||
|---|---|
|
||
| `deepseek-v4-flash` | **retired**, временно роутит на V4.1-Flash |
|
||
| `deepseek-flash` | **текущее каноническое имя** V4.1-Flash |
|
||
| `deepseek-v4-pro` | V4 Pro 0813 |
|
||
|
||
Новое в V4.1 vs V4: нативный **vision** + агрессивнее сжатие кэша.
|
||
|
||
⚠️ **`deepseek-chat` — legacy-алиас.** DeepSeek официально отретейрил `deepseek-chat`
|
||
и `deepseek-reasoner` **2026-07-24 15:59 UTC**. Маппинг: `deepseek-chat` → V4-Flash
|
||
(non-thinking). Живой список API сейчас = только `deepseek-flash` + `deepseek-v4-pro`.
|
||
|
||
## Цены и качество — полная таблица
|
||
|
||
**Value Score** = очки качества на $1 output (costgoat/Theozard).
|
||
**Cache-hit** — то, что реально определяет наш биллинг.
|
||
|
||
| Модель | In / Out | Cache-hit | Качество | Value | Агентный ранг |
|
||
|---|---|---|---|---|---|
|
||
| GLM-5.3 Flash | $0.15 / $0.50 | н/д | 73 | **146** | #31 (54.5) |
|
||
| **DeepSeek V4.1 Flash** (наш) | $0.15 / $0.60 | **$0.003** | 68 | 113 | #13 |
|
||
| GPT-6 Luna | $0.10 / $0.50 | $0.02 | 65 | 130 | #18 |
|
||
| **GLM-5.3** | $0.56 / $1.76 | н/д | 78 | 44 | **#9 (67.2)** |
|
||
| MiMo-V2.6-Pro (Xiaomi) | $0.44 / $0.87 | н/д | **80** | 92 | н/д |
|
||
| Gemini 3.8 Flash | $0.75 / $3.75 | $0.075 | 71 | 19 | #11 (65.0) |
|
||
| Qwen3.8-Flash | $0.113 / $0.382 | $0.014 | ~60 | 113 | #23 |
|
||
| Kimi K3 | $3.00 / $15.00 | $0.30 | 76 | 4.8 | **#6 (70.2)** |
|
||
| Claude Sonnet 5 | $2.00 / $10.00 | $0.20 | — | — | #12 (64.3) |
|
||
| Claude Opus 5.5 | $4.00 / $20.00 | $0.20 | **100** | 4.4 | **#1 (88.8)** |
|
||
| GPT-6 Astra | $10 / $50 | $1.00 | 91 | 1.8 | #5 (70.6) |
|
||
| Grok 4.6 | $2.00 / $6.00 | $0.50 | 81 | 13 | #8 (68.1) |
|
||
| DeepSeek V4 Pro 0813 | $0.435 / $0.87 | $0.0036 | — | — | #29 (54.9) |
|
||
|
||
## Три вывода
|
||
|
||
**1. DeepSeek V4.1 Flash — не оптимум, а №2 по value.** `GLM-5.3 Flash` даёт
|
||
value **146 против 113** при качестве **73 против 68** и агентном ранге **#31 против #13**.
|
||
Дешевле И лучше — реальный кандидат на замену.
|
||
|
||
**2. `GLM-5.3` — лучшая точка апгрейда.** Единственная open-weight модель в топ-10
|
||
агентного рейтинга (**#9, 67.2**), 1.3M контекст. Против нашего #13 — **на 13 позиций выше
|
||
по агентным задачам** при цене всего в 3× дороже output.
|
||
|
||
**3. Фронтир не окупается.** Opus 5.5 — лидер (#1, качество 100), но **value 4.4** —
|
||
в **25× хуже** нашего. GPT-6 Astra $50 output, value 1.8. Единственный аргумент за них —
|
||
adversarial reliability (Opus 5: 2% injection success at k=15 против 5.9% у Sonnet 5)
|
||
и надёжность на 100+ шагах. У нас короткие цепочки — аргумент не наш.
|
||
|
||
## Критическая оговорка
|
||
|
||
**Harness-вариативность превышает модельную в 7.8×** (controlled factorial study, май 2026).
|
||
Разница между №13 и №31 в чужом харнессе может исчезнуть в нашем Hermes.
|
||
Единственный честный способ — прогнать 10 реальных задач на обеих моделях.
|
||
|
||
## 🔴 Измерено на практике (2026-09-23): кэш решает всё
|
||
|
||
При выборе GLM-5.3 (см. [[glm-provider-migration]]) замерен фактический cache-hit из логов:
|
||
|
||
```
|
||
API call: model=deepseek-chat provider=deepseek in=92975 out=115
|
||
latency=2.2s cache=92800/92975 (100%)
|
||
```
|
||
|
||
**DeepSeek отдаёт 100% cache-hit** на нашем стабильном префиксе. При 93К контекста это
|
||
значит: вход стоит **$0.003/M вместо $0.15/M** — практически бесплатно.
|
||
|
||
**Следствие для таблиц выше:** колонка «Cache-hit: н/д» у GLM — это не «не опубликовано»,
|
||
а **отсутствие кэша**. У GLM-5.3 live-тест показал `in=20961` без строки cache.
|
||
|
||
**Пересчёт реальной стоимости под наш профиль:** на префиксной части вход дорожает
|
||
с ~$0.003/M до $0.56/M — **до ~187×**. Номинальный разрыв в прайсе (2.9× по output)
|
||
сильно недооценивает реальный рост расхода.
|
||
|
||
**Вывод: таблица Value Score не описывает нашу экономику.** Она считает по номинальному
|
||
output-прайсу и игнорирует кэш. Для агентных нагрузок с длинным повторяющимся префиксом
|
||
cache-hit — доминирующая статья, и модели без кэша проигрывают сильнее, чем показывает Value.
|
||
|
||
Правило на будущее: **при выборе модели для агента первым делом проверять cache-hit прайс
|
||
и наличие кэша в реальном ответе API, а не Value Score.**
|
||
|
||
## Часы пик / off-peak (DeepSeek)
|
||
|
||
С 2026-08-16 DeepSeek билит по peak/off-peak. Пик: 2:00–18:00 UTC.
|
||
Off-peak = **половина от поднятого пика**, а не «дешевле чем раньше».
|
||
|
||
⚠️ Наши cron в 01:00–03:00 local задевают границу пика.
|
||
|
||
## Практические заметки по провайдерам
|
||
|
||
- GLM = **Z.ai** (Zhipu AI, Китай), НЕ Google/Gemini. Разные лаборатории.
|
||
- env: `GLM_API_KEY` / `ZAI_API_KEY` / `Z_AI_API_KEY`
|
||
- provider id в Hermes: `zai` (алиасы `glm`, `z-ai`, `z.ai`, `zhipu`)
|
||
- direct API base: `https://api.z.ai/api/paas/v4`
|
||
- Gemini = Google, env `GOOGLE_API_KEY` / `GEMINI_API_KEY`
|
||
- Kimi = Moonshot AI; Qwen = Alibaba; MiMo = Xiaomi
|
||
|
||
## Источники
|
||
|
||
- costgoat.com/compare/llm-api (411+ моделей, обновлён 2026-09-23)
|
||
- benchlm.ai/best/agents + benchlm.ai/llm-pricing (2026-09-21/22)
|
||
- binaryverseai.com/llm-pricing-comparison (2026-09-11)
|
||
- o-mega.ai «Best LLM for AI Agents: September 2026 Rankings» (2026-09-08)
|
||
- codersera.com «DeepSeek V4 Guide» (2026-08-13)
|
||
- insiderllm.com «DeepSeek V4 Flash vs Pro» (2026-06-12)
|
||
- deepseek.com/en/news/deepseek-v4-1-flash/ (первоисточник по переименованию)
|