8.2 KiB
Executable File
tags, created, updated, related
| tags | created | updated | related | ||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
|
2026-09-23 | 2026-09-23 |
|
LLM цена/качество под задачи Whale (сентябрь 2026)
Запрос Alex: «какая лучше всего модель под наши задачи по цене/качеству». Данные собраны 2026-09-23 из costgoat / benchlm / binaryverseai / o-mega / codersera.
Профиль нагрузки Whale (это определяет выбор)
Из логов гейта: 60–70К контекста на вызов, tool calling, много мелких шагов, стабильный кэш-префикс (system prompt + skills). Критичны три метрики:
- cache-hit цена — цикл пересылает один и тот же префикс каждый шаг
- output цена — в 2–5× дороже input (каждый output-токен = полный forward pass)
- надёжность tool calling — не общий «интеллект»
Gartner (март 2026): агентные воркфлоу жрут 5–30× больше токенов на задачу, чем чат. Ошибки компаундятся мультипликативно: 90% успеха на шаг → ~12% на 20 шагов.
Разбор DeepSeek: deepseek-chat vs deepseek-flash vs deepseek-v4-flash
Это НЕ апгрейд, а переименование. DeepSeek выпустил V4.1-Flash 2026-09-10:
| ID | Статус |
|---|---|
deepseek-v4-flash |
retired, временно роутит на V4.1-Flash |
deepseek-flash |
текущее каноническое имя V4.1-Flash |
deepseek-v4-pro |
V4 Pro 0813 |
Новое в V4.1 vs V4: нативный vision + агрессивнее сжатие кэша.
⚠️ deepseek-chat — legacy-алиас. DeepSeek официально отретейрил deepseek-chat
и deepseek-reasoner 2026-07-24 15:59 UTC. Маппинг: deepseek-chat → V4-Flash
(non-thinking). Живой список API сейчас = только deepseek-flash + deepseek-v4-pro.
Цены и качество — полная таблица
Value Score = очки качества на $1 output (costgoat/Theozard). Cache-hit — то, что реально определяет наш биллинг.
| Модель | In / Out | Cache-hit | Качество | Value | Агентный ранг |
|---|---|---|---|---|---|
| GLM-5.3 Flash | $0.15 / $0.50 | н/д | 73 | 146 | #31 (54.5) |
| DeepSeek V4.1 Flash (наш) | $0.15 / $0.60 | $0.003 | 68 | 113 | #13 |
| GPT-6 Luna | $0.10 / $0.50 | $0.02 | 65 | 130 | #18 |
| GLM-5.3 | $0.56 / $1.76 | н/д | 78 | 44 | #9 (67.2) |
| MiMo-V2.6-Pro (Xiaomi) | $0.44 / $0.87 | н/д | 80 | 92 | н/д |
| Gemini 3.8 Flash | $0.75 / $3.75 | $0.075 | 71 | 19 | #11 (65.0) |
| Qwen3.8-Flash | $0.113 / $0.382 | $0.014 | ~60 | 113 | #23 |
| Kimi K3 | $3.00 / $15.00 | $0.30 | 76 | 4.8 | #6 (70.2) |
| Claude Sonnet 5 | $2.00 / $10.00 | $0.20 | — | — | #12 (64.3) |
| Claude Opus 5.5 | $4.00 / $20.00 | $0.20 | 100 | 4.4 | #1 (88.8) |
| GPT-6 Astra | $10 / $50 | $1.00 | 91 | 1.8 | #5 (70.6) |
| Grok 4.6 | $2.00 / $6.00 | $0.50 | 81 | 13 | #8 (68.1) |
| DeepSeek V4 Pro 0813 | $0.435 / $0.87 | $0.0036 | — | — | #29 (54.9) |
Три вывода
1. DeepSeek V4.1 Flash — не оптимум, а №2 по value. GLM-5.3 Flash даёт
value 146 против 113 при качестве 73 против 68 и агентном ранге #31 против #13.
Дешевле И лучше — реальный кандидат на замену.
2. GLM-5.3 — лучшая точка апгрейда. Единственная open-weight модель в топ-10
агентного рейтинга (#9, 67.2), 1.3M контекст. Против нашего #13 — на 13 позиций выше
по агентным задачам при цене всего в 3× дороже output.
3. Фронтир не окупается. Opus 5.5 — лидер (#1, качество 100), но value 4.4 — в 25× хуже нашего. GPT-6 Astra $50 output, value 1.8. Единственный аргумент за них — adversarial reliability (Opus 5: 2% injection success at k=15 против 5.9% у Sonnet 5) и надёжность на 100+ шагах. У нас короткие цепочки — аргумент не наш.
Критическая оговорка
Harness-вариативность превышает модельную в 7.8× (controlled factorial study, май 2026). Разница между №13 и №31 в чужом харнессе может исчезнуть в нашем Hermes. Единственный честный способ — прогнать 10 реальных задач на обеих моделях.
🔴 Измерено на практике (2026-09-23): кэш решает всё
При выборе GLM-5.3 (см. glm-provider-migration) замерен фактический cache-hit из логов:
API call: model=deepseek-chat provider=deepseek in=92975 out=115
latency=2.2s cache=92800/92975 (100%)
DeepSeek отдаёт 100% cache-hit на нашем стабильном префиксе. При 93К контекста это значит: вход стоит $0.003/M вместо $0.15/M — практически бесплатно.
Следствие для таблиц выше: колонка «Cache-hit: н/д» у GLM — это не «не опубликовано»,
а отсутствие кэша. У GLM-5.3 live-тест показал in=20961 без строки cache.
Пересчёт реальной стоимости под наш профиль: на префиксной части вход дорожает с ~$0.003/M до $0.56/M — до ~187×. Номинальный разрыв в прайсе (2.9× по output) сильно недооценивает реальный рост расхода.
Вывод: таблица Value Score не описывает нашу экономику. Она считает по номинальному output-прайсу и игнорирует кэш. Для агентных нагрузок с длинным повторяющимся префиксом cache-hit — доминирующая статья, и модели без кэша проигрывают сильнее, чем показывает Value.
Правило на будущее: при выборе модели для агента первым делом проверять cache-hit прайс и наличие кэша в реальном ответе API, а не Value Score.
Часы пик / off-peak (DeepSeek)
С 2026-08-16 DeepSeek билит по peak/off-peak. Пик: 2:00–18:00 UTC. Off-peak = половина от поднятого пика, а не «дешевле чем раньше».
⚠️ Наши cron в 01:00–03:00 local задевают границу пика.
Практические заметки по провайдерам
- GLM = Z.ai (Zhipu AI, Китай), НЕ Google/Gemini. Разные лаборатории.
- env:
GLM_API_KEY/ZAI_API_KEY/Z_AI_API_KEY - provider id в Hermes:
zai(алиасыglm,z-ai,z.ai,zhipu) - direct API base:
https://api.z.ai/api/paas/v4
- env:
- Gemini = Google, env
GOOGLE_API_KEY/GEMINI_API_KEY - Kimi = Moonshot AI; Qwen = Alibaba; MiMo = Xiaomi
Источники
- costgoat.com/compare/llm-api (411+ моделей, обновлён 2026-09-23)
- benchlm.ai/best/agents + benchlm.ai/llm-pricing (2026-09-21/22)
- binaryverseai.com/llm-pricing-comparison (2026-09-11)
- o-mega.ai «Best LLM for AI Agents: September 2026 Rankings» (2026-09-08)
- codersera.com «DeepSeek V4 Guide» (2026-08-13)
- insiderllm.com «DeepSeek V4 Flash vs Pro» (2026-06-12)
- deepseek.com/en/news/deepseek-v4-1-flash/ (первоисточник по переименованию)