O que é medido
- Apenas modelos BYOK. O gasto é medido sobre os modelos que você configurou em Bring Your Own Key — as chaves que você paga diretamente ao provider. Modelos que o Kodus roda do lado dele não contam.
- Precificado pelas taxas atuais, por modelo. Os tokens de cada modelo são precificados pela taxa atual daquele modelo. Não há snapshot — se o preço de um modelo mudar (atualização de catálogo ou edição manual), o uso daquele modelo no mês é recalculado pela nova taxa. Trocar de modelo não reprecifica o modelo que você usava antes.
- Por mês calendário (UTC). A janela vai do dia 1º do mês ao dia 1º do mês seguinte. O uso zera automaticamente no início de cada mês — não há nada a resetar manualmente.
Para que o número reflita apenas o Kodus, recomendamos que a chave de API que você dá ao Kodus seja usada exclusivamente com o Kodus. Se a mesma chave também alimenta outras ferramentas, o uso no provider — e qualquer estimativa baseada nele — mistura os dois.
Como configurar
O limite fica na tela de BYOK, abaixo dos seus modelos Main e Fallback.1
Abra as configurações de BYOK
Vá em app.kodus.io/organization/byok e role até Monthly spend limit. (A seção aparece quando você tem ao menos um modelo BYOK configurado.)
2
Confira os preços dos modelos
Cada modelo configurado mostra seu preço por token — input, output, cache read, cache write — em $ / 1M tokens. Um badge Catalog significa que o Kodus encontrou o preço automaticamente; um badge Manual significa que você o informou.
3
Corrija qualquer modelo sem preço
Um modelo com badge No price não pôde ser precificado automaticamente (modelo customizado ou fora do catálogo). Informe os preços por token a partir da página de pricing do seu provider. Você não consegue habilitar o limite enquanto todo modelo não tiver preço — não dá para acompanhar gasto de um modelo que o Kodus não sabe precificar.
4
Defina o limite mensal e habilite
Informe seu teto em US$, ligue Enable spend alerts e clique em Save spend limit.
Preços de modelo
Preço de catálogo vs. manual
Preço de catálogo vs. manual
O Kodus busca cada modelo num catálogo público de preços e pré-preenche o que encontra (Catalog). Se o catálogo estiver errado ou não tiver o modelo, informe as taxas por token corretas — o badge muda para Manual e seus valores passam a ser usados.
Voltar um preço manual para o catálogo
Voltar um preço manual para o catálogo
Num modelo que você sobrescreveu, clique em Revert to catalog price. Os campos voltam aos valores do catálogo e o badge volta para Catalog. A partir daí, aquele modelo volta a seguir o preço vivo do catálogo (sem snapshot congelado).
Por que um modelo pode aparecer como 'No price'
Por que um modelo pode aparecer como 'No price'
Endpoints customizados, modelos self-hosted ou modelos que o catálogo não indexou não têm preço automático. Informe as taxas manualmente para torná-los rastreáveis. Até lá, o limite não pode ser habilitado.
Alertas
Uma vez habilitado, o Kodus verifica seu gasto acumulado no mês aproximadamente uma vez por hora e notifica os Owners da sua organização por e-mail e na central de notificações do app conforme você cruza cada faixa:
Cada faixa dispara no máximo uma vez por mês, então você não recebe pings repetidos do mesmo nível. A contagem zera automaticamente quando o novo mês começa.
As revisões continuam rodando normalmente o tempo todo — a 50%, a 100% e além. Os alertas são a única coisa que acontece.
Precisão
O gasto é uma estimativa. Ele é derivado dos tokens que suas revisões usaram e dos preços por token mostrados na tela de BYOK — não vai bater centavo a centavo com a fatura do seu provider.Mantenha os preços corretos
Confira os preços do catálogo contra a página de pricing do seu provider e corrija o que estiver fora. Planos de assinatura/valor fixo especialmente não batem com preço de catálogo por token.
Use a chave só com o Kodus
Uma chave dedicada significa que o uso que o Kodus enxerga é o uso que o Kodus causou — nada mais infla o número.
Perguntas frequentes
Atingir o limite para minhas revisões?
Atingir o limite para minhas revisões?
Não. É só notificação. Para parar o gasto, configure um limite rígido no dashboard de billing do seu provider de modelo.
O que conta para o gasto?
O que conta para o gasto?
Apenas o uso de tokens nos seus modelos BYOK, precificado pelas taxas atuais mostradas na tela de BYOK. Modelos hospedados pelo Kodus não contam.
Quando o gasto zera?
Quando o gasto zera?
No dia 1º de cada mês calendário (UTC). O gasto do mês volta a $0 e todos os alertas de faixa são rearmados automaticamente.
Troquei de modelo no meio do mês — meu gasto pula?
Troquei de modelo no meio do mês — meu gasto pula?
Não. O gasto é acompanhado por modelo: os tokens de cada modelo são precificados pela taxa daquele modelo. Se você gastou $50 no modelo A e depois trocou para o modelo B, o uso do modelo A continua em $50 — trocar para B nunca reprecifica os tokens de A pela taxa de B. Seu total apenas cresce conforme o que o modelo B então usar.A única coisa que reprecifica uso já incorrido é uma mudança no preço daquele mesmo modelo — quando o catálogo de preços atualiza a taxa de um modelo, ou você edita seu preço manual na tela de BYOK, o uso daquele modelo no mês é recalculado pela nova taxa (não há snapshot congelado).
Por que não consigo habilitar o limite?
Por que não consigo habilitar o limite?
Todo modelo configurado precisa ter preço (de catálogo ou manual) e o limite mensal precisa ser maior que $0. Corrija qualquer modelo com No price, defina um valor positivo e salve.
Quem recebe os alertas?
Quem recebe os alertas?
Os Owners da sua organização, na central de notificações do app. Ajuste o roteamento em Spend Limit nas configurações de notificação.