2,89 tokens por segundo: investigando um LLM local na RTX 5090
Um relato de maio, a conta de memória dos pesos e um roteiro para investigar desempenho sem confundir hipótese com diagnóstico.
Nota de apuração: datas e conversas do grupo vêm do registro editorial interno cedido pelo autor, sem transcrição pública nem logs reproduzíveis. Os links públicos sustentam apenas as informações técnicas atribuídas a eles.
Em 1º de maio, um participante relatou 2,89 tokens por segundo com um modelo de 72 bilhões de parâmetros numa RTX 5090. A conversa descrevia baixa utilização da GPU e memória do sistema ocupada. É um caso relatado no grupo, não um benchmark reproduzido pelo Paapiro.
Comece pela observação
Com ambiente NVIDIA/CUDA compatível, este comando acompanha a GPU durante a inferência:
nvidia-smi -l 1Compare utilização, memória, consumo e registros do runtime. GPU ociosa é compatível com offload para CPU, mas não fecha o diagnóstico: configuração, lote, contexto e transferência de dados também pesam.
Faça a conta dos pesos
Para um modelo denso de 72 bilhões de parâmetros em FP16:
parametros = 72_000_000_000
bytes_por_peso = 2
print(parametros * bytes_por_peso / 1e9) # 144 GB decimaisSó os pesos. Cache de atenção e buffers pedem mais memória. Confira o formato realmente carregado; não presuma FP16 pelo nome do modelo.
Modelo menor, comparação diferente
O grupo discutiu um modelo de 27 bilhões de parâmetros quantizado, com cerca de 7 tokens por segundo no relato seguinte. Como modelo e configuração mudaram, não é comparação de uma variável só. Quantização reduz memória, mas seus efeitos em qualidade e velocidade dependem do formato e do runtime.
Energia: hipótese explícita
Com 575 W constantes por 24 h durante 30 dias, são 414 kWh. A R$ 0,60/kWh, dá R$ 248,40, só para a carga considerada. Não é medição: consumo real, outros componentes e tarifa mudam a conta.
A conclusão útil é medir o próprio ambiente e registrar as condições: modelo, quantização, contexto, hardware e runtime acompanham qualquer número de tokens por segundo.
Fontes: relato do grupão em 1/5/2026, preservado pelo autor (comandos e contas são roteiro de investigação, não execução comprovada) · nvidia-smi · llama.cpp .