Em palavras simples — Métricas comprimem a história em números. Para interpretá-las, é preciso saber qual série, período, frequência, capital, custo e comparação produziram cada número.
As métricas de backtest resumem retorno, risco, caminho, execução e incerteza. Um benchmark define o termo de comparação. Nenhuma métrica é autossuficiente: significado e comparabilidade dependem de convenções declaradas e de uma estratégia economicamente implementável.
Famílias de medidas
| Família | Exemplos | Pergunta |
|---|---|---|
| Retorno | total, CAGR, excess return | quanto o capital mudou sob qual convenção? |
| Por trade | win rate, payoff, expectancy, profit factor | como resultados definidos por operação se distribuem? |
| Dispersão | volatilidade, downside deviation | quanto varia a série escolhida? |
| Caminho | drawdown, duração, recovery | como picos e vales ocorreram no tempo? |
| Implementação | turnover, fill rate, slippage, capacidade | o resultado teórico é executável? |
| Incerteza | erro padrão, intervalo, estabilidade OOS | quão precisa e selecionada é a estimativa? |
Métricas por trade dependem da definição do trade. Estratégias com posições sobrepostas ou portfólio contínuo podem exigir unidade de risco ou período em vez de contagem artificial de operações.
Sharpe: fórmula e anualização
Para uma série de retornos diferenciais xₜ:
Sharpe = média(xₜ) / desvio_padrão(xₜ)É necessário declarar benchmark ou taxa deduzida, frequência, estimador do desvio e anualização. Multiplicar por raiz do tempo pressupõe condições que podem falhar com autocorrelação, retornos sobrepostos e não estacionariedade. Sharpe não descreve sozinho caudas, liquidez, capacidade nem habilidade.
Drawdown e métricas por trade
Drawdown mede a queda entre um pico e o vale seguinte e depende da ordem dos retornos e da janela. Max drawdown é o pior episódio observado, não limite futuro. Duração e recuperação acrescentam informação que o valor máximo omite.
Win rate alto pode coexistir com perdas médias grandes; payoff alto com poucas vitórias. Expectancy combina frequência e magnitude segundo a unidade adotada. Profit factor compara lucros e perdas brutos, mas pode ser instável com poucos eventos e não mede o capital ou o caminho.
Quatro tipos de benchmark
- Cash ou taxa mínima, para retorno diferencial sob convenção explícita.
- Índice de mercado, coerente com classe, moeda e total return.
- Carteira de política ou fator, alinhada às exposições e ao mandato.
- Baseline da estratégia, como regra simples que testa valor incremental.
O benchmark é escolhido antes da avaliação. Mudar a comparação após o resultado cria seleção. Versão, provedor, moeda, custos e rebalanceamento fazem parte da definição.
Bruto, líquido e capacidade
resultado bruto − comissões − spread − slippage − impacto − borrow/funding/roll = resultado líquido simuladoO líquido vale apenas para a escala e o modelo declarados. Turnover, participação, concentração e liquidez explicam como o custo muda com capital. Relatórios devem mostrar bruto e líquido e decompor as fricções sem contagem dupla.
Seleção e incerteza
Uma métrica selecionada entre muitos candidatos é otimista. Intervalos que ignoram autocorrelação ou clusters são estreitos demais. O relatório inclui número de tentativas, dependência, resultados OOS, subperíodos e concentração. Deflated Sharpe Ratio é uma ferramenta para um problema específico, não selo universal.
Exemplo ilustrativo
Duas estratégias apresentam retorno anual semelhante. A primeira tem baixo turnover e drawdowns distribuídos; a segunda depende de poucos trades, alavancagem e custos otimistas. Sharpe isolado pode aproximá-las. Benchmark, capacidade, intervalo, drawdown e decomposição do P&L mostram decisões diferentes. O exemplo não define qual é superior sem mandato e risco.
Ficha mínima reproduzível
- período, frequência, calendário e moeda-base;
- definição do retorno, capital e compounding;
- benchmark, variante e fonte;
- resultado bruto e líquido com modelo de custos;
- exposição, alavancagem, turnover e capacidade;
- métricas com fórmula e anualização;
- número de observações efetivas e tentativas;
- splits, OOS, subperíodos e intervalos;
- código, dados, configuração e versão.
Convenções, decomposição e incerteza
Cada métrica precisa declarar convenções. Sharpe depende da frequência, taxa livre de risco e fator de anualização; drawdown depende da curva e do tratamento de fluxos; turnover muda conforme se contam compras, vendas ou capital médio. Sem essas definições, dois relatórios podem usar o mesmo nome e medir objetos diferentes. Resultado bruto, líquido, financiamento, borrow e custos devem ficar separados o suficiente para permitir reconciliação.
Uma métrica de carteira também pode esconder a origem do resultado. É útil decompor por ativo, lado, regime, período, exposição, turnover e contribuição de poucas operações. Se quase todo o desempenho vem de um evento, a média anual não representa repetição ampla. Intervalos por blocos e dispersão entre janelas ajudam a mostrar dependência e instabilidade, embora não transformem a amostra histórica em futuro conhecido.
Governança do benchmark
O benchmark deve ser escolhido antes do resultado e representar uma alternativa executável ou uma exposição que se quer explicar. Uma estratégia de ações pode ser comparada a índice, caixa e versão simples com risco semelhante; trocar o benchmark depois para maximizar alpha é outra forma de seleção. Regras de rebalanceamento, custos, moeda, dividendos e disponibilidade precisam ser compatíveis com o teste.
O relatório deve distinguir retorno absoluto de valor incremental. Uma curva pode subir porque manteve beta, duration ou carry, não porque o mecanismo previsto funcionou. Comparações com especificações simples e exposições fatoriais ajudam a revelar isso, sem provar causalidade.
Métricas sob seleção
O melhor Sharpe entre muitas variantes não tem a mesma interpretação do Sharpe de uma hipótese única registrada antes do teste. Número de tentativas, dependência entre elas e não normalidade afetam a confiança no vencedor. Métricas ajustadas, Reality Check e holdout podem reduzir o otimismo, mas não substituem o inventário completo da pesquisa.
Por isso, o painel final deve ser pequeno e definido pelo mandato: retorno líquido, risco, drawdown, exposição, capacidade e comparação relevante, junto com incerteza e falhas. Acrescentar dezenas de métricas depois de ver o resultado aumenta a chance de encontrar uma narrativa favorável.
Fontes
- William F. Sharpe, The Sharpe Ratio — definição, interpretação e relações da medida.
- Andrew W. Lo, The Statistics of Sharpe Ratios — distribuição e limites da anualização com dependência.
- David H. Bailey e Marcos López de Prado, The Deflated Sharpe Ratio — ajuste para viés de seleção e retornos não normais no modelo proposto.
- International Organization of Securities Commissions, Principles for Financial Benchmarks — princípios de governança, qualidade e metodologia de benchmarks em seu âmbito.
- Joseph Simonian, CFA Institute Research Foundation, Investment Model Validation: A Guide for Practitioners — uso conjunto de performance, benchmark, stress e incerteza na validação.