Desempenho
O ecrã que mostra honestamente qual o método que funciona. Cada taxa é mostrada com o seu intervalo de confiança e amostra, em comparação com referências ingénuas, e tanto em relação à rendibilidade residual como à bruta. Os separadores no topo escolhem o horizonte.
Aviso de aceitação do consenso
O que é: Uma caixa verde ou amarela que indica se D · Consenso bate individualmente cada um dos seus componentes (A, B, C) no horizonte selecionado.
Que dados o alimentam: /api/performance/leaderboard → o resultado engineD da última execução de análise concluída. A comparação usa as taxas de acerto de backtest na mesma janela walk-forward; são necessárias pelo menos 200 observações.
O que mostra: Mostra se o consenso é utilizável e qual o componente que não consegue bater.
O que se pode concluir: Se o aviso for amarelo, os cartões «Sinal forte» do ecrã Hoje não devem ser usados para decisões; o sinal do melhor modelo isolado é melhor. Esta regra é deliberadamente estrita: combinar só acrescenta valor se for melhor do que cada uma das partes.
Rendibilidade residual versus rendibilidade bruta
O que é: Uma tabela em que os mesmos sinais de backtest são avaliados duas vezes: uma em relação à rendibilidade residual no final do horizonte, outra em relação à rendibilidade bruta. Aparece um aviso se a diferença ultrapassar três pontos.
Que dados o alimentam: As tabelas signal_daily e signal_outcome são unidas na base de dados; usa-se a coluna realized_residual para o residual e a coluna realized_return para o bruto. O cálculo é feito em SQL.
O que mostra: A coluna da esquerda mostra o desempenho do modelo no objetivo para o qual foi treinado, a coluna da direita o desempenho no movimento real do preço.
O que se pode concluir: Esta é a tabela mais importante da aplicação. Se a capacidade de um modelo desaparece na coluna da direita, o que ele prevê não é o preço, mas sim a forma como a rendibilidade residual é construída. Nos dados reais, a taxa de acerto de 58% de B · Classificação transversal a 21 dias cai para 50,5% na rendibilidade bruta. Para investir, o que importa é a coluna da direita.
Classificação dos modelos
O que é: As taxas de acerto ao vivo e de backtest dos quatro modelos, os seus coeficientes de informação, e uma repartição por regimes calmos e turbulentos.
Que dados o alimentam: As colunas ao vivo são calculadas a partir das linhas de signal_daily e signal_outcome no nível LIVE. As colunas de backtest provêm do resultado de avaliação guardado da última execução de análise. O regime é determinado pelo percentil 70 da correlação média no ecrã Mapa.
O que mostra: A taxa de acerto é mostrada com o seu intervalo de Wilson a 95% e n; abaixo de 200 observações, mostra-se «ainda não é possível distinguir» em vez de um número. As células de backtest têm tramado. O coeficiente de informação é a correlação de Spearman entre a ordem prevista e a ordem realizada dentro de um dia. O melhor modelo de backtest é destacado. Um acerto é definido da mesma forma em todo o lado: a direção do sinal e o sinal da rendibilidade residual no final do horizonte coincidem. A rendibilidade residual é a rendibilidade da ação sem o efeito do mercado (XU100), do setor e do USD/TRY; não é o preço em si.
O que se pode concluir: Não há diferença entre dois modelos cujos intervalos se sobrepõem. A verdadeira questão é se o modelo à frente no backtest também se mantém à frente ao vivo; à medida que os resultados ao vivo se acumulam, esta tabela responde a essa questão. Uma queda na taxa de acerto no regime turbulento mostra que o modelo não é fiável em períodos de crise.
Taxa de acerto acumulada
O que é: Para cada modelo, a curva da taxa de acerto acumulada dos seus sinais ao vivo até cada dia, e uma linha tracejada nos 50%.
Que dados o alimentam: As linhas de signal_daily e signal_outcome no nível LIVE. Só são desenhados os registos ao vivo; se não houver registos ao vivo, o gráfico fica vazio e diz isso claramente.
O que mostra: Mostra a que nível a curva se estabiliza ao longo do tempo. Nos primeiros dias a curva é muito instável, porque a amostra é pequena.
O que se pode concluir: Uma curva que se mantém permanentemente acima da linha dos 50% aponta para uma capacidade real. Uma curva que começa alta e se aproxima dos 50% mostra que os primeiros resultados foram sorte; para tirar conclusões é preciso esperar alguns meses.
Referências
O que é: As taxas de acerto de quatro regras ingénuas que um modelo tem de bater.
Que dados o alimentam: O resultado de avaliação da última execução de análise. São usados os mesmos dias de teste e as mesmas rendibilidades residuais.
O que mostra: Aleatório (50%); persistência setorial (o sinal do residual médio do setor de hoje persiste amanhã); AR(1) próprio da ação (o sinal do residual de hoje persiste); persistência do mercado (o sinal do índice de hoje persiste).
O que se pode concluir: Nos dados reais, estas regras mantêm-se entre 49% e 51%. Se a taxa de acerto de um modelo não se distingue delas, o modelo não encontrou nada, seja qual for a sua taxa absoluta.
Curvas da carteira
O que é: A rendibilidade acumulada de uma carteira equiponderada que compra os 10% de ações com a pontuação mais alta e vende a descoberto os 10% com a pontuação mais baixa; com e sem custos de transação.
Que dados o alimentam: O resultado de avaliação da última execução de análise. As rendibilidades são calculadas sobre a rendibilidade residual. O reequilíbrio é feito em passos iguais ao horizonte, em períodos não sobrepostos; o custo é de 15 pontos base por sentido.
O que mostra: Rácio de Sharpe (anualizado com √(252/horizonte)), perda máxima, rotação e número de períodos. A linha tracejada é sem custos, a linha contínua com custos.
O que se pode concluir: Para decidir, veja a curva com custos. Como as rendibilidades são sobre a rendibilidade residual, o artefacto da tabela «rendibilidade residual / bruta» aplica-se também aqui: o Sharpe elevado de B · Classificação transversal e D · Consenso não é a rendibilidade de uma carteira real de preços.
Testes por pares
O que é: Uma tabela em que pares de modelos são comparados nos mesmos dias-ação; ao vivo e backtest em linhas separadas.
Que dados o alimentam: O teste de McNemar sobre os acertos emparelhados; o teste de Diebold–Mariano sobre as perdas. Calculado a partir da base de dados para o ao vivo e a partir do resultado da última execução para o backtest.
O que mostra: Um resultado do tipo «B > A, p=0,003», ou «ainda não é possível distinguir» se a amostra for insuficiente.
O que se pode concluir: Só as diferenças com p < 0,05 devem ser consideradas diferenças reais. Com uma amostra grande, mesmo diferenças muito pequenas podem sair significativas; significância não quer dizer que a diferença seja suficientemente grande para ser útil.
As informações, os comentários e as recomendações de investimento aqui apresentados não se enquadram no âmbito dos serviços de consultoria para investimento. Os serviços de consultoria para investimento são prestados ao abrigo de um contrato de consultoria para investimento a celebrar entre o cliente e sociedades corretoras, sociedades gestoras de carteiras ou bancos que não aceitem depósitos. Os sinais aqui apresentados são produzidos a partir de dados históricos com modelos estatísticos, são mostrados de forma igual a todos e não são personalizados; podem não ser adequados à sua situação financeira nem às suas preferências de risco e rendibilidade. Por conseguinte, tomar decisões de investimento baseadas unicamente nas informações aqui apresentadas pode não produzir resultados de acordo com as suas expectativas.