07. Divisão temporal e backtesting

Uma avaliação de previsão precisa reproduzir o que seria conhecido em cada data de decisão. Embaralhar passado e futuro pode fornecer ao modelo informações que ele não teria na operação. Backtesting simula origens históricas, compara previsões com valores posteriores e permite examinar desempenho por horizonte. O capítulo distingue holdout temporal, walk-forward, janela expansiva e janela deslizante, incluindo a necessidade de refazer preparação e seleção dentro de cada corte permitido.

Quando a ordem do tempo importa, dividir dados aleatoriamente e ignorar dependências produz respostas enganosas. A sequência parte da estrutura temporal e chega à operação contínua das previsões. Este é o capítulo 7 de 20 da disciplina Séries Temporais e Previsão. Ele retoma Estacionariedade e raízes unitárias e utiliza essa base para avançar. Na sequência, estudaremos Baselines de previsão.

O fio condutor

Ciência de Dados começa com uma pergunta e termina com uma decisão que precisa ser compreendida, avaliada e acompanhada. Entre esses dois pontos, dados são coletados, examinados e transformados; métodos são escolhidos; resultados são validados; e limitações são comunicadas. Nenhuma etapa compensa automaticamente uma falha grave ocorrida na etapa anterior.

Neste capítulo, use Divisão temporal e backtesting para acompanhar três dimensões: o problema que se deseja resolver, a evidência disponível e o critério usado para avaliar o resultado. Essa separação ajuda a evitar soluções tecnicamente sofisticadas que não respondem à necessidade real.

Holdout

Começamos por Holdout, pois essa base organiza os conceitos e exemplos que aparecerão no restante do capítulo.

Holdout temporal reserva período posterior para avaliação final.

Holdout temporal reserva um bloco posterior para avaliação. O treino usa informação anterior à origem, e o teste contém períodos futuros compatíveis com o horizonte desejado. O tamanho do bloco deve permitir avaliar a tarefa, incluindo sazonalidade e regimes relevantes. Selecionar repetidamente modelos usando esse mesmo teste o transforma em parte do desenvolvimento. Mantenha uma avaliação final independente das decisões de ajuste. Dados divulgados com atraso ou revisados depois exigem reconstruir a versão disponível na época, não apenas filtrar pela data do evento.

Walk-forward

Depois de compreender Holdout, passamos a Walk-forward. A nova seção acrescenta outra etapa ao mesmo raciocínio e mostra como as decisões anteriores influenciam as próximas.

Walk-forward avança origem da previsão e reestima conforme protocolo.