Beslutstid är en del av datan
En regel får bara använda observationer som fanns tillgängliga vid det simulerade beslutet. Publiceringstid och referensperiod är olika saker: en rapport om förra månaden var inte känd under hela förra månaden.
Separera utveckling och prövning
En utvecklingsperiod kan användas för att formulera regler. En separat prövningsperiod ska sedan användas utan att reglerna omedelbart ändras efter resultatet. Om testperioden återanvänds för många beslut blir den i praktiken ytterligare träningsdata.
Redovisa försök och misslyckanden
Om hundratals varianter prövas och bara vinnaren visas blir bilden missvisande. Spara testade parametrar, kostnader och dataversion. Resultat från historik säger inte att samma mönster kommer att bestå när metoden används i framtiden.
Kontrollera din förståelse
Du väljer mellan 50 modeller med samma testår och visar bara den bästa. Vad är problemet även om teståret först var separat?
Visa förklaring
Teståret har påverkat modellvalet. Det är inte längre en orörd kontroll. Redovisa urvalet och använd en ny, oberoende period eller en tydligt definierad framåtriktad prövning.
Kontrollera originalet
Källor & vidare läsning
- Tandees Markets: publicerad analysmetod (öppnas i ny flik)
- BLS: sysselsättningsstatistik och benchmarkrevidering (öppnas i ny flik)
Källorna stöder definitioner och faktakontroll, inte våra hypotetiska övningar eller någon handelsrekommendation. Avtalsvillkor och lagstiftning varierar. Hänvisning innebär inte att källan godkänner Tandees.