2. Unrealistischer Handel: Volumen und Kurse auf Wunsch
Jeder Backtest ist nur so gut wie die zugrundeliegenden Preisdaten. Um einen realistischen Handel in Wertpapieren simulieren zu können, ist eine Vielzahl von Faktoren zu berücksichtigen. Der genaue Zeitpunkt der Transaktion, die verfügbare Liquidität sowie die realistische Betrachtung der effektiven Transaktionskosten beeinflussen das Ergebnis gravierend. Rückblickend lassen sich nicht alle diese Daten hinreichend rekonstruieren und so müssen bestimmte Annahmen getroffen werden. Je unrealistischer diese jedoch sind, desto größer die Wahrscheinlichkeit eines nicht repräsentativen Backtests.
Ein klassischer Fehler ist die Vernachlässigung der Markbreite und -tiefe beim Kauf oder Verkauf eines Wertpapiers. Wer ernsthaft glaubt, eine strukturierte Anleihe zwei Wochen nach der Lehmann-Pleite zum Geldkurs verkaufen zu können, sollte seine Berufung doch kritisch hinterfragen.
Gleiches gilt für den unterschätzten Effekt der eigenen Preiseinflussnahme. Wer in Nischen wie Micro Caps oder exotischen Optionsmärkten agiert, bestimmt den Preis durch das eigene Handeln mit. Dieser eigene Einfluss kann bereits die gesamte Grundlage einer Handelsstrategie zunichtemachen.
Potentielles Opfer solcher handwerklichen Fehler sind vor allem marktneutrale Prämienstrategien. Tritt man beispielsweise selbst als Verkäufer einer Option im Markt auf, erhöht man das Angebot des Papiers und reduziert eine potentielle Prämie. Im schlimmsten Fall ruiniert man sich so den eigenen, im Backtest so glänzend laufenden Markt.
3. Look Ahead Bias: Die Kristallkugel in der Hinterhand
Keine Strategie der Welt vermag die Zukunft vorherzusehen. Jede qualitative oder quantitative Anlageentscheidung basiert am Ende auf gemachten Erfahrungen oder analysierten Daten und wagt auf dieser Grundlage eine qualifizierte Einschätzung zukünftiger ungewisser Ereignisse.
Im Rahmen eines Backtests wiederum, lässt sich die Gabe der Voraussicht durchaus nutzen. Sicherlich besteht Konsens darüber, die Preise von morgen nicht für die heutige Anlageentscheidung zu nutzen. Das Wissen um die Zukunft innerhalb der historischen Daten findet jedoch auch auf anderen Wegen bewusst oder unbewusst in das Ergebnis. In der Regel zum Schaden des Investors, welcher den simulierten Resultaten vertraut.
Eine einfache, jedoch typische Ungenauigkeit ist der Handelszeitpunkt eines Modells. Die Argumentation aus Punkt 2 aufgreifend, ist es beim besten Willen und mit unendlicher Computerkraft nicht möglich eine Einschätzung auf Schlusskursbasis zu berechnen und dann zu selbigem Schlusskurs marktgerecht zu handeln. Ungeachtet dessen sieht man in einigen Simulationen genau diese Zeitreise zum Börsenschluss.
Eine weitere Unsauberkeit ist das sogenannte Vorgehen „in-sample“ und „out-of-sample“ beim Testen einer Strategie. „In-sample“ bedeutet, dass die Kalibrierung des Modells auf denselben Daten beruht wie der anschließende Backtest. Damit fließen praktisch auch zukünftige Informationen in die Berechnung ein. Dieses Vorgehen ist nur dann erlaubt, wenn der gefundene Strategieansatz eine gewisse Allgemeingültigkeit hat und man einfach eine möglichst große Datengrundlage nutzen wollte.