← Alle Artikel

Overfitting im Backtest: 1.344 Varianten, null Überlebende

10 Min. Lesezeit · Veröffentlicht am 27.10.2026

Wir haben 1.344 Varianten einfacher Regeln aus gängigen Indikatoren geprüft und daraus die 13 ausgewählt, die in den Jahren 2018–2022 am besten abschnitten. Sie brachten im Schnitt +0,20 R pro Trade. In den Jahren 2023–2025, die wir bei der Auswahl nicht angesehen hatten, brachten dieselben Regeln +0,05 R, und keine bestand die Prüfung. Rund drei Viertel des „Vorteils“ waren der Preis dafür, aus vielen Varianten die beste herauszugreifen.

R ist das Ergebnis eines Trades in Risikoeinheiten (−1 R = ein Verlust in Höhe des Abstands zum Stop). PF (Profit-Faktor) ist die Summe der Gewinne geteilt durch die Summe der Verluste; PF 1,00 bedeutet null. Die t-Statistik zeigt, wievielmal das durchschnittliche Ergebnis größer ist als sein Zufallsfehler; in einem einzelnen Test gilt ein t von etwa 2 als Signifikanzgrenze. ATR ist die durchschnittliche Spanne einer Kerze, ein Maß für die Volatilität.

Hypothese

Wer schon einmal ein Backtest-Ergebnis gesehen hat, kennt den Gedanken: Wenn wir doch schon wissen, welche Version funktioniert hat, müssen wir nur die beste nehmen. Man kann einen Filter hinzufügen, der die Verluste abgeschnitten hat, oder den Ausstieg ändern, der Gewinne verschenkt hat. Bei uns kam diese Frage ganz direkt auf: Warum sollte es nicht gelingen, eine Regel an ein bekanntes Ergebnis anzupassen?

Statt mit Theorie zu antworten, haben wir genau das getan, worum es ging: eine bewusste, breit angelegte Suche. In ihrer stärksten Form lautet die Hypothese: Unter den Kombinationen gängiger Indikatoren auf dem Stundenchart gibt es eine, die nach Kosten nicht nur in den Jahren verdient, in denen sie gefunden wurde, sondern auch in den Jahren danach.

Unsere Erwartung haben wir vor dem Start festgehalten: null Überlebende. Jeder Baustein des Rasters (Niveaus, Sessions, RSI, Durchschnitte, Ausbrüche) war schon früher einzeln geprüft worden und gescheitert. Der Wert des Tests lag woanders: Wir wollten in Zahlen zeigen, was die Auswahl selbst kostet.

So haben wir es geprüft

Das Raster. Wir nahmen sechs Instrumente: Bitcoin, EUR/USD, Gold, den deutschen Index, USD/JPY und den amerikanischen Technologieindex, alle auf Stundenkerzen. Jede Variante bestand aus vier Elementen:

• Auslöser (8 Möglichkeiten): Ausbruch über 20 Kerzen, Ausbruch aus der Spanne der asiatischen Session, Ausbruch über das Vortageshoch oder unter das Vortagestief, Rückkehr des RSI durch die Marke 30 oder 70, Rückkehr in die Bollinger-Bänder, Kreuzung der Durchschnitte 20 und 50, Kreuzung des volumengewichteten Tagesdurchschnitts (VWAP) und das SMC-Setup aus Kapitel 16;
• Richtung (2): mit dem Auslöser oder gegen ihn;
• Filter (7): keiner, Trend aus dem 200er-Durchschnitt, Tagestrend, RSI über bzw. unter 50, erhöhte Volatilität, nur die Handelszeiten von London und New York, hohes Volumen;
• Ausstieg (2): trendfolgend (weiter Stop, kein festes Ziel, Höchstdauer von einigen Tagen) oder kurz (Stop 1 ATR, Ziel 2 ATR, 24 Stunden).

6 × 8 × 2 × 7 × 2 ergibt 1.344 Varianten und in den Lernjahren über eine Million Trades. Die Kosten stammten aus Ticks und enthielten den Kontoaufschlag; außerdem haben wir den Swap eingerechnet. Eingestiegen wurde zum Marktpreis bei Eröffnung der Kerze, und alle Bedingungen nutzten ausschließlich bereits geschlossene Kerzen, was wir mit einem Abschneidetest geprüft haben. In jeder Variante konnte jeweils nur eine Position offen sein.

Drei getrennte Zeiträume. Der ganze Sinn des Tests bestand darin, das Suchen vom Prüfen zu trennen:

1. Lernstichprobe, 2018–2022. Nur hier durfte gesucht werden. Ein Kandidat brauchte mindestens 100 Trades, einen Durchschnitt über null, PF ≥ 1,2 sowie PF ≥ 1,05 nach Abzug der drei besten Trades. In die Prüfstichprobe kamen höchstens die fünf besten je Instrument, gemessen an der t-Statistik.
2. Prüfstichprobe, 2023–2025. Die ausgewählten Kandidaten liefen hier ohne jede Änderung. Um zu bestehen, brauchten sie einen Durchschnitt über null und PF ≥ 1,15. Das Ergebnis musste besser sein als in 95 % der Ziehungen mit Zufallseinstiegen und besser als ein einfaches „immer kaufen“ zu denselben Zeitpunkten. Außerdem verlangten wir Signifikanz nach der Korrektur für die Zahl der Kandidaten (q < 0,10).
3. Ein einziger Versuch mit dem Jahr 2026, nur für diejenigen, die die Prüfstichprobe überlebt hatten.

Das Raster, die Auswahlregeln und die Kriterien haben wir vor dem ersten Durchlauf mit einer Prüfsumme eingefroren.

Die Rechnung vor dem Ergebnis. Jedes Instrument hatte 224 Varianten. Vor dem Start haben wir berechnet, was zu erwarten wäre, wenn keine von ihnen einen Vorteil hätte. Die beste von 224 käme trotzdem auf eine t-Statistik von etwa 2,8. Bei rund 300 Trades bedeutet das ungefähr +0,25 R pro Trade und einen PF von etwa 1,3. Anders gesagt: Ein gutes Ergebnis der besten Variante in der Lernstichprobe war vorhersehbar, selbst wenn keine einzige einen Vorteil gehabt hätte.

Ergebnis

Lernstichprobe. Von 1.273 Varianten mit mindestens 100 Trades lagen 268 im Plus, also 21 %. Der durchschnittliche Trade der gesamten Variantenfamilie ergab −0,060 R, denn die Kosten tun ihr Werk. Die beste t-Statistik je Instrument lag zwischen 1,99 und 3,01, also ungefähr dort, wo sie schon der bloße Zufall erwarten ließ. Die Kandidatenkriterien erfüllten 46 Varianten, in die Prüfstichprobe gelangten 13. Auf EUR/USD gab es keinen einzigen Kandidaten, auf Gold, dem deutschen Index und dem Technologieindex jeweils einen.

Prüfstichprobe:

Alle Regeln außer der letzten nutzten den trendfolgenden Ausstieg. In der Prüfstichprobe erfüllte keiner der 13 Kandidaten die Kriterien. Das Jahr 2026 haben wir deshalb nicht ausgewertet und die Suche beendet.

Am nächsten dran war Bitcoin mit der Kreuzung des Tages-VWAP: 1.008 Trades, +0,246 R, PF 1,38 und p = 0,008. Der Kandidat scheiterte aus zwei Gründen. Nach der Korrektur für 13 Kandidaten lag q bei 0,104, die Schwelle war 0,10. Und die Ergebnissumme von +248 R war niedriger als bei „immer kaufen“ zu denselben Zeitpunkten (+261 R). In den Jahren 2023–2025 befand sich Bitcoin in einer Hausse. Die Bitcoin-Regeln handelten in Richtung der Bewegung, mit einem Ausstieg, der Gewinne laufen lässt. In der Praxis lieferten sie also zu einem großen Teil eine Long-Position in einem steigenden Markt, und die beste von ihnen verdiente weniger als einfaches Kaufen.

Warum es nicht funktioniert

Das Ergebnis in der Lernstichprobe ist Vorteil plus Glück. Jedes gemessene Ergebnis hat zwei Teile: das, was die Regel wirklich kann, und den Zufall dieser konkreten Stichprobe. Wenn wir aus 224 Varianten die beste auswählen, wählen wir vor allem die, die am meisten Glück hatte. Ein echter Vorteil, falls es ihn gibt, trägt sich in die folgenden Jahre fort, das Glück nicht. Deshalb ist die beste von vielen Varianten schon durch die Natur der Auswahl überschätzt, so sorgfältig sie auch berechnet sein mag.

Das Schrumpfen lässt sich messen. Der Durchschnitt der 13 Kandidaten fiel von +0,201 R auf +0,049 R, also um rund drei Viertel. Außerhalb von Bitcoin war der Rückgang vollständig: Die acht übrigen Regeln hatten in der Lernstichprobe im Schnitt +0,16 R, in der Prüfstichprobe etwa null. Bitcoin behielt einen Teil seines Ergebnisses, aber aus einem Grund, den wir schon kennen: Der ganze Markt stieg, und mit dem Signal hatte das nichts zu tun.

Dreizehn Kandidaten sind weniger als dreizehn Ideen. Zwei Regeln auf USD/JPY unterschieden sich nur durch den RSI-Filter und lieferten in der Prüfstichprobe fast dasselbe Ergebnis. Die Auswahl der „fünf besten“ sammelt bereitwillig enge Kopien ein und desselben Phänomens ein. Die scheinbare Vielfalt der Kandidaten schützt also nicht vor dem Zufall.

Nicht alles war Rauschen, aber es reicht nicht. In der Prüfstichprobe schnitten die Kandidaten etwas besser ab als der durchschnittliche Trade der gesamten Familie (+0,049 R gegenüber −0,031 R), wobei ein Teil dieses Unterschieds auf die Bitcoin-Hausse zurückgeht. Die Auswahl aus der Lernstichprobe trug also etwas Information, nur bei Weitem nicht genug, um die Kosten, einen einfachen Vergleichsmaßstab und die Korrektur für multiples Testen zu schlagen.

Bedingungen im Nachhinein hinzuzufügen ist dieselbe Falle in kleinerem Maßstab. Jeder zusätzliche Filter und jede Korrektur am Ausstieg, „weil sie in der Historie geholfen hat“, ist eine weitere Variante in der Suche, auch wenn niemand sie mitzählt. An derselben Familie haben wir separat den Filter „nicht gegen den Jahrestrend handeln“ geprüft: Er verschlechterte das durchschnittliche Ergebnis in jedem der drei Zeiträume (Kapitel 22). In Kapitel 16 beschreiben wir wiederum eine einzelne Zelle, die nach dem Ergebnis aus sechs ausgewählt wurde. In den Jahren 2018–2023, in denen wir sie ausgewählt haben, hatte sie PF 1,38, im zuvor nicht angesehenen Jahr 2026 PF 1,15 und nach Abzug der drei besten Trades nur noch 0,33.

Das Problem hat in der Finanzwissenschaft eine eigene Literatur. Der „Reality Check“ gegen Data Snooping (White, 2000) und die um die Zahl der Versuche korrigierte Sharpe Ratio (Bailey und López de Prado, 2014) gehen von derselben Beobachtung aus: Es zählt nicht nur das Ergebnis der besten Strategie, sondern auch, wie viele Strategien geprüft wurden, bevor man sie gefunden hat.

Die Lehre für dich

Wer mehrere Versionen seiner Idee testet, betreibt eine kleine Suche, selbst wenn sich die Versionen nur in einer einzigen Einstellung unterscheiden. Betrachte die beste Version aus dem Backtest als Obergrenze dessen, was sich erreichen lässt, und nicht als Prognose.

So schützt du dich:

1. Teile die Daten auf, bevor du zu suchen beginnst: in eine Lernstichprobe, eine Prüfstichprobe und ein letztes Stück für einen einzigen Versuch. Suche nur in der Lernstichprobe. Verbesserst du die Regel nach der Prüfung, wird die Prüfstichprobe zu einer weiteren Lernstichprobe.
2. Zähle alle Varianten, auch die „nur kurz ausprobierten“. Vergleiche die beste von 20 Varianten mit dem besten von 20 Zufallswürfen und nicht mit null.
3. Friere die Auswahlregel und die Prüfkriterien ein, bevor du die Prüfstichprobe öffnest: wie viele Kandidaten, nach welchem Maß, welche Schwellen. Sonst wird schon die Wahl des Kriteriums zu einer weiteren Anpassung.
4. Rechne mit Schrumpfung. Bei uns verloren die Besten in den folgenden Jahren rund drei Viertel ihres Ergebnisses. Lohnt sich eine Strategie nach einer solchen Schrumpfung nicht mehr, gibt es nichts umzusetzen.
5. Vergleiche mit dem einfachen Halten des Instruments zu denselben Zeitpunkten. In einem steigenden Markt „funktionieren“ viele Regeln nur deshalb, weil sie kaufen.

Halte im Trading-Tagebuch nicht nur die Trades fest, sondern auch das Datum jeder Regeländerung und wie viele Versionen du geprüft hast, bevor du die aktuelle gewählt hast. Der Rechner „Glück oder Vorteil?“ bewertet eine einzelne Serie von Trades. Ist diese Serie die beste von vielen geprüften, musst du das angezeigte Intervall als zu optimistisch lesen.

Bildungsinhalt, keine Anlageberatung. Vergangene Ergebnisse sind keine Garantie für künftige. Wir beschreiben das Ergebnis unserer Suche in einer einzigen Regelfamilie, auf Basis unserer Daten und unserer Handelskosten.