← Alle Artikel

Ein Strategiegenerator findet immer einen Gewinner. Warum unser Tester nicht für dich sucht

18 Min. Lesezeit · Veröffentlicht am 30.10.2026

Wir haben 40 künstliche Märkte gebaut, auf denen sich konstruktionsbedingt kein Geld verdienen lässt, und auf jedem 100.000 Varianten einer einfachen Ausbruchsstrategie durchsucht. In den Lernjahren sah die beste Variante wie ein fertiges System aus: im Schnitt +0,24 R pro Trade und PF 1,47. In den Prüfjahren: −0,02 R und PF 0,97. Das ist kein Pech einer einzelnen Simulation, sondern die Arithmetik der Auswahl der besten aus vielen. Deshalb hat unser Strategietester bewusst keine Suchfunktion.

R ist das Ergebnis eines Trades in Risikoeinheiten (−1 R = ein Verlust in Höhe des Abstands zum Stop). PF (Profit-Faktor) ist die Summe der Gewinne geteilt durch die Summe der Verluste; PF 1,00 bedeutet null. Der Standardfehler ist die Streuung eines Durchschnitts allein durch Zufall: die Standardabweichung der Ergebnisse geteilt durch die Wurzel aus der Zahl der Trades. Die t-Statistik ist der Durchschnitt geteilt durch seinen Standardfehler; in einem einzelnen Test gilt ein t von etwa 2 als Signifikanzgrenze. Lernstichprobe heißen die Daten, in denen gesucht und ausgewählt werden darf, Prüfstichprobe die beiseitegelegten Daten, die man einmal ansieht, nach der Auswahl.

Hypothese

Strategiegeneratoren versprechen etwas, das vernünftig klingt. Ein Computer prüft in einer Nacht mehr Kombinationen als ein Mensch in seinem ganzen Leben, verwirft die, die an Filtern und Robustheitstests scheitern, und behält die, die alles bestanden haben. In ihrer besten Fassung lautet die Hypothese: Wenn es unter einfachen Regeln einen Vorteil gibt, findet ihn eine Massensuche zuverlässiger als Raten von Hand, und Robustheitstests trennen ihn vom Glück.

In Kapitel 7 haben wir unsere eigene Suche über 1.344 Varianten beschrieben, nach der keine der 13 besten die Prüfung überstand. Hier fragen wir nach der Größenordnung der Generatoren, also nach hunderttausend und einer Million Versuchen, und danach, ob Robustheitstests nach der Auswahl irgendetwas ändern. Die Antworten haben wir auf einem Markt gesucht, auf dem wir die Wahrheit vorher kennen: Dort gibt es überhaupt keinen Vorteil.

Wie automatische Suche funktioniert

Generatoren unterscheiden sich im Detail, aber das Schema ist meist ähnlich:

1. Bausteine: Einstiegsbedingungen aus gängigen Indikatoren, Filter (Uhrzeiten, Trend, Volatilität) und Ausstiege (Stop, Ziel, nachgezogener Stop, Ausstieg nach Zeit).
2. Zufallsgenerierung: Tausende oder Millionen Kombinationen mit zufälligen Parametern, jede auf derselben Historie gerechnet.
3. Ergebnisfilter: Übrig bleiben Strategien mit genügend Trades, PF oder „Qualitätskennzahl“.
4. Evolution: Ein genetischer Algorithmus kreuzt und mutiert die besten Strategien und bewertet jede Generation auf derselben Historie. Eine Population von 1.000 Strategien über 50 Generationen ergibt 50.000 Bewertungen, auch wenn auf dem Bildschirm nur die aktuelle Population zu sehen ist.
5. Robustheitstests: Mischen der Trades, höherer Spread, veränderte Parameter, andere Märkte, ein Abschnitt „außerhalb der Stichprobe“, manchmal Walk-forward.
6. Ergebnis: eine Strategiebank aus allem, was bestanden hat, oft mit fertigem Code.

Das sind technisch ausgereifte Werkzeuge, und für viele Trader sind sie der erste Kontakt mit systematischem Testen. Das Problem ist nicht der Code, sondern die Statistik der Auswahl der besten.

Die Rechnung: Wie stark die beste von M überschätzt ist

Ein Backtest-Ergebnis ist die Summe aus dem, was die Regel wirklich kann, und dem Zufall dieser einen Stichprobe. Die Größe des Zufalls misst der Standardfehler. Rechnen wir M Varianten mit demselben wahren Durchschnitt und wählen die beste, ist ihr Ergebnis im Schnitt um E_max(M) Standardfehler überhöht. E_max(M) ist das erwartete Maximum aus M unabhängigen Ziehungen aus einer Normalverteilung.

Die exakten Werte stammen aus numerischer Integration (für M = 10 und M = 100 haben wir sie zusätzlich mit 200.000 Zufallsziehungen geprüft), die Näherung aus der Formel von Blom (1958): Φ⁻¹((M − 0,375) / (M + 0,25)), wobei Φ⁻¹ die Umkehrfunktion der Verteilungsfunktion der Normalverteilung ist. In der Tabelle unterscheiden sich beide Fassungen um höchstens 0,02, und unser Tester verwendet die Näherung.

Die beste von 100 Varianten ohne jeden Vorteil hat also im Schnitt ein t von etwa 2,5, ein nach der üblichen Grenze „signifikantes“ Ergebnis. In Ergebniseinheiten: Bei 300 Trades und einer Standardabweichung von 1,5 R beträgt der Standardfehler 1,5 / √300 ≈ 0,087 R, also zeigt die beste von 10.000 unabhängigen Varianten ohne Vorteil im Schnitt etwa +0,33 R pro Trade. Varianten einer Familie teilen viele Trades, zählen daher wie weniger als M unabhängige Versuche, und eine Korrektur für das volle M ist eine Obergrenze. Dafür zählen alle Bewertungen: jede Generation des Algorithmus, jede Parameteränderung und jeder verworfene Kandidat.

Robustheitstests nach der Auswahl sind ebenfalls Mehrfachtests. Wenn wir auf denselben Daten die Kandidaten behalten, die in beiden Hälften der Stichprobe, bei doppelten Kosten und mit benachbarten Parametern verdienen, fügen wir derselben Suche nur weitere Filter hinzu. Durch sie kommen die Varianten, deren Glück breiter gestreut war, denn ein Nachbar im Raster hat fast dieselben Trades und teilt dasselbe Glück. Am gefährlichsten ist es, den Abschnitt „außerhalb der Stichprobe“ als Filter zu benutzen. Wenn wir aus tausend Kandidaten nur die behalten, die auch dort gut abschnitten, wird dieser Abschnitt zu einem zweiten Teil der Lernstichprobe.

So haben wir es geprüft

Ein Markt ohne Vorteil. Wir haben 40 unabhängige künstliche Märkte gebaut. Der Preis jedes Marktes ist eine Irrfahrt: Eine Stundenkerze besteht aus 12 zufälligen Schritten, die Volatilität beträgt 0,2 % pro Stunde, also etwa 15 % im Jahr bei 6.000 Kerzen pro Jahr. Die Schritte sind so gewählt, dass der Preis ein Martingal ist: Sein erwarteter künftiger Wert entspricht dem aktuellen. Daraus folgt ein Satz, keine Hypothese: Jede Regel, die nur auf Grundlage der Vergangenheit entscheidet, hat vor Kosten einen Erwartungswert von null und nach Kosten von minus den Kosten. Keine Variante hat also einen Vorteil.

Die Strategiefamilie. Ein Donchian-Kanal-Ausbruch: Schluss einer Kerze über dem höchsten Hoch oder unter dem tiefsten Tief der vorangegangenen N Kerzen, Einstieg zur Eröffnung der nächsten Kerze, eine Position zur Zeit. Das Raster:

• Kanallänge: 20 Werte von 10 bis 240 Kerzen;
• Richtung: mit dem Ausbruch oder gegen ihn;
• Filter: keiner, eines von drei 8-Stunden-Fenstern des Tages oder Trend aus einem gleitenden Durchschnitt über 200 Kerzen;
• Stop: 10 Werte von 0,5 bis 5 ATR; Ziel: keines oder 1, 2, 3 oder 5 R;
• Ausstieg nach Zeit: 10 Werte von 4 bis 120 Kerzen.

Zusammen 100.000 Varianten. Stop und Ziel haben wir zum Preis des ersten Schritts ausgeführt, der sie überschritt, wie eine Market-Order (eine Ausführung genau auf dem Niveau würde hier einen falschen Vorteil erzeugen). Die Handelskosten lagen bei etwa 2,2 % der durchschnittlichen Stunden-ATR, ungefähr so viel, wie nach unseren Messungen der Handel eines großen US-Index im Stundenchart kostet (1,5–2,8 %).

Zeiträume und Auswahl. Jeder Markt hatte 25.200 Kerzen Lernstichprobe (70 %, etwa 4,2 Jahre), 10.800 Kerzen Prüfstichprobe (30 %) und 12.000 Kerzen „Zukunft“, die für eine Vorführung weiter unten gebraucht wurden. Aus M Varianten haben wir die mit dem höchsten t in der Lernstichprobe gewählt, bei mindestens 100 Trades. Für M unter 100.000 haben wir Teilmengen des Rasters gezogen, zum Beispiel für M = 10 tausend Teilmengen pro Markt. Wir haben auch das Ergebnis nach Korrektur berechnet, also den Durchschnitt minus E_max(M) Standardfehler, so wie es unser Tester berechnet. Das Skript hat einen festen Zufallsstartwert und liefert jedes Mal dasselbe Ergebnis.

Ergebnis

Die beste von M Varianten, Durchschnitt über 40 Märkte:

Je mehr Versuche, desto besser sieht der Gewinner in der Lernstichprobe aus: von PF 1,12 bei zehn bis PF 1,47 bei hunderttausend. Schon die beste von hundert hat einen Median-PF von 1,25, die Schwelle, die wir selbst als Mindestmaß für einen Beleg ansehen. In der Prüfstichprobe liefern alle Zeilen dasselbe: von −0,007 bis −0,022 R pro Trade, ungefähr die Kosten (für diese Varianten 0,009–0,014 R), und 40–46 % der Prüfungen enden im Plus. Der Durchschnitt aller Varianten lag bei −0,016 R in der Lernstichprobe und −0,013 R in der Prüfstichprobe, bei Kosten von 0,016 R, im Einklang mit der Konstruktion des Marktes.

Ein Beispiel aus einem Markt. Der Gewinner unter 100.000 Varianten hatte in der Lernstichprobe ein t von 4,07, ein Ergebnis, das in einem einzelnen Test als sehr stark gelten würde: 358 Trades, +0,312 R pro Trade, PF 1,58. Es war ein Kanal über 120 Kerzen, Einstieg gegen den Ausbruch, Stop 4 ATR, Ziel 2 R und Ausstieg nach 120 Kerzen. In der Prüfstichprobe brachte er 179 Trades, −0,103 R pro Trade und PF 0,84.

Die Korrektur funktioniert, mit Reserve. Nach Abzug von E_max(M) Standardfehlern ist das durchschnittliche Ergebnis des Gewinners in jeder Zeile negativ, und bei M = 10.000 und M = 100.000 war es kein einziges Mal positiv (bei M = 10 in 22 % der Ziehungen). Weil sich die Varianten ähneln, ist die für unabhängige Versuche berechnete Korrektur hier zu groß: Der Gewinner unter 100.000 hatte ein t von 3,14, nicht 4,37, und die tatsächliche Überhöhung betrug zwischen 75 % (M = 100.000) und 86 % (M = 10) der Korrektur. Wir ziehen lieber etwas zu viel ab, als einen Vorteil zu zeigen, den es nicht gibt.

Robustheitstests nach der Auswahl, nacheinander auf denselben Lerndaten, auf dem vollen Raster:

Den kompletten Satz an Tests auf den Lerndaten bestanden im Schnitt 2.546 von 100.000 Varianten, und auf keinem der 40 Märkte weniger als 576. In der Prüfstichprobe brachten sie im Schnitt −0,008 R, also ungefähr null minus Kosten. Der Test mit doppelten Kosten hat keine einzige Variante ausgesiebt, weil die gewählten Varianten bei Kosten von etwa 0,016 R pro Trade jeweils +0,16 R Polster hatten, und dieses Polster war Glück. Der Nachbartest hat 2 % ausgesiebt. Die letzte Zeile zeigt den gefährlichsten Fehler: Als die Prüfstichprobe als Filter diente, brachten die übrig gebliebenen Varianten dort +0,142 R pro Trade und sahen doppelt bestätigt aus, und in den folgenden zwei Jahren, die wir für nichts anderes benutzt hatten, brachten sie −0,024 R.

Echte Daten: unsere eigene Suche über 1.344 Varianten

Auf echten Daten haben wir dasselbe im kleinen Maßstab gemacht; die Einzelheiten stehen in Kapitel 7. Das Raster umfasste 1.344 Varianten (6 Instrumente × 8 Auslöser × 2 Richtungen × 7 Filter × 2 Ausstiege), die Lernstichprobe die Jahre 2018–2022 und die Prüfstichprobe die Jahre 2023–2025. In der Lernstichprobe hatten 268 von 1.273 Varianten mit mindestens 100 Trades ein positives Ergebnis, also 21 %. Die beste t-Statistik pro Instrument lag zwischen 1,99 und 3,01, und das erwartete Maximum aus den 224 Versuchen pro Instrument liegt bei etwa 2,8, ungefähr auf dem Niveau des reinen Zufalls. Von 46 Kandidaten gingen die 13 besten in die Prüfung, und keiner hat sie bestanden. Ihr Durchschnitt fiel von +0,201 R auf +0,049 R pro Trade, also um rund drei Viertel. Was übrig blieb, stammte zu einem großen Teil aus dem Bitcoin-Bullenmarkt: Die Bitcoin-Variante, die dem Bestehen am nächsten kam, hatte in der Prüfstichprobe +0,246 R und PF 1,38, brachte in der Summe aber +248 R, weniger als einfaches „immer kaufen“ zu denselben Zeitpunkten (+261 R).

Warum es nicht funktioniert

Ein Generator zeigt die Messlatte nicht. Das Ergebnis des Gewinners erscheint auf dem Bildschirm ohne die Information, aus wie vielen Versuchen es stammt, und bei hunderttausend Versuchen sind PF 1,47 und t 3,14 im Schnitt das, was ein Markt ganz ohne Vorteil liefert.

Tests auf denselben Daten sind mehr Versuche, nicht mehr Beleg. Auch Glück kann „robust“ sein, weil es eine ganze Gruppe ähnlicher Varianten erfasst. Wenn ein Kanal der Länge 36 verdient, verdienen Kanäle der Länge 30 und 40 meist auch, weil sie fast dieselben Trades nehmen: In der Simulation waren 98 % der Varianten, die die vorherigen Tests bestanden hatten, auch bei allen Nachbarn im Raster im Gewinn. Ein Parameter-„Plateau“ ist eine Eigenschaft der Historie, auf der man es gefunden hat. Ein Abschnitt außerhalb der Stichprobe funktioniert nur einmal: Sobald er darüber entscheidet, welche Strategien bleiben, prüft er nichts mehr.

Ein kleiner Vorteil verschwindet unter der Messlatte. Wir behaupten nicht, dass es unter einer Million Kombinationen keinen echten Vorteil gibt. Wir behaupten, dass das Ergebnis der besten ihn nicht vom Glück unterscheiden lässt. Den Kandidaten aus unserer echten Suche blieben in der Prüfstichprobe +0,049 R pro Trade. Bei 300 Trades und einer Standardabweichung von 1,5 R ergibt das ein t von etwa 0,6, während die Messlatte bei einer Million Versuchen fast 4,9 beträgt.

Das Problem hat eine eigene Literatur: den „Reality Check“ gegen Data Snooping (White, 2000), die um die Zahl der Versuche korrigierte Sharpe Ratio (Bailey und López de Prado, 2014) und die Arbeit über die Überanpassung von Backtests (Bailey, Borwein, López de Prado und Zhu, 2014), deren Autoren anmerken, dass kaum jemand die Zahl der Versuche angibt. Harvey, Liu und Zhu (2016) haben berechnet, dass ein neuer Faktor in der akademischen Finanzforschung nach Jahrzehnten der Suche in denselben Daten ein t über etwa 3 statt 2 brauchen sollte.

Was wir stattdessen tun

Unser Strategietester, RBR Strategy Lab, ist ein Programm (EA) für den Strategietester der Plattform MetaTrader 5, umgekehrt zu einem Generator gebaut:

1. Eine Strategie, beschrieben vor dem Ergebnis. Du setzt sie aus Bausteinen zusammen: Einstieg, Filter, Stop, Ziel, Ausstieg nach Zeit. Bevor das Lab den ersten Trade berechnet, speichert es die Strategiebeschreibung mit einer Prüfsumme (Hash) und einem Datum. Die Änderung eines einzigen Parameters ergibt einen neuen Hash, also eine neue Strategie.
2. Echte Ticks und echte Kosten: Geld- und Briefkurse aus den Ticks, Kommission und Aufschlag aus der Historie deines Kontos.
3. Prüfung nur einmal: die letzten 30 % des Zeitraums. Ihr Ergebnis für einen bestimmten Hash zeigt das Lab beim ersten Lauf, danach nur noch das gespeicherte.
4. Variantenzähler und Korrektur: Jeder neue Hash auf demselben Instrument, Zeitrahmen und Zeitraum ist ein weiterer Versuch. Der Bericht sagt, die wievielte Variante das ist, um wie viel das Ergebnis der besten bei dieser Zahl von Versuchen im Schnitt überhöht ist (Näherung nach Blom) und wie viel nach der Korrektur übrig bleibt. Das Ergebnis nach Korrektur muss positiv sein, sonst bekommt die Strategie weder das Urteil „bestanden“ noch „Spur“.
5. Ein Vergleich mit etwas, nicht mit null: mit 1.000 Serien zufälliger Einstiege mit derselben Geometrie von Stop und Ziel, gerechnet mit denselben Kosten, und mit dem Halten des Marktes in denselben Stunden.
6. Ein Urteil nach Kriterien, die im Code festgeschrieben sind: bestanden, Spur oder nicht bestanden, mit einer Liste der Kriterien, die die Strategie nicht erfüllt hat. Die Schwellen lassen sich in den Einstellungen nicht ändern.

Eine Suche, also massenhaftes Generieren und Evolution von Strategien, hat das Lab nicht. Das ist eine Entscheidung, kein Rückstand im Plan. Den meisten Strategien wird das Lab „nicht bestanden“ sagen, und genau darin sehen wir seinen Wert.

Walk-forward: Optimierung, die sich zählen lässt. Die Vollversion des Labs hat Walk-forward. Das Parameterraster, zum Beispiel einige Kanallängen und Stop-Weiten, gibst du vor dem Test an, und es geht in den Hash ein. Das Lab wählt die Parameter in aufeinanderfolgenden Lernfenstern nach einer festen Regel und prüft sie in den nächsten, ungesehenen Abschnitten. Bewertet werden, nach denselben Kriterien wie alles andere, nur die zusammengefügten Testabschnitte, und die abschließende Prüfstichprobe bleibt unberührt. Jede Kombination des Rasters zählt als Variante, und das Raster hat eine Obergrenze (bis zu 2 Parameter und 50 Kombinationen), damit Walk-forward nicht zur Suche unter anderem Namen wird. Bewertet wird also das Optimierungsverfahren, nicht ein einzelner glücklicher Parametersatz.

Ehrlich über die Grenzen. Unser Tester hält niemanden davon ab, von Hand zu suchen, Variante für Variante. Wir haben in der Simulation geprüft, wie oft der Gewinner aus M Versuchen einen vereinfachten Satz von Kriterien ähnlich unseren bestehen würde: in der Lernstichprobe mindestens 100 Trades, PF ≥ 1,25 und t ≥ 1,645 (entspricht p < 0,05), in der Prüfstichprobe ein Ergebnis über null. Jahre, die fünf besten Trades und der Vergleich mit dem Halten des Marktes fehlen dabei, die Zahlen unten sind also eine Obergrenze:

Ohne Korrektur besteht der Gewinner aus 100 Versuchen auf einem Markt ohne Vorteil diesen Satz in 21 % der Fälle, der Gewinner aus tausend und mehr in 37–40 %, denn für eine Strategie ohne Vorteil ist eine Prüfstichprobe im Plus fast ein Münzwurf. Mit der Bedingung, dass der Durchschnitt nach Korrektur positiv sein muss, bleiben bei 10 und 100 Versuchen 3,9–4,7 %, ungefähr so viel, wie die Schwelle p < 0,05 zulässt, und bei tausend und mehr fast null. Diese Tabelle hat uns überzeugt, dass die Korrektur nicht nur eine Zahl neben dem Urteil sein darf. Heute ist sie das achte Kriterium des Labs: „bestanden“ oder „Spur“ verlangt einen positiven Durchschnitt nach Korrektur, gerechnet über alle Varianten, die auf demselben Instrument, Zeitrahmen und Zeitraum geprüft wurden. Gegen alles schützt das nicht: Der Zähler sieht nur Versuche, die im Lab in deinem Terminal gemacht wurden, und dieselbe Idee, vorher anderswo oder auf einem anderen Zeitraum geprüft, zählt von null. Lies deshalb vor dem Urteil den Variantenzähler und denk an die Versuche, die das Lab nicht gesehen hat.

Die Lehre für dich

Wenn du trotzdem suchst, mit einem Generator, mit dem Optimierer deiner Plattform oder von Hand, dann zähle, wie viele Versuche du gemacht hast.

1. Halte jeden Versuch fest, auch die verworfenen und die „nur kurz ausprobierten“. In einem Generator ist die Zahl der Bewertungen mindestens Populationsgröße mal Zahl der Generationen, nicht die Länge der Ergebnisliste.
2. Vergleiche das t des Gewinners mit der Messlatte. t = durchschnittliches Ergebnis / (Standardabweichung / √Zahl der Trades); eine Tabellenkalkulation genügt. Die Messlatte liegt bei etwa 1,5 für 10 Versuche, 2,5 für 100, 3,85 für 10.000 und 4,9 für eine Million. Ein Ergebnis darunter ist das, was der Zufall allein liefert.
3. Lege ein Stück Daten beiseite, das keine Phase sieht, weder die Suche noch die Robustheitstests, und sieh es dir einmal an, für eine einzige Strategie.
4. Wähle nicht unter den Strategien aus, die die Prüfung bestanden haben. Hast du es getan, ist die Prüfstichprobe zur Lernstichprobe geworden, und du brauchst eine neue: weitere Monate vorwärts oder ein Demokonto.
5. Vergleiche mit zufälligen Einstiegen und mit dem Halten des Marktes, nicht mit null.
6. Rechne mit Schrumpfung. In unserer echten Suche verloren die besten Varianten in den folgenden Jahren rund drei Viertel ihres Ergebnisses, in der Simulation ohne Vorteil alles.

Halte im Trading-Tagebuch fest, wie viele Versionen der Strategie du geprüft hast, bevor du die aktuelle gewählt hast. Der Rechner „Glück oder Vorteil?“ bewertet eine einzelne Serie von Trades. Ist diese Serie die beste von vielen, vergleiche zuerst ihr t mit der Messlatte.

Bildungsinhalt, keine Anlageberatung. Vergangene Ergebnisse sind keine Garantie für künftige. Wir beschreiben das Ergebnis unserer Simulation auf künstlichen Märkten ohne Vorteil und unserer Suche in einer einzigen Regelfamilie, auf Basis unserer Daten und unserer Handelskosten.