バックテストで選び方を検証する方法

バックテストは「ある選び方を過去の抽選に当てはめたら、結果はどうだったか」を確かめる検証方法です。当サイトにも搭載していますが、結果の読み方にはコツがあります。

バックテストでわかること・わからないこと

ランダム基準線との比較が大切

当サイトのバックテストは、同じ条件で完全ランダムに選んだ場合の基準線を併記しています。

1. 気になる戦略（ホット重視・未出現重視など）で実行する。
2. ランダム基準線と当選回数がほぼ同じなら「その戦略の過去成績はランダムと同等」と読みます。
3. 大きく上振れしていても、試行回数が少ないと偶然の範囲に入ります。

過剰適合（オーバーフィッティング）に注意

「過去データにピッタリ合う条件」は、その期間の偶然を拾っているだけのことが多く、次の期間では機能しないことが知られています。条件を増やしすぎず、シンプルな条件で別期間でも再試行するのが健全な検証です。

実際に動かしたときの画面の見方

例として「戦略＝ホット重視・期間＝直近100回」で実行すると、当選回数に加えて「ランダム基準線との差」が表示されます。注目点は差がプラスかどうかより、試行回数に対して小さくないか。100回程度では両方とも非常に近い値になることが大部分で、「まあそうだよね」と笑って終われるのが健全な読み取りです。

検証ノートを作ると意外と面白い

結果を毎週メモに残すと、自分の思い込みが見えてきます。「ホット重視だと当たる気がした」がデータ上はランダムと互角だった——この気づきの積み重ねが、一番価値のある勉強だったりします。