仮想通貨botのバックテストはなぜ嘘をつくのか ── 26版を並走させて「まだ腕はない」と分かるまでの失敗ログ

はじめに：バックテストでは勝っていたのに

前回は競馬AIの「期待値買い」の落とし穴を書きました。私は以前、JRA-VANのデータで競馬AIを作っていたのですが、いまは仮想通貨の自動売買botを自分で動かしています。

バックテストでは良さそうに見えた。でも実際に動かすと、ほぼ全部が負けるか、何もしない。この2週間で起きたことを、数字ごと正直に書きます。

先に結論です。

1. バックテストの「嘘」の多くは、計算ミスではなく「甘い前提」から来る。約定ルール、手数料、相場の時期、試した数

2. 26版を並走させ、相場の動きと運を差し引いて評価したら、どの版にもまだ腕は確認できなかった

3. 本番の1版は13日間で買いが0回。故障ではなく、下げ相場で条件が一度も揃わなかった

私のbotの構成

• 取引所はbitbank。現物の円建てペアだけ、レバレッジなし

• 売買ルールはすべてルールベース（機械学習は使っていない）。Pythonで実装

• 26版を紙上（シミュレーション）で並走させ、本番で実際のお金を動かすのは「チャンピオン」の1版だけ。本番開始は2026年10月20日

• 交代の条件は、14日以上の記録、30往復以上、でたらめ売買2,000通りと比べた「運ではない確率」（多重検定の補正後）が0.95以上、など。満たしても自動では替えず、私が確認してから手で替える

ちなみに、値動き予測に勾配ブースティングも試しました。AUCは0.62ほどの弱い信号は出ましたが、手数料を超える幅はありませんでした。「AIで予測すれば勝てる」の手前に、もっと地味な落とし穴がたくさんあります。

嘘1：指値は「値段に触れた」だけでは買えない

最初に見つけた嘘は、紙上の約定ルールでした。

指値の買いを置いたとき、私の紙上トレードは最初「自分の値段に取引が届いたら約定」と判定していました。ところが実際の取引所では、同じ値段に並んだ注文には順番があります。値段に触れただけでは、自分の番まで回ってこないことがよくあります。

1分足で確かめたところ、指値買いの約定のうち、近くに自分の値段を突き抜けた取引があったのは約56%だけでした。残りの約44%は「触れただけ」の、本当に買えたか怪しい約定です。

そこで、公開取引が自分の値段を1目盛り以上突き抜けたときだけ約定、と判定を厳しくしました。

この差がどれくらい効くのか、合成データで確かめたのが図1です。上げ下げが五分五分のランダムな値動き（相場に偏りがない世界）で、「3目盛り下で買い、3目盛り上で売る」同じ戦略を、約定ルールだけ変えて1,000往復させました。

図1：合成データによるシミュレーション。実在の相場ではありません

• 触れたら約定：勝率87.3%、1往復平均 +1.23bp、累計 +12.8%

• 突き抜けたら約定：勝率79.1%、1往復平均 −3.82bp、累計 −32.1%

偏りのない相場なので、本当の期待値はほぼゼロ以下のはずです。それでも甘い約定ルールだと、「戻った時だけ買えた」ことになってプラスに見えます。

逆に、本当に約定する時は、値段がさらに下へ抜けている時です。買った直後にもう一段下がる。これを逆選択と呼びます。実際、私のbotでも判定を厳しくした後、指値で買えた5分後の値動きが、頻繁に出し直す版で約2倍悪く見えるようになりました。

勝率が80%を超えていても負ける、という点にも注意してください。

嘘2：長いバックテストは、今の相場を語らない

有望だと思った型のひとつは、2024年1月からの長いバックテストで +188% でした。ところが直近12か月だけ切り出すと +5.9%、その間の最大下落は 29% です。

利益のほとんどは過去の上げ相場の一時期から来ていて、今の相場で同じことが起きる保証はありません。機械学習でいう「レジーム（相場の状態）が変わると、学習した関係が崩れる」問題そのものです。

本番で動かしている版は、「BTCが4時間足の長期移動平均より上にある時だけ買う」という相場フィルター付きです。開始から13日間、この条件は一度も揃わず、買いは0回でした。10月29日時点で、開始以降の4時間足58本のうちBTCが長期平均を上回ったのは3本だけです。

同じ期間、この版が対象にする銘柄を持ちっぱなしにしていたら −8.18% でした。待っていたことで下げを避けた形です。ただしこれも「下げ相場で何もしなかった」だけで、腕の証明にはなりません。

嘘3：よく売買する版ほど、手数料と逆選択に食われる

bitbankの現物手数料は、BTC/JPYがメイカー0.00%・テイカー0.10%、それ以外の円建てペアはメイカー−0.02%・テイカー0.12%です（2026年2月2日時点の公式表）。BTC以外のペアを成行で往復すると、手数料だけで0.24%かかります。

表1は11月2日夜時点の成績表の抜粋です。

表1：A_v7（本番）以外は紙上の成績。約13日分で、年率には直せません

• 1分足の急騰追いを最も頻繁に回した A_v1は117往復で−33.57%

• 指値で平均回帰を狙う B_v1・B_v2は約1,000往復ずつで−18.74%・−19.48%

急騰追いの中身を分けると、1往復の平均は手数料前でも−0.15%、手数料込みで−0.39%でした。負けの約4割は手数料ではなく、「ブレイクした所で買うと戻される」こと自体です。

平均回帰の版は「小さく何度も勝ち、たまに大きく負ける」形で、B_v3は最悪の5%の往復（7回）だけで負けの約8割を占めていました。勝率が高いことと、良い戦略であることは別物です。

嘘4：26本並べれば、どれかは腕があるように見える

一番危ないのはここだと思っています。版をたくさん並べると、運だけでも1本は良く見えます。

私の成績表は、2つの物差しで「運」と「相場」を差し引いています。

• 相場調整後：成績から「平均してコインを持っていた割合 × 持ちっぱなしの成績」を引く

• ランダム売買との比較：同じ銘柄・同じ往復数・同じ保有時間・同じ手数料で、タイミングだけでたらめにした2,000通りと比べる。さらに、全版のうち一番良かったでたらめと比べて補正する

これで見ると、表1のとおり、補正後に0.95を超えた版は1本もありません。紙上の上位はどれも「ほとんど売買しなかった版」でした。

補正しないとどうなるかを、bitbankの公開ローソク足（ETH/JPY・4時間足）で試しました。コイン投げで売買するだけの26本を2024年1月〜2025年10月に当てはめ、一番良いものを選びます。

図2：bitbank公開ローソク足によるシミュレーション。どの版にも腕はありません

一番の版（#16）は83往復で +101%。同じ期間のETH持ちっぱなし（+85%）すら上回っています。ところがその後の12か月では −5%、26本中7位でした。

図3：補正前と補正後の「運ではない確率」

1本ずつでたらめと比べると、#16の運ではない確率は 0.973。26本中3本が0.95を超えます。ところが「26本の中の一番」と比べて補正すると 0.49、つまり五分五分です。

私が研究段階で試した設定は、紙上の版も含めて少なくとも3,364通りあります。補正なしの「95%」は、これだけ試せばいくらでも出てきます。

嘘5：「相関が高い」は「先回りできる」ではない

「BTCが上がったら、ETHが後から追いかけるはず」という仮説も試しました。

BTCとETHの同じ足の値動きの相関は0.83〜0.85と高いのですが、1〜12時間ずらした相関は0.04未満でほぼゼロ。両者は「同時に動く」のであって、「BTCが先」ではありませんでした。

残っていた小さな上げは、急騰の後に少し上がりやすい勢いと、相場全体の上げでした。成行の往復コスト（約0.28%）とほぼ同じ大きさで、手数料を払うと消えます。

番外：バックテストに出てこない運用の失敗

• 約1時間の停止：最初に動かしていたパソコンが一時停止し、その間は売買もタイムアウトの時計も止まりました。通信1回ごとの上限時間と、固まったら再起動する見張り役（watchdog）を入れ、その後、自宅サーバーへ移しました

• 最大約21分の接続不良：自宅サーバーが高負荷の時に名前解決（DNS）が失敗し、取引所につながらない時間が出ました。持ち高がゼロだったので影響はありませんでした

• 週末の銘柄の出入り：小さい銘柄は週末に板の開き（スプレッド）が広がり、基準を外れて自動で対象から外れます。平日に戻ります

どれもバックテストには出てきません。持ち高がある時に止まると、取引所に置いた損切り注文だけが守りになります。

チェックリスト：自分のバックテストを疑うために

1. 指値の約定は「突き抜けたら」で判定しているか

2. 手数料・スプレッド・滑りを、往復回数を掛けて見積もったか

3. 期間全体だけでなく、直近12か月や下げ相場でも成績を見たか

4. 持ちっぱなしと比べ、相場の動きを差し引いたか

5. タイミングだけでたらめにした売買と比べたか

6. 試した数を数え、多重検定の補正をしたか

7. 学習に使っていない期間（封印期間）で確かめたか

8. 「相関」と「先行」を区別したか

9. botが止まった時に何が守りになるか決めているか

デモのコード

図1と同じ計算です（合成データ）。

# 指値の「触れたら約定」と「1目盛り突き抜けたら約定」を比べる（合成データ）
import numpy as np
rng = np.random.default_rng(1)
p = np.concatenate([[0], np.cumsum(rng.choice([-1, 1], size=3_000_000))])  # 上げ下げ五分五分
TICK, MAKER, TAKER = 0.0002, -0.0002, 0.0012   # 1目盛り=0.02%、手数料はbitbank現物の率
OFF, TP, WAIT, HOLD = 3, 3, 200, 400           # 3目盛り下で買い、3目盛り上で売り

def backtest(need):  # need=0: 触れたら約定 / need=1: 突き抜けたら約定
    i, out = 0, []
    while len(out) < 1000:
        lim = p[i] - OFF
        hit = np.nonzero(p[i+1:i+1+WAIT] <= lim - need)[0]
        if not len(hit): i += WAIT; continue
        j = i + 1 + hit[0]
        up = np.nonzero(p[j+1:j+1+HOLD] >= lim + TP + need)[0]
        if len(up): k = j + 1 + up[0]; r = TP * TICK - 2 * MAKER
        else:       k = j + HOLD;      r = (p[k] - 1 - lim) * TICK - MAKER - TAKER
        out.append(r); i = k
    out = np.array(out)
    print(f"need={need}: 勝率 {(out>0).mean():.1%}  平均 {out.mean()*1e4:+.2f}bp  "
          f"累計 {np.prod(1+out)-1:+.1%}")

backtest(0); backtest(1)

図2・図3を簡単にしたものです。乱数の使い方が違うため、数字は本文と少しずれます（手元では一番の版が+107.9%、補正前0.978、補正後0.55）。

# コイン投げで売買する26本から「一番」を選ぶと、どれくらい腕があるように見えるか
import json, urllib.request, numpy as np
o = []
for y in (2024, 2025):  # bitbank公開API：ETH/JPYの4時間足
    d = json.load(urllib.request.urlopen(f"https://public.bitbank.cc/eth_jpy/candlestick/4hour/{y}"))
    o += [(r[5], float(r[0])) for r in d["data"]["candlestick"][0]["ohlcv"]]
o = np.array([v for t, v in sorted(o) if t < 1761922800000])  # 2025-10-31まで
FEE = 0.0012

def trades(rng, n, hold):  # 重ならないようにn回、hold本ずつ持つ（タイミングはでたらめ）
    cuts = np.sort(rng.choice(len(o) - 1 - n * hold, n))
    ent = cuts + np.arange(n) * hold + 1
    return np.prod(o[ent + hold] / o[ent] * (1 - FEE) ** 2) - 1

rng = np.random.default_rng(0)
N, NB = 26, 2000
spec = [(int(rng.integers(40, 100)), int(rng.integers(3, 19))) for _ in range(N)]  # 回数, 保有本数
real = np.array([trades(rng, n, h) for n, h in spec])                   # 26本の「成績」
base = np.array([[trades(rng, n, h) for _ in range(NB)] for n, h in spec])  # 各2,000通りのでたらめ
p1 = (base < real[:, None]).mean(axis=1)                    # 補正前の「運ではない確率」
rank = (base[:, :, None] > base[:, None, :]).mean(axis=1)   # でたらめ同士の順位
adj = (rank.max(axis=0)[None, :] < p1[:, None]).mean(axis=1)  # 26本の一番と比べた補正後
b = p1.argmax()
print(f"一番の版：成績 {real[b]:+.1%}  補正前 {p1[b]:.3f}  補正後 {adj[b]:.2f}  0.95超え {int((p1>=0.95).sum())}本")

まとめ

2週間動かして分かったのは、「まだ何も分からない」ということでした。本番の版は下げ相場で一度も買わず、紙上の版にも腕は確認できていません。

正直に書くと、このbotはまだ動かし始めたばかりです。本番は約2週間、紙上の版も往復数が数回から数十回の段階で、統計的に何かを言い切るには検証数がまったく足りません。この記事の数字は「今の時点ではこう見えている」という途中経過として読んでください。

ただ、何が嘘をつくのかは見えてきました。約定の甘さ、手数料、相場の時期、そして試した数です。上げ相場を経験するまで、このまま記録を続けます。

次回は、相場フィルターの「待つ」判断が本当に効いているのかを、上げ相場が来たら検証する予定です。

これからも動かしながら、失敗も含めてノウハウを貯めていきます。検証数が増えたら同じ物差しで答え合わせをして、また記事にします。続きが気になる方はフォローしてもらえると追いかけやすいと思います。

参考

• bitbank「手数料」 https://bitbank.cc/guide/fee

• bitbank Support「メイカー/テイカーとは？」 https://support.bitbank.cc/hc/ja/articles/360004877453

• bitbank 公開API（Candlestick） https://github.com/bitbankinc/bitbank-api-docs/blob/master/public-api.md

• Bailey & López de Prado (2014) "The Deflated Sharpe Ratio" Journal of Portfolio Management 40(5) https://doi.org/10.3905/jpm.2014.40.5.094

免責事項：本記事は私個人の記録と、合成データ・公開データによるシミュレーションです。紙上の成績は短期間のもので、運と区別できず、年率の利回りを示すものではありません。将来の利益を保証するものではなく、投資の勧誘や助言でもありません。暗号資産は価格変動が大きく、損失が出る可能性があります。取引はご自身の判断と責任で行ってください。