백테스트가 거짓말하는 7가지 방법 (이론이 아닌 측정된 데이터)

💡 요약 — 7가지 구조적 실패 패턴, 각각 측정됨 (BLUF)

• 룩어헤드 바이어스: 트레일링 스탑이 93.3% 승률을 보여줄 수 있습니다. 그 승률은 스탑이 막아야 했던 움직임 이후에 스탑이 설정됐기 때문에 생긴 수학적 허상입니다.
• 장내 모호성: 손절과 익절이 하나의 캔들 안에 모두 포함될 경우, 캔들에는 어느 것이 먼저 체결됐는지에 대한 정보가 없습니다. rollbrains가 BTC 1,820개 거래를 측정한 결과 실제 답은 동전 던지기였습니다.
• 슬리피지: rollbrains의 알트코인 그리드 테스트에서 동적 슬리피지를 무시했을 때 승률이 48.2%에서 31.5%로 떨어졌고 순 기대값이 마이너스로 반전됐습니다.
• 진입가: 두 가지 합리적인 진입 방식, 동일한 로직, 동일한 청산. 하나는 거래당 +0.875R, 다른 하나는 +0.046R. 하나의 결정에서 19배 차이입니다.
• 생존자 편향: 크립토 펀딩 수수료는 마진이 아닌 명목 계약 금액에 부과됩니다. 0.5% 스탑로스로 3일 보유 시 펀딩만으로 1R의 ~18%가 소진됩니다.
• 레짐 변화: 한 변동성 레짐에서 최적화된 전략은 다른 레짐에서 실패합니다. 나스닥-옥수수 연구의 “5일 지연 r = −0.6355” 주장은 6,467 거래일 DCC-GARCH 재검증에서 재현되지 않아 정정됐습니다 — 17일 소표본 상관이 만든 결과였고, 그 정정 과정 자체가 이 시리즈의 측정 사례입니다.
• 상관관계 ≠ 방향성: FX 평균회귀 모델이 98.01% 확률로 수렴했습니다. 개별 트레이드 승률은 47.47%였습니다. 이 두 숫자는 서로 다른 것을 측정합니다.

백테스팅 실수에 관한 대부분의 가이드는 걱정해야 할 것들의 목록입니다. 이 글은 다릅니다. 여기서 설명하는 모든 실패 패턴은 rollbrains 실험에서 실제 데이터로 측정됐으며, 그 결과는 단순한 백테스트가 보여줬을 것과 달랐습니다.

이 글의 목적은 백테스팅을 포기하게 만드는 것이 아닙니다. 어떤 백테스트를 신뢰할 수 있고 그 이유가 무엇인지 정확히 파악하는 데 있습니다. 아래 각 섹션은 하나의 구조적 실패를 식별하고, 측정 결과를 설명하며, 방법론을 직접 검토할 수 있도록 전체 실험으로 연결됩니다.

이 중 어느 것도 특수한 데이터 과학을 필요로 하지 않았습니다. 동일한 전략을 두 번 실행하는 것 — 한 번은 결함이 있는 상태로, 한 번은 수정된 상태로 — 그리고 무엇이 달라졌는지 읽는 것으로 충분했습니다.

거짓말 #1: 미래를 아는 승률 (룩어헤드 바이어스)

미래에 알 수 없었던 데이터를 참조하는 백테스트 승률은 승리하는 전략을 나타내지 않습니다. 승리하는 마스크를 쓴 룩어헤드 허상일 뿐입니다.

이 메커니즘은 미묘합니다. Pine Script에서 전략이 인트라바 손절을 위해 일봉 ATR을 사용할 때, 종종 현재 일봉의 ATR을 읽습니다 — 진입 이후에 발생한 변동성 급등을 포함해서입니다. 백테스트에서는 스탑 버퍼가 급등 전에 확장돼 스탑아웃을 피합니다. 라이브 트레이딩에서는 그런 미리보기가 없으므로 스탑이 발동됩니다.

rollbrains가 이것을 직접 측정했습니다. 채널 포지셔닝 전략을 BTC 1시간봉 데이터(56,583 봉)에 적용한 동적 트레일링 스탑 모델은 매 캔들마다 스탑이 업데이트될 때 93.3%라는 불가능하게 높은 승률을 보였습니다 — 이는 아웃오브샘플 테스트에서 즉시 붕괴됐습니다.

수정된 버전 — ATR(t) 대신 ATR(t-1) 사용, 진입 시 스탑 수준을 상수로 고정 — 은 인샘플에서 아웃오브샘플로 이동할 때 8.8%의 승률 감소(34.3% → 25.5%)를 보였습니다. 이것이 실제 엣지 열화입니다. 93.3% 수치는 구조적 거짓말이었습니다.

Pine Script 수정 방법: 모든 request.security() 호출에 barmerge.lookahead_off를 설정하십시오. 일봉 ATR 참조는 이전 완료된 봉을 사용하십시오: ta.atr(14)[1]. 진입 시 스탑과 타겟을 수치 상수로 고정하고, 동적으로 업데이트되는 채널 수준으로 관리하지 마십시오.

→ 전체 실험: 룩어헤드 바이어스의 해부학

거짓말 #2: 어느 청산이 먼저였는지 알 수 없는 캔들 (장내 모호성)

OHLC 캔들은 네 가지 가격을 기록합니다: 시가, 고가, 저가, 종가. 고가와 저가에 언제 도달했는지, 어떤 순서로 도달했는지는 기록하지 않습니다.

캔들의 고가가 익절가에 닿고 저가가 손절가에 닿을 때, 두 조건 모두 충족됐습니다 — 하지만 캔들은 어느 것이 먼저였는지 알려줄 수 없습니다. 백테스트 엔진은 이 공백을 가정으로 채웁니다. 대개 “최악의 경우: 스탑 먼저” 또는 “최선의 경우: 타겟 먼저"입니다. 그 가정은 측정이 아니라 선택입니다.

rollbrains는 1분봉 BTC 데이터를 활용해 이것을 경험적으로 검증했습니다. 더 큰 캔들 하나 안에 손절가와 익절가가 모두 포함된 1,820개 거래 중 910개는 스탑이 먼저, 910개는 타겟이 먼저였습니다. 완벽한 50:50 동전 던지기입니다. 캔들에는 어느 청산이 우선인지에 대한 정보가 문자 그대로 없었습니다.

실용적 시사점: 전략이 자주 캔들 안에 들어가는 타이트한 스탑을 사용한다면, 백테스트 승률은 실제 시장의 답이 아니라 엔진의 가정에 크게 의존합니다. 전략을 바꾸지 않고도 백테스트 플랫폼을 바꾸는 것만으로 보고된 성과가 크게 달라질 수 있습니다.

수정 방법: 실제 트레이딩하는 타임프레임 또는 더 세밀한 타임프레임에서 테스트하십시오. “양쪽 청산이 하나의 캔들에 포함된” 카테고리에 해당하는 거래가 얼마나 되는지 확인하십시오. 그 비율이 상당하다면, 보고된 승률은 부분적으로 시장의 답이 아니라 엔진 가정의 함수입니다.

→ 전체 실험: 타임프레임을 바꾸면 백테스트 결과가 달라지는 이유

거짓말 #3: 모델링하지 않은 슬리피지 (시장 충격)

“안전하게 슬리피지 0.1%를 추가하겠다"는 백테스팅에서 가장 흔하고 가장 위험한 문장 중 하나입니다. 대형 주식에는 안전합니다. 알트코인, DEX 풀, 유동성이 낮은 크립토 선물에는 안전하지 않습니다.

오더북에는 갭이 있습니다. 시장가 주문을 보내면 최선 가격에서 체결되는 것이 아니라 주문 전체가 체결될 때까지 가격 레벨을 쓸어갑니다. $1.00에 2,000단위, $1.05에 3,000단위가 있는 알트코인 시장에서 5,000단위 시장가 매수는 평균 체결가 $1.03으로, 3% 슬리피지가 발생합니다. 0.1% 모델은 거래당 2.9%를 놓쳤습니다.

rollbrains가 MATIC/USDT 1시간봉 데이터(56,583 봉)에서 이것을 비교 실험했습니다. 정적 0.1% 슬리피지를 사용한 그리드 시스템은 기대값 +0.842를 보였습니다. 동적 파워로우 슬리피지 모델링을 적용한 동일 시스템 — 변동성 급등 시 유동성 깊이가 78% 감소한 환경 — 에서 실현 평균 슬리피지는 2.45%까지 폭발했습니다. 승률은 48.2%에서 31.5%로 16.7%p 하락했습니다. 순 기대값은 −0.182가 됐습니다.

깊이가 감소할 때 포지션 크기를 $10,000에서 $3,500으로 축소한 어댑티브 버전은 +0.412 기대값을 유지했습니다. “슬리피지 무시"와 “슬리피지 모델링"의 차이는 수익과 파산의 차이였습니다.

수정 방법: 크립토의 경우 비선형 파워로우 슬리피지 모델을 사용하십시오: Slippage(Q) = α × (Q / Depth)^β. β는 경험적으로 0.5–0.8에 수렴합니다. 깊이가 주문 크기의 10배 아래로 떨어지면 포지션 크기를 줄이십시오.

→ 전체 실험: 오더북 미세구조와 슬리피지 시뮬레이션

거짓말 #4: 파라미터처럼 보이지만 실제로는 엣지인 진입가

대부분의 트레이더는 전략 로직이 확정된 후에 진입 배치를 튜닝 단계로 다룹니다. 그것은 순서가 거꾸로입니다. 진입 배치는 어떤 거래가 체결되는지 결정하며 — 체결된 거래가 전체 엣지를 결정합니다.

rollbrains가 하모닉 패턴 반전 전략으로 이것을 테스트했습니다: 동일한 로직, 동일한 스탑, 동일한 타겟, 동일한 데이터. 유일한 변경점은 진입 주문 위치였습니다 — 예상된 피보나치 피벗에 배치(타이트)하느냐, 반전 구간 중간점에 배치(약간 더 깊게)하느냐였습니다.

11,149개 체결 패턴에 걸친 결과입니다:

하나의 진입 결정에서 기대값이 19배 차이가 납니다. 메커니즘은 선택 편향입니다. 더 깊은 진입은 가격이 정상 반전 지점을 넘어서 밀릴 때만 체결됩니다 — 이것은 이미 실패하고 있는 거래의 신호입니다. 깨끗한 반전은 더 깊은 주문에 도달하기 전에 방향을 바꾸어 체결되지 않습니다. 따라서 더 깊은 진입은 체계적으로 손실 거래를 수집합니다.

이것은 작은 민감도가 아닙니다. 패턴 크기의 일부만큼 진입이 이동했을 때 5개 패턴이 순수익에서 순손실로 뒤집혔습니다.

시사점: 다른 모든 것을 튜닝하기 전에 진입 배치를 먼저 테스트하십시오. 두 가지 합리적인 진입 방식이 크게 다른 결과를 낸다면, 그 갭은 중요한 정보입니다 — 엣지가 좁은 진입 대역에 집중돼 있고 그 대역은 취약합니다.

→ 전체 실험: Backtest Autopsy #1 — 왜 진입가가 엣지 그 자체인가

거짓말 #5: 펀딩을 잊은 크립토 백테스트 (생존자 편향과 데이터 갭)

크립토 무기한 선물에는 주식이나 현물 시장에는 없는 두 가지 구조적 백테스팅 함정이 있습니다.

함정 1 — 명목 금액에 부과되는 펀딩 드래그. 펀딩 수수료는 마진이 아닌 총 명목 계약 금액에 부과됩니다. 0.5% 스탑로스는 약 200배의 명목 레버리지를 의미합니다. 8시간 정산 주기 기준 펀딩 비율이 0.01%일 때, 정산 1회마다 1R의 2%가 소진됩니다. 3일 보유 시(정산 9회): 펀딩만으로 약 1R의 18%입니다. 강한 추세 중에는 펀딩 비율이 주기당 0.03%–0.05%까지 확대됩니다 — 하루 보유는 1R의 18%–30%를, 며칠에 걸친 보유는 1R의 50%를 넘게 소진할 수 있습니다. 백테스트가 이것을 무시한다면, 측정한 모든 장기 보유 엣지가 라이브 트레이딩에서 처음부터 소진됐을 수 있습니다.

함정 2 — 무음 데이터 갭. 크립토 시장은 24/7 운영됩니다. 무결성 확인 없는 단일 REST API 루프는 레이트 리밋이나 연결 오류 발생 시 예외를 발생시키지 않고 캔들을 무음으로 누락시킵니다. 누락된 캔들은 단순한 표시 문제가 아닙니다. 롤링 지표(ATR, 이동평균)가 시간 축에서 앞으로 이동합니다. 결과적으로 백테스트에서 봉 T에 발동되는 신호는 완전한 데이터에서는 실제로 T+k에 발동됐을 것입니다. 배포하는 전략과 다른 전략을 테스트하고 있는 셈입니다.

두 가지 모두에 대한 해결책은 구체적입니다: funding_R = sign × rate × periods / stop_fraction 공식으로 각 거래의 기대값에서 펀딩을 직접 차감하십시오. 단일 API 루프 대신 갭 감지 기능이 있는 3단계 데이터 수집 파이프라인을 구축하십시오.

→ 전체 방법론: 크립토 백테스팅의 5대 무덤

거짓말 #6: 한 레짐에서는 작동하지만 다른 레짐에서는 실패하는 전략 (레짐 변화)

레짐을 고려하지 않고 여러 시장 레짐에 걸쳐 있는 백테스트는 전략을 테스트하는 것이 아닙니다 — 호환되지 않는 환경 전체에 걸친 평균을 테스트하는 것입니다.

rollbrains가 멀티에셋 헷징 연구에서 이것을 측정하려 했습니다: 나스닥 중심 포트폴리오에서 주식 폭락 시 옥수수 선물 매수가 실제로 보호 역할을 하는가라는 질문이었습니다. 원글은 5영업일 지연에서 r = −0.6355의 음의 동기화를 제시했지만, 독자 제안으로 수행한 DCC-GARCH 재검증(2000–2026, 6,467 거래일)에서 이 구조는 실데이터로 재현되지 않았습니다. 전 lag(±10) 변동성 크로스상관은 +0.07~+0.09로 평평했고, 원래 수치는 17일 소표본에서 나온 것으로 — 같은 길이의 윈도우 중 12.3%가 순수한 우연만으로 그 수준에 도달합니다.

실용적 시사점: “백테스트에서 효과가 있는” 헷지는 소표본 상관이 만든 결과일 수 있습니다. K-Means 3-레짐 분리 자체는 통계적으로 성립했지만(p≈2×10⁻²⁹), 레짐별 상관 차이는 Δρ≈0.02로 부호조차 변하지 않아 경제적으로 무의미했습니다 — 레짐 신호로 헷징 타이밍을 잡을 근거는 없었습니다.

더 넓은 교훈은 어떤 전략에도 적용됩니다: 백테스트가 레짐을 명시적으로 구분하지 않고 여러 변동성 환경(저-저, 고-기술, 위기)을 포함한다면, 근본적으로 다른 시장에서의 결과를 혼합하는 것입니다. 저변동성 추세 시장에서 번성하는 전략은 평균회귀 또는 위기 레짐에서 실패할 것입니다 — 명시적으로 구분하지 않으면 백테스트가 알려주지 않습니다.

수정 방법: K-Means 클러스터링이나 GARCH 기반 레짐 분류기를 사용해 성과 평가 전에 히스토리컬 데이터를 레짐으로 분할하십시오. 각 레짐별 결과를 별도로 보고하십시오. 혼합된 샤프 비율을 신뢰하지 마십시오.

→ 전체 실험(정정판): 주식 폭락 시 옥수수 선물 매수는 안전한가? → 셀프 오딧: 5일 시차 음의 전이는 실데이터에 없다

거짓말 #7: 98% 수렴하지만 여전히 손실을 내는 신호 (상관관계 ≠ 방향성)

상관관계가 있는 쌍이 디커플링되면, 거의 확실히 수렴할 것입니다. 그 98% 수렴율은 실재합니다. 그것은 두 자산 사이의 관계가 정상화됐는지를 측정합니다. 그 정상화를 달성하기 위해 어떤 방향으로 각 개별 자산이 움직였는지에 대해서는 아무것도 알려주지 않습니다.

rollbrains가 FX 상관관계 디커플링 평균회귀 전략을 구축하고 테스트했습니다:

• 8개 주요 크로스 페어 (AUDJPY, EURGBP, GBPJPY 등)
• 10년 고품질 H4 데이터셋 (2015년 1월 – 2025년 3월)
• 1,108개 진입 트리거
• 현실적인 ECN 마찰: 라운드트립 2.2–3.4 pip

상관관계 Z-점수는 98.01% 의 진입 이벤트에서 기준선으로 수렴했습니다. 이것이 리테일 트레이더들이 보고 트레이드를 정당화하는 숫자입니다.

실제 트레이드 승률은 47.47% 였습니다. 비용 조정 기대값: 거래당 −8.60 pip. 에쿼티 커브는 수학적 파산의 경로였습니다.

왜 이런 결과가 나왔을까요? 상관관계 수렴은 세 가지 다른 방식으로 발생할 수 있습니다: 자산 A가 하락, 자산 B가 상승, 또는 양쪽이 서로 다른 방향에서 서로를 향해 이동. 이 중 하나의 경로만 배치한 방향성 트레이드에 이익을 줍니다. Z-점수는 시장이 어느 경로를 취할지 알려주지 않습니다 — 상관관계 계수도 마찬가지입니다.

이것은 드문 엣지 케이스가 아닙니다. 트레이드의 핵심 구조입니다. 모든 상관관계 기반 방향성 전략은 이 맹점을 가집니다.

시사점: 수렴 확률과 트레이드 승률은 독립적인 통계 차원입니다. 두 가지를 혼동하지 마십시오. 관계형 신호를 기반으로 방향성 트레이딩을 한다면, 방향성 베팅의 승률을 명시적으로 측정해야 합니다 — 신호의 수렴율이 아닌 방향성 승률을요.

→ 전체 실험: 상관관계는 방향 신호가 아니다

요약 표

이 7가지의 공통점

이 7가지 실패는 공통적인 구조적 특징을 공유합니다: 백테스트가 실재하는 숫자를 보고하지만, 그것은 묻고 있는 질문에 답하지 않습니다.

• 93.3% 승률은 실재합니다 — 인위적인 손익분기를 측정합니다, 엣지를 측정하는 것이 아닙니다.
• 98% 수렴은 실재합니다 — 관계형 신호를 측정합니다, 방향성 트레이드를 측정하는 것이 아닙니다.
• +0.875R 수익은 실재합니다 — 하지만 하나의 특정 진입 배치에서만 유효합니다.
• 스탑은 올바른 가격에서 발동됐습니다 — 하지만 체결 순서는 측정이 아니라 가정됐습니다.

백테스팅은 측정과 같지 않습니다. 백테스트는 일련의 가정 하에 과거의 시뮬레이션을 생성합니다. 위의 7가지 실패는 그 가정이 라이브 실행에서 실제로 일어나는 것과 다른 7가지 방식입니다.

rollbrains의 입장: 우리는 이러한 가정들을 명시적으로 테스트하고, 실패한 곳을 보고하며, 부정적 결과를 공개 기록으로 발행합니다 — 작동하지 않는 것을 아는 것이 작동하는 것을 아는 것만큼 가치 있기 때문입니다.

자주 묻는 질문

Q1. 백테스팅에서 가장 흔한 실수는 무엇입니까?

룩어헤드 바이어스 — 트레이딩 결정 시점에 알 수 없었던 미래 데이터를 사용하는 것입니다. Pine Script에서는 완료되지 않은 일봉의 ATR이나 ATR 기반 트레일링 스탑이 이 오류를 가장 자주 만들어냅니다. 스탑 버퍼가 발생하지 않은 미래 변동성 급등에 맞게 자동으로 조정되면서 스탑아웃을 인위적으로 회피합니다.

Q2. 크립토 백테스트에서 슬리피지가 얼마나 큰 영향을 미칩니까?

대부분의 개발자가 모델링하는 것보다 훨씬 큽니다. rollbrains의 알트코인 그리드 실험에서 동적 슬리피지를 무시했을 때 승률이 48.2%에서 31.5%로 16.7%p 폭락하고 순 기대값이 +0.842에서 −0.182로 반전됐습니다. 정적 0.1% 슬리피지 가정은 얇은 알트코인 시장에서 실제로 발생하는 3% 이상의 갭을 놓칩니다.

Q3. 백테스트 타임프레임을 바꾸면 결과가 달라지는 이유는 무엇입니까?

캔들은 경로가 아니라 요약입니다. 손절과 익절이 하나의 캔들 안에 모두 포함될 경우, 캔들은 어느 쪽이 먼저 체결됐는지 알려주지 못합니다. rollbrains가 BTC 1,820개 거래를 1분봉 데이터로 재검증한 결과, 실제 순서는 50:50 동전 던지기였습니다 — 캔들에는 문자 그대로 결과에 대한 정보가 없었습니다.

Q4. 신호 성공률 98%가 트레이딩에서 손실을 낼 수 있습니까?

그렇습니다. rollbrains가 정확히 이것을 측정했습니다. FX 상관관계 평균회귀 전략은 신호가 98.01% 수렴했지만, 실제 트레이드 승률은 47.47%에 거래당 기대값은 −8.60 pip였습니다. 신호 수렴율과 트레이드 방향성은 독립적인 통계 차원입니다.

Q5. Pine Script에서 룩어헤드 바이어스를 방지하는 방법은 무엇입니까?

barmerge.lookahead_off 없이 사용된 request.security() 호출, 또는 완료되지 않은 현재 일봉의 ATR을 참조하는 계산에서 룩어헤드 바이어스가 주로 발생합니다. 수정 방법은 모든 request.security()에 barmerge.lookahead_off를 설정하고, 인트라바 전략에서 사용하는 일봉 지표는 이전 완료 봉(index [1])을 참조하는 것입니다.

관련 글 — Backtest Autopsy 시리즈

• Backtest Autopsy #1: 진입가가 엣지인 이유 — 하나의 진입 규칙 변경에서 19배 성과 차이
• Backtest Autopsy #2: 룩어헤드 바이어스의 해부학 — ATR 누수, 동적 스탑 허상, Pandas shift 감사
• Backtest Autopsy #3: 오더북 미세구조와 슬리피지 시뮬레이션 — 파워로우 시장 충격, 큐 확률 필터
• Backtest Autopsy #4: 타임프레임을 바꾸면 백테스트 결과가 달라지는 이유 — OHLC 모호성, 1,820 거래 동전 던지기 검증
• Backtest Autopsy #5: 주식 폭락 시 옥수수 선물 매수는 안전한가? — GARCH + K-Means 레짐 동기화 (2026-06 정정판)
• Backtest Autopsy #6: 셀프 오딧 — 5일 시차 음의 전이는 실데이터에 없다 — 6,467 거래일 재검증으로 자사 글을 반박: 전 lag 크로스상관 +0.07~+0.09, 17일 표본의 −0.6355는 우연 도달률 12.3%
• 크립토 백테스팅의 5대 무덤 — 펀딩 드래그 공식, 무음 데이터 갭 감지
• 상관관계는 방향 신호가 아니다 — 98.01% 수렴 vs 47.47% 승률 패러독스

학술적 근거. 멋져 보이는 백테스트를 회의적으로 다뤄야 하는 이유, 그리고 과도하게 탐색한 전략이 표본 밖에서 무너지는 통계학적 논거는 Bailey, Borwein, López de Prado & Zhu, The Probability of Backtest Overfitting에 정리되어 있습니다.

최종 검증: 2026년 6월

교육용 콘텐츠이며 투자 권유나 금융 조언이 아닙니다. 데이터·가격·도구 사양은 바뀔 수 있으니, 실거래 전 직접 검증하고 페이퍼 트레이딩으로 확인하시기 바랍니다.