Backtest · 팔기 전에 채점
기업 투자 백테스트·검증
설계 완비 · 데이터 배선 예정예측을 팔기 전에 실 데이터로 채점합니다. 미래 정보가 과거로 새지 않게 walk-forward 로 각 시점을 평가하고, 예측 확률이 실제 빈도와 맞는지 신뢰도로 확인합니다. 이 관문을 통과하지 못한 예측은 제품이 되지 않습니다.
설계
백테스트 배선 예정
엑싯 라벨 축적 후 검증 · 공개 코호트 prior
예측하고, 현실이 오면, 채점합니다
아래는 채점 방법 시연입니다. walk-forward 로 각 시점을 채점(스킬·DM 유의성)하고, 신뢰도 다이어그램으로 확률 보정을 확인합니다. 위 헤드라인이 이 도메인의 실측 결과입니다.
Walk-forward 채점 · 실시간 시연실측모델·CInaive
스킬(vs naive)—
DM 유의성—
구간 커버리지—
신뢰도 다이어그램 · 예측확률 vs 관측빈도보정 강도
ECE (보정오차)—
대각선 커버리지—
무엇을 채점하고, 어떻게 지키나
CRPS·pinball
점추정을 넘어 예측분포 전체를 채점합니다.
DM p-value
naive 대비 유의하게 나은지(p<0.05) 검정합니다.
스킬 스코어
베이스라인 대비 오차가 얼마나 줄었는지 정규화.
커버리지
예측구간이 진값을 담는 비율(conformal 로 보장).
누출 차단
walk-forward 스플릿으로 미래 정보가 과거로 새지 않게 합니다.
재현키
설정의 결정적 해시(config_hash). 같은 설정이면 같은 런이고 캐시 히트.
드리프트 경보
입력 분포가 학습 시점에서 이동하면 PSI·KS로 감지합니다.
백테스트 정본은 백엔드 service/platform/backtest · 로그인 시 /api/backtest/runs 에서 재현키로 추적된 실 런을 라이브로 확인할 수 있습니다.