Backtest · 팔기 전에 채점

행정 백테스트·검증

가동 · 동단위 측정 ρ=0.711

예측을 팔기 전에 실 데이터로 채점합니다. 미래 정보가 과거로 새지 않게 walk-forward 로 각 시점을 평가하고, 예측 확률이 실제 빈도와 맞는지 신뢰도로 확인합니다. 이 관문을 통과하지 못한 예측은 제품이 되지 않습니다.

ρ=0.711

동 단위 만족도 실측 상관

census 빙의 vs 실측 · predict→verify 원장

✓ 게이트 통과

예측하고, 현실이 오면, 채점합니다

아래는 채점 방법 시연입니다. walk-forward 로 각 시점을 채점(스킬·DM 유의성)하고, 신뢰도 다이어그램으로 확률 보정을 확인합니다. 위 헤드라인이 이 도메인의 실측 결과입니다.

Walk-forward 채점 · 실시간 시연실측모델·CInaive

스킬(vs naive)—

DM 유의성—

구간 커버리지—

신뢰도 다이어그램 · 예측확률 vs 관측빈도보정 강도

ECE (보정오차)—

대각선 커버리지—

CRPS·pinball

점추정을 넘어 예측분포 전체를 채점합니다.

DM p-value

naive 대비 유의하게 나은지(p<0.05) 검정합니다.

스킬 스코어

베이스라인 대비 오차가 얼마나 줄었는지 정규화.

커버리지

예측구간이 진값을 담는 비율(conformal 로 보장).

누출 차단

walk-forward 스플릿으로 미래 정보가 과거로 새지 않게 합니다.

재현키

설정의 결정적 해시(config_hash). 같은 설정이면 같은 런이고 캐시 히트.

드리프트 경보

입력 분포가 학습 시점에서 이동하면 PSI·KS로 감지합니다.

백테스트 정본은 백엔드 service/platform/backtest · 로그인 시 /api/backtest/runs 에서 재현키로 추적된 실 런을 라이브로 확인할 수 있습니다.