Transformer-RUL-Anomaly-Detection
Forecasting-based PHM — adaptive anomaly detection, failure-onset, and physical-time RUL on industrial vibration data.
예측 기반 PHM — 산업 진동 데이터의 적응형 이상 탐지, 고장 시점, 물리시간 잔여수명(RUL) 추정
Role · Researcher & engineer — AutoInformer model, adaptive threshold pipeline, 9-way cross-domain study, interactive dashboard.
Key Metrics
Why it matters
Most PHM work reports the win and hides the misses. This one ships the honest result: 5/9 cross-domain configs detect onset — and explains why geometrically (narrow vs wide vs burst manifolds). 10–100× lower MSE than MA baseline. Diagnosing your own failure modes is the architect-level signal.
대부분의 PHM 연구는 성공만 보고합니다. 이 프로젝트는 정직한 결과를 공개합니다 — 9-way 교차도메인 평가에서 5/9만 탐지, 그 이유를 기하학적으로 설명. MA 베이스라인 대비 MSE 10–100× 낮음. 자기 실패 모드를 진단해내는 것이 아키텍트 레벨의 신호입니다.
Problem
In 24/7 rotating machinery, 'normal' is not a fixed value — operating conditions drift, so static thresholds fire on benign fluctuation (false-alarm fatigue) or miss real onset. K-S test rejects normality and Levene rejects equal variance for all three IMS test runs (p≪0.001), statistically invalidating fixed thresholds. I reframed detection as tracking departure from a learned normal manifold: AutoInformer (CNN + trend/seasonality decomp + block-sparse attention) forecasts the next step; reconstruction error is the anomaly score. Auto normal-region detection (rolling-variance spike) + Gaussian fit (μ+3σ/4.5σ/6σ) removes manual tuning. 9-way cross-domain study on IMS Bearing dataset reveals the structural limit: detectability is determined by manifold geometry (narrow/wide/burst), not model capacity.
24시간 가동 회전기계에서 '정상'은 고정값이 아닙니다. K-S 검정은 정규성을, Levene 검정은 등분산성을 3개 모든 IMS 테스트에서 기각(p≪0.001) — 고정 임계값의 통계적 무효성을 입증. AutoInformer(CNN + 추세/계절성 분해 + 블록희소 어텐션)로 다음 시점을 예측하고 복원오차를 이상 점수로 사용. 롤링분산 스파이크로 정상 구간 자동 탐지 + Gaussian μ+3σ/4.5σ/6σ 임계값. 9-way 교차도메인 평가: 탐지 가능성은 모델 용량이 아닌 manifold 기하학(narrow/wide/burst)이 결정.
What I built
AutoInformer model: Conv1D local feature extraction → trend/seasonality decomposition → block-sparse multi-head attention (O(N^2) to O(NB), 90%+ compute reduction for N=2048) → Gaussian forecasting head
AutoInformer 모델: Conv1D 로컬 특징 추출 → 추세/계절성 분해 → 블록희소 멀티헤드 어텐션(O(N²)→O(NB), N=2048에서 연산 90%+ 절감) → Gaussian 예측 헤드
Detection pipeline: next-step forecasting MSE as anomaly score → rolling-variance spike detects normal-region boundary → Gaussian fit (u, s) → adaptive thresholds u+3s / 4.5s / 6s
탐지 파이프라인: 다음 시점 예측 MSE를 이상 점수로 → 롤링분산 스파이크로 정상 구간 경계 탐지 → Gaussian 피팅(μ, σ) → 적응형 임계값 μ+3σ/4.5σ/6σ
Failure onset + RUL: 10 consecutive High warnings → physical-time RUL = sum of dt from onset to end (corrected for IMS sampling: files 1-43 = 5min, 44+ = 10min)
고장 시점+RUL: 10연속 High 경보 → 물리시간 RUL = onset부터 종료까지 Σ Δt(IMS 샘플링 보정: 파일 1–43=5분, 44+=10분)
9-way cross-domain evaluation (3x3): 3 IMS test runs with different noise characteristics — clean (stable/narrow manifold), noisy (high-variance/wide manifold), burst (rapid degradation/burst manifold)
9-way 교차도메인 평가(3×3): 서로 다른 노이즈 특성의 3개 IMS 테스트 — clean(안정/narrow manifold), noisy(고분산/wide manifold), burst(급격 열화/burst manifold)
Statistical justification: K-S + Levene tests on all 3 test sets, p much less than 0.001 — proves non-stationarity and heteroscedasticity, invalidating fixed thresholds
통계적 정당화: 3개 테스트셋 K-S+Levene 검정, p≪0.001 — 비정상성+이분산성 입증, 고정 임계값 무효화
Interactive dashboard: static HTML + Chart.js, bundled data.js (800pts/config, max-pool downsampling), GitHub Pages deployed
인터랙티브 대시보드: 정적 HTML+Chart.js, 번들 data.js(설정당 800pt, max-pool 다운샘플링), GitHub Pages 배포
Key Decisions (trade-offs)
Forecasting over a plain autoencoder — 10–100× lower MSE
Reconstruction-error AEs spike inside normal regions on minor drift, drowning real signal in false alarms. Next-step forecasting reacts to the breakdown of predictability instead — 10–100× lower MSE than a Moving-Average baseline on IMS data. The cost: a heavier AutoInformer that needs learnable normal dynamics.
복원오차 AE는 사소한 드리프트에도 정상 구간에서 튀어 오경보를 냅니다. 다음 시점 예측은 '예측 가능성의 붕괴'에 반응 — MA 베이스라인 대비 MSE 10–100× 낮음.
Data-driven adaptive thresholds — no manual tuning
Rolling-variance spike auto-detects the normal region. Gaussian fit on that region sets μ+3σ/4.5σ/6σ bands — no manual tuning per machine, auto-compensates for each domain's noise level. K-S + Levene tests confirm non-stationarity justifies adaptive over fixed.
롤링분산 스파이크로 정상 구간 자동 탐지. Gaussian 피팅으로 μ+3σ/4.5σ/6σ 경고대를 기계마다 자동 설정. K-S + Levene 검정으로 비정상성이 적응형 임계값을 정당화함을 입증.
5/9 honest result — manifold geometry, not model capacity
Across 9 cross-domain configs, onset is detected in only 5/9. Failures explained geometrically: narrow manifold (Test 1, clean) separates cleanly; wide manifold (Test 2, noisy) absorbs precursors; burst manifold (Test 3) over-reacts to broadband noise. Naming the structural limit is the real contribution.
9개 교차도메인 설정 중 5/9만 탐지. 실패를 기하학적으로 설명: narrow manifold(테스트1, clean)는 깔끔히 분리; wide manifold(테스트2, noisy)는 전조를 흡수; burst manifold(테스트3)는 광대역 노이즈에 과잉 반응. 구조적 한계를 규명한 것이 진짜 기여입니다.