LSTM vs Transformer 기반 RUL 예측 모델 비교: NASA CMAPSS 데이터셋 실험으로 알아보는 성능 차이

들어가며

산업 현장에서 설비의 잔여 수명(RUL, Remaining Useful Life)을 정확하게 예측하는 것은 예지 정비(Predictive Maintenance)의 핵심입니다. 최근 딥러닝 기술의 발전으로 LSTM과 Transformer 같은 시계열 모델들이 RUL 예측에 활발히 활용되고 있습니다. 이번 글에서는 NASA의 CMAPSS 데이터셋을 활용하여 두 모델의 성능을 비교 분석해보겠습니다.

RUL(Remaining Useful Life): 설비가 고장나기까지 남은 작동 시간을 의미하며, CBM/PHM의 가장 중요한 예측 목표입니다.

NASA CMAPSS 데이터셋이란?

CMAPSS(Commercial Modular Aero-Propulsion System Simulation)는 NASA에서 제공하는 항공기 엔진 시뮬레이션 데이터셋으로, PHM 연구의 표준 벤치마크입니다.

데이터셋 특징

• 21개 센서 데이터: 온도, 압력, 회전속도 등 다양한 센서 측정값
• 3개 운전 조건: 고도, 마하 수, 스로틀 각도
• 다양한 고장 모드: FD001~FD004로 구분된 4가지 시나리오
• 시계열 구조: 각 엔진의 생애주기 전체 센서 데이터

LSTM 기반 RUL 예측 모델

LSTM(Long Short-Term Memory)은 시계열 데이터 처리에 특화된 순환 신경망(RNN)의 한 종류입니다.

LSTM의 장점

• 순차적 정보 학습: 시간 순서대로 센서 데이터의 패턴을 학습
• 장기 의존성 포착: 과거의 중요한 정보를 기억
• 상대적으로 간단한 구조: 적은 파라미터로 효율적 학습 가능

구현 예시

import tensorflow as tf
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM, Dense, Dropout

# LSTM 모델 구성
model = Sequential([
    LSTM(128, return_sequences=True, input_shape=(window_size, n_features)),
    Dropout(0.2),
    LSTM(64, return_sequences=False),
    Dropout(0.2),
    Dense(32, activation='relu'),
    Dense(1, activation='linear')  # RUL 예측값
])

model.compile(optimizer='adam', loss='mse', metrics=['mae'])

실험 결과

• FD001 RMSE: 약 16~18
• FD004 RMSE: 약 28~32
• 학습 시간: GPU 기준 약 10~15분 (FD001)
• 추론 속도: 실시간 예측 가능

Transformer 기반 RUL 예측 모델

Transformer는 어텐션(Attention) 메커니즘을 활용하여 입력 시퀀스 전체를 한 번에 처리하는 모델입니다.

Transformer의 장점

• 병렬 처리: 전체 시퀀스를 동시에 처리하여 학습 속도 향상
• Self-Attention: 시퀀스 내 모든 시점 간의 관계를 직접 학습
• 장거리 의존성: LSTM보다 먼 과거 정보를 더 효과적으로 활용

구현 예시

from tensorflow.keras.layers import MultiHeadAttention, LayerNormalization

def transformer_encoder(inputs, head_size, num_heads, ff_dim, dropout=0):
    # Multi-Head Attention
    x = MultiHeadAttention(
        key_dim=head_size, num_heads=num_heads, dropout=dropout
    )(inputs, inputs)
    x = Dropout(dropout)(x)
    x = LayerNormalization(epsilon=1e-6)(x + inputs)

    # Feed Forward Network
    x_ff = Dense(ff_dim, activation="relu")(x)
    x_ff = Dropout(dropout)(x_ff)
    x_ff = Dense(inputs.shape[-1])(x_ff)

    return LayerNormalization(epsilon=1e-6)(x + x_ff)

# Transformer 모델 구성
inputs = tf.keras.Input(shape=(window_size, n_features))
x = transformer_encoder(inputs, head_size=64, num_heads=4, ff_dim=128)
x = tf.keras.layers.GlobalAveragePooling1D()(x)
x = Dense(64, activation='relu')(x)
outputs = Dense(1, activation='linear')(x)

model = tf.keras.Model(inputs=inputs, outputs=outputs)

실험 결과

• FD001 RMSE: 약 13~15
• FD004 RMSE: 약 25~29
• 학습 시간: GPU 기준 약 20~30분 (FD001)
• 추론 속도: LSTM보다 약간 느림

성능 비교 분석

정량적 비교

Score 함수: NASA CMAPSS에서 사용하는 평가 지표로, 조기 예측보다 지연 예측에 더 큰 페널티를 부여합니다.

정성적 비교

LSTM의 강점
– 작은 데이터셋에서도 안정적 성능
– 리소스 제약 환경에서 유리
– 온디바이스 배포에 적합
– 모델 해석이 상대적으로 용이

Transformer의 강점
– 복잡한 패턴 학습 능력 우수
– 다변량 센서 간 상호작용 포착
– 충분한 데이터가 있을 때 높은 정확도
– 전이 학습(Transfer Learning) 활용 가능

실무 활용 가이드

언제 LSTM을 선택할까?

1. 엣지 디바이스 배포: IoT 센서나 제한된 컴퓨팅 환경
2. 실시간 예측 필수: 밀리초 단위 응답 시간 요구
3. 소규모 데이터: 수백 개 이하의 학습 샘플
4. 빠른 프로토타입: 개념 검증 단계

언제 Transformer를 선택할까?

1. 고성능 서버 환경: 클라우드 기반 분석 시스템
2. 대규모 데이터: 수천 개 이상의 학습 샘플
3. 최고 정확도 추구: 중요 자산의 정밀 예측
4. 다중 센서 융합: 복잡한 센서 네트워크 분석

하이브리드 접근법

실무에서는 두 모델의 장점을 결합하는 방식도 효과적입니다.

# LSTM + Attention 하이브리드 모델
model = Sequential([
    LSTM(128, return_sequences=True, input_shape=(window_size, n_features)),
    MultiHeadAttention(key_dim=64, num_heads=4),
    GlobalAveragePooling1D(),
    Dense(64, activation='relu'),
    Dense(1)
])

실험 재현을 위한 팁

1. 데이터 전처리
   – Min-Max 정규화 또는 표준화 적용
   – 슬라이딩 윈도우 크기: 30~50 타임스텝 권장
   – RUL 레이블 클리핑: 최대 125~130으로 제한

2. 하이퍼파라미터 튜닝
   – Learning rate: 0.001~0.0001
   – Batch size: 128~512
   – Dropout rate: 0.2~0.3

3. 평가 방법
   – K-Fold 교차 검증 사용
   – RMSE와 Score 함수 모두 측정
   – 조기 종료(Early Stopping) 적용

마무리

NASA CMAPSS 데이터셋을 활용한 실험 결과, Transformer 모델이 LSTM 대비 평균 10~15% 향상된 예측 정확도를 보였습니다. 하지만 학습 시간과 리소스 요구사항도 약 2배 증가했습니다.

핵심 요약:
– 성능 우선: Transformer 선택 (RMSE 13~15% 개선)
– 효율성 우선: LSTM 선택 (학습 시간 50% 단축)
– 실무 권장: 프로토타입은 LSTM, 최종 배포는 Transformer
– 최적 전략: 하이브리드 모델로 양쪽 장점 결합

CBM/PHM 시스템 구축 시 데이터 규모, 컴퓨팅 리소스, 요구 정확도를 종합적으로 고려하여 모델을 선택하는 것이 중요합니다. 두 모델 모두 앙상블로 결합하면 더욱 강건한 예측 시스템을 만들 수 있습니다.