이상 탐지 (Anomaly Detection)
이상 탐지란 무엇인가?
- 데이터 분석에서 이상 탐지(Anomaly Detection)(때로는 outlier detection 또는 novelty detection로도 불림)는
일반적으로 데이터의 대다수와 현저히 다르며 정상 범위에서 벗어나서 드물게 발생하는 항목, 사건, 또는 관측치를 찾아내는 과정
- 이러한 이상치는, 어떠한 다른 원인에 의해 발생한 것으로 추측되며, 데이터 집합의 나머지 정상 부분과 일치하지 않은
특징을 보임
=> 이상한 데이터 찾기
=> 이상?(異常)한 데이터는 무엇일까요?
이상의 기준
- 기존 데이터와 다른 특성을 가지며, 드물게 발생한다.
=> 이상치의 기준은 우리의 관심사, 데이터의 특성에 따라 달라질 수 있음
- 데이터의 특성을 분명하게 파악
- 이상 탐지를 수행하는 목적에 맞게 데이터 및 알고리즘을 구성
이상 탐지 use-case
Image 이상 탐지
- 촬영된 이미지 / 영상의 일부 프레임 등을 활용하여 이상 탐지 수행
- 의료 도메인, 산업용 공정 등에서 활용
- “이미지”라는 비 선형적(nonlinear)인 데이터를 다룸
Text 이상 탐지
- 문자로 표현되는 데이터의 의미를 파악하는 이상 탐지
Tabular data 이상 탐지
- 테이블(표) 형태로 표현 가능한 데이터의 이상 탐지
- 테이블 형태의 데이터를 가공 & 분석하여 이상 탐지 수행
- 데이터 테이블은 다양한 유형의 데이터를 포함할 수 있음
- 데이터를 가공 & 분석하여 이상 탐지 수행
- 수치적, 통계적 특성을 주로 활용
Time-series data 이상 탐지
- 일정한 시간 정보를 포함한 데이터의 이상 탐지
- 시간 정보가 중요한 역할을 하는 데이터 혹은 실시간 모니터링이 필요한 분야에서 사용
- 사이버 공격 방어, 실시간 금융 거래 모니터링
+ 관련 insight : https://www.analyticsvidhya.com/blog/2021/08/univariate-time-series-anomaly-detection-using-arima-model/
학습할 내용
Tabular + Time-series + a
- 데이터와 친숙해지는걸 목표로 합니다.
- Tabular + Time-series 데이터를 주로 학습합니다.
- 조금 더 전통적인 방식의 머신 러닝 알고리즘에 대해 학습합니다.
- 딥러닝 기반의 모델을 활용하여 이미지 대상 이상 탐지에 대해서도 간단히 알아봅니다.