안녕하세요. 두리안입니다.
제가 그동안 육아를 하면서 공부를 하게 된 이유, 그리고 힘들어도 지속할 수 있었던 방법들을 블로그에 써왔습니다.
그런데 공부하는 시간과 블로그 작성에 들어가는 시간이 분리되어 있다보니 저의 취침 시간이 더 늦어졌습니다.
아침에 아이가 저를 깨우는데 저는 피곤함에 제대로 일어나지 못하고 좀비처럼 아침에 아이에게 분유를 먹이고 있었습니다.
그러다 문득, 아! 공부 시간과 블로그 작성 시간을 하나로 합치면 어떨까? 하는 생각이 들었습니다.
앞으로의 글쓰기는 공부하면서 느낀 것과 그 날 공부한 내용을 정리해서 올리려고 합니다.
그러면 들르신 분들도 도움이 되지 않을까 싶습니다.
금융 분야에서의 데이터 분석 및 예측
인공지능, 빅데이터 기술이 날로 좋아지면서 가장 각광받는 분야는 금융과 의료이지 않을까 싶다. 그 중 금융분야에서 데이터 분석은 다양한 금융 데이터를 수집, 분석하고 통찰력을 얻어 비즈니스 의사 결정을 지원하는 과정을 가진다. 특히 주식, 금리, 환율, 거래내역 등 금융 데이터는 다양한 정보를 포함해서 더욱더 다양한 금융 분야의 예측이 가능하지만 그에 따라 효율적인 처리와 분석이 필요하다. 특히 금융 데이터는 시간에 따른 변동이 있는 시계열 데이터의 특성이 있어서 경제동향을 예측하는데 용이하다. 시계열 데이터 예측을 위해서, ARIMA, Prophet, LSTM 등의 알고리즘이 사용된다.(그냥 이런게 있다 정도로만 알면 된다.)
그러나 금융데이터는 개인 정보로 인해 접근 권한과 보안에 고려를 요해서 많은 데이터를 수집하는데 곤란함도 있다. 또한, 금융 시장은 정말 빠르게 움직여서 데이터의 빠른 수집이 중요하다. 또 고려할 점은 금융데이터는 오류가 있는 경우도 있어서 전처리 과정이 필수적이다.
주요 전처리 과정은 다음과 같다. 누락된 값의 처리, 이상치 검출과 처리, 데이터 정규화 및 표준화, 특히 정확하고 신뢰성 있는 데이터 확보가 중요하기에 전처리 작업에 노력을 기울여야 한다.
그럼 이렇게 중요한 금융 데이터들을 분석하려면 어떤 프로그래밍을 쓸까? 주로 사용하는건 파이썬(Python)과 R이다. 파이썬은 다양한 라이브러리와 생태계로 구성되어 있고 R은 통계 분석에 강점을 가진다. 그러나 통계분석 또한 파이썬에서도 가능함으로 주로 파이썬을 이용한다.
금융데이터는 관계형 데이터베이스 시스템을 주로 사용하고 회귀분석, 분류, 클러스터링 알고리즘을 이용하여 데이터 분석을 한다.
좀 더 자세히 살펴보면, 회귀분석은 금융 분야에서 주가예측, 수익률 예측과 같은 수치를 예측하고 선형회귀, Ridge회귀, LASSO회귀가 있다. 분류는 이 데이터가 사기인지 아닌지, 또는 고객 신용 등급평가에 사용하고 로지스틱 회귀, 의사결정트리, 랜덤 포레스트 등이 있다. 클러스터링은 고객 세분화, 투자 프로파일링 등에 활용하고, K-평균, DBSCAN(밀도기반클러스터링, K설정 필요 없음.)을 사용한다.
금융 예측 모델 구축
1. 문제 정의 -> 2. 데이터 수집 -> 3. 전처리 -> 4. 특성 선택 및 추출 -> 5. 모델 선택 및 학습
우선 뭘 할건지 정하고 그에 맞는 데이터를 수집하면, 모아진 데이터를 전처리를 한다. 전처리가 끝난 데이터의 특성을 파악하고 추출한다. 그 다음에 분석을 위해 학습을 시킨다. 적절한 모델을 선택해서 머신러닝, 딥러닝을 한다.
그럼 이렇게 만들어진 학습 데이터와 테스트 데이터의 관리를 하는데, 데이터 분할 또는 교차 검증을 이용해서 검증을 하고 마지막으로 성능을 평가한다. 성능 평가는 정확도, 정밀도, 재현율, F1점수가 있다.
교차검증에는 K-fold가 있는데, 데이터 분할이랑 헷갈려서 검색해 봤다. 단순 학습-테스트 분할은 Hold-Out이라고도 하는데 이건 좀 운이 따른다. 반면 K-fold는 아래 사진처럼 K가 검증용으로 활용될때까지 검증을 하니 보다 더 정확하다.
금융 분야에서 실제 데이터 분석 및 예측 사례
주식 시장 예측, 신용평가, 사기 탐지에 사용되고 있다. 뭐 당연한 얘기지만 민감한 정보이다 보니 보안이 중요하고 금융 시장은 그 똑똑한 아인슈타인도 예측이 불가하지 않았는가? 시장은 항상 불안정하기에 불확실성, 즉 인간의 심리도 반영한 대응이 필요하지 않을까 싶다.