전체 글 45

부실가계 분류모델 - 데이터 전처리(데이터 encoding)

2021.04.26 - [Project/가계 부채 분석] - 부실가계 탐지 모형 데이터 전처리- 파생변수 추가(DSR, DTA, HDRI, 부실가계) 부실가계 탐지 모형 데이터 전처리- 파생변수 추가(DSR, DTA, HDRI, 부실가계) 가계금융복지조사 데이터? 2020 년도 가계금융복지조사 데이터는 통계청(가계자산조사), 금융감독원(가계신용조사), 한국은행(가구패널조사)에서 만든 가계 금융과 관련된 종합적인 데이터다. patrickstar-jjh.tistory.com 이전에 했던 데이터 전처리에 이어서 이번에는 학습하고자 하는 변수 추출 및 범주형 데이터들을 인코딩하고자 한다. # 데이터 reload data = pd.read_csv('./data/2020가계부채/label_2020.csv', eng..

부실가계 분류모델 - 데이터 전처리(파생변수 생성)

가계금융복지조사 데이터? 2020 년도 가계금융복지조사 데이터는 통계청(가계자산조사), 금융감독원(가계신용조사), 한국은행(가구패널조사)에서 만든 가계 금융과 관련된 종합적인 데이터다. 조사기간은 해당년도의 3 월 말~4 월 중으로 조사 주기는 1 년이다. 전국을 대상으로 약 20,000 가구를 시도별 자산비중을 고려하여 지역별 표본규모를 확정했으며 조사 항목은 가구 구성, 자산 및 금융자산 운용계획, 부채 및 부채상환능력, 소득 및 지출 등이 있다. 2020 년 가계금융복지조사 데이터에는 150 이상의 열(특징)을 가지고 개별 가구인 행(개별 가구)은 18065 개를 가진다. import pandas as pd import warnings warnings.filterwarnings("ignore") d..

Backpropagation(역전파) - 은닉층 가중치 업데이트 계산식 도출

2021.05.22 - [AI/DL] - Backpropagation(역전파) - 가중치 업데이트 계산식 도출1 Backpropagation(역전파) - 가중치 업데이트 계산식 도출1 입력값과 은닉층 그리고 출력층에서 주어지는 수는 각각 2개씩이다. 가중치의 합은 $a$로 활성화 함수는 $\sigma$(sigmoid function)로 주어진다. $w_{31}$(출력층의 가중치)의 가중치 업데이트 계산식 도 patrickstar-jjh.tistory.com 이전 글에 이어서 이번에는 은닉층의 가중치를 업데이트 하는 계산식에 대해 알아보고자 한다. $w_{11}$(은닉층의 가중치)의 가중치 업데이트 계산식 산출 기초적인 식인 $w_{11}(t+1)=w_{11}(t)-\frac{\partial error}{..

datascience/DL 2021.05.25

Backpropagation(역전파) - 출력층 가중치 업데이트 계산식 도출

입력값과 은닉층 그리고 출력층에서 주어지는 수는 각각 2개씩이다. 가중치의 합은 $a$로 활성화 함수는 $\sigma$(sigmoid function)로 주어진다. $w_{31}$(출력층의 가중치)의 가중치 업데이트 계산식 도출 기초적인 식인 $w_{31}(t+1)=w_{31}(t)-\frac{\partial error}{\partial w_{31}}$에서 $\frac{\partial error}{\partial w_{31}}$를 구하고자 한다 여기서 $error=\frac{1}{2}(y_{t1}-y_{1})^{2}+\frac{1}{2}(y_{t2}-y_{2})^{2}$ 이다. (각 출력값의 MSE의 합) 체인룰에 의해 $\frac{\partial error }{\partial w_{31}}=$ $\fr..

datascience/DL 2021.05.22

강화학습(Reinforced Learning) Monte Carlo 학습 구현

GridWorld 구현 import random import numpy as np class GridWorld(): def __init__(self): self.x=0 self.y=0 def step(self, a): # 0번 액션: 왼쪽, 1번 액션: 위, 2번 액션: 오른쪽, 3번 액션: 아래쪽 if a==0: self.move_left() elif a==1: self.move_up() elif a==2: self.move_right() elif a==3: self.move_down() reward = -1 # 보상은 항상 -1로 고정 done = self.is_done() return (self.x, self.y), reward, done def move_right(self): self.y += 1..

datascience/RL 2021.05.18

딥러닝 순전파 실습(퍼셉트론 계산과정)

딥러닝에서 가장 기본적인 순전파과정에 대한 실습 입력값 $x_{1}$과 $x_{2}$에 각각 가중치 $w_{1}$과 $w_{2}$를 곱한 값을 활성화함수로 계산하여 0 혹은 1로 y값 도출 import numpy as np # 입력층 -> 은닉층(1층) X = np.array([10, 20]) W1 = np.array([[0.1, 0.3, 0.5], [0.2, 0.4, 0.6]]) # weight 2x3개 B1 = np.array([1, 2, 3]) # bias 3개 def sigmoid(x): # 활성화 함수 return 1 / (1 + np.exp(-x)) A1 = np.dot(X, W1) + B1 Z1 = sigmoid(A1) print('A1 :', A1) # 입력신호 print('Z1 :', Z..

datascience/DL 2021.05.16

금융 투자 기본 개념(샤프비율, 효율적 투자선)

2021.05.02 - [finanace] - 금융 투자 기본 개념(Return, Risk) 금융 투자 기본 개념(Return, Risk) 금융 투자를 하는데 있어 가장 기초가 되는 개념들이 있다 Return(수익): 개별 자산의 수익률(R_i)을 각 자산의 가중치(x_i)를 곱하여 합하면 포트폴리오 수익률을 구할 수 있다. Risk(위험): 개별 자산 patrickstar-jjh.tistory.com 이전 글에서 설명했던 수익률과 위험에서 더 나아가 샤프비율, 효율적 투자선에 대해 알아보자. 샤프비율(Sharpe Ratio): $\frac{포트폴리오 초과수익 }{포트폴리오 변동성}$ 이다. (쉽게말해 포트폴리오의 $\frac{수익률}{위험}$) 효율적 투자선(Efiicient Frontier): 같은 ..

금융 투자 기본 개념(Return, Risk)

금융 투자를 하는데 있어 가장 기초가 되는 개념들이 있다 Return(수익): 개별 자산의 수익률(R_i)을 각 자산의 가중치(x_i)를 곱하여 합하면 포트폴리오 수익률을 구할 수 있다. Risk(위험): 개별 자산 수익률 간의 분산-공분산 행렬을 통해 포트폴리오 분산을 구하고 Risk를 도출할 수 있다. #데이터 불러오기 from pykrx import stock import pandas as pd import numpy as np import matplotlib.pyplot as plt # ticker와 list로 코스피 기업목록 가져오기 def return_name(market): Market = [] for ticker in market: Value =stock.get_market_ticker_n..

마르코프 결정 프로세스(Markov Decision Process)

강화학습(RL)에서 순차적 의사결정 문제 방법론에 대해 설명하는 마르코프 결정 프로세스의 기본 개념들을 정리해보고자 한다. ■마르코프 프로세스(MP) $$MP\equiv(S,P)$$ ■전이확률 : 상태s에서 다음 상태s'에 도착할 확률 $$P_{ss'}$$ ■마르코프 성질: 미래는 오로지 현재에 의해 결정된다 $$\mathbb{P}[s_{t+1}|s_{t}]=\mathbb{P}[s_{t+1}|s_{1},s_{2},...,s_{t}]$$ ■마르코프 리워드 프로세스(MRP) : MP에 보상 개념 추가 R: 보상함수, G:리턴, γ: 감쇠 인자 $$MRP\equiv(S,P,R,\gamma)$$ $$R=\mathbb{E}[R_{t}|S_{t}=s]$$ $$G_{t}=R_{t+1}+\gamma R_{t+2}+\g..

datascience/RL 2021.04.23