삼전동해커

출처 : https://wikidocs.net/22886 RNN은 hidden layer에서 활성화 함수를 통해 나온 결과값을 output layer로 보내면서, 다시 hidden layer에도 보내 다음 계산의 입력으로 사용한다. cell은 이전의 값을 기억하는 역할을 수행하기도 한다. 이전 타임 스텝에서 나온 결과값을 기억하고 있다가 해당 타임 스텝의 입력으로 사용한다. 위 그림은 입력 벡터의 차원이 4, hidden state가 2, output이 2인 상태를 시각화한 것이다. RNN은 입력과 출력의 길이를 다르게 설정할 수 있다. one-to-many는 하나의 입력으로 여러개의 output을 낼 수 있다. 이는 하나의 이미지 입력에 대해 다양한 이미지의 제목을 출력하는 경우 등이 있다. many-..

출처 : https://repository.kihasa.re.kr/bitstream/201002/32608/1/%EA%B8%B0%EA%B3%84%ED%95%99%EC%8A%B5%28Machine%20Learning%29%20%EA%B8%B0%EB%B0%98%20%EC%9D%B4%EC%83%81%20%ED%83%90%EC%A7%80%28Anomaly%20Detection%29%20%EA%B8%B0%EB%B2%95%20%EC%97%B0%EA%B5%AC-%20%EB%B3%B4%EA%B1%B4%EC%82%AC%ED%9A%8C%20%EB%B6%84%EC%95%BC%EB%A5%BC%20%EC%A4%91%EC%8B%AC%EC%9C%BC%EB%A1%9C.pdf 1. 이상탐지 개념 및 특성 anomaly는 nomal의 ..

케라스의 texts_to_matrix()이해하기 import numpy as np from tensorflow.keras.preprocessing.text import Tokenizer texts = ['먹고 싶은 사과', '먹고 싶은 바나나', '길고 노란 바나나 바나나', '저는 과일이 좋아요'] #정수 인코딩 tokenizer = Tokenizer() tokenizer.fit_on_texts(texts) #texts 정수 인코딩 후 빈도수가 높은 순대로 정렬 print(tokenizer.word_index) #입력된 텍스트 데이터로부터 행렬을 만든다. #0열은 기본으로 0으로 삽입, 1행은 인덱스 1(바나나), 2행은 인덱스 2(먹고)... print(tokenizer.texts_to_matrix(..

케라스는 손쉽게 딥 러닝을 구현할 수 있도록 도와주는 인터페이스다. 전처리 tokenizer() : 토큰화와 정수 인코딩을 위해 사용한다. 다음은 훈련 데이터로부터 단어 집합을 생성하고, 해당 단어 집합으로 임의의 문장을 정수 인코딩하는 과정을 보여준다. from tensorflow.keras.preprocessing.text import Tokenizer from tensorflow.keras.preprocessing.sequence import pad_sequences tokenizer = Tokenizer() #단어의 토큰화와 정수 인코딩(단어에 정수를 부여)을 위한 토큰 생성 train_text = "the earth is an awesome place live" #훈련을 위한 단어 샘플 toke..

1. 데이터의 양 늘리기 데이터의 양이 적을 경우, 해당 데이터의 특정 패턴이나 노이즈까지 쉽게 학습하는 과적합 현상이 발생한다. 따라서 데이터의 양을 늘려 모델이 데이터의 일반적인 패턴을 학습할 수 있도록 한다. 데이터의 양이 적을 경우엔 기존의 데이터를 조금씩 변형하고 추가하여 데이터의 양을 늘리는 데이터 증강을 한다. 2. 모델의 복잡도 줄이기 인공 신경망의 복잡도는 은닉층의 수나 매개변수의 수 등으로 결정된다. 과적합이 발생하면, 은닉층의 수를 줄이거나 매개변수의 수를 조정해 복잡도를 줄인다. 3.가중치 규제 적용하기 L1 규제 : 가중치 w들의 절대값 합계를 비용 함수에 추가한다. L2 규제 : 모든 가중치 w들의 제곱합을 비용함수에 추가한다. L1 규제는 기존의 비용 함수에 모든 가중치에 대해..

1. 손실 함수 손실 함수는 실제값과 예측값 차이를 수치화해주는 함수이다. 차이가 심할수록 손실 함수의 값이 크고 오차가 작을 수록 손실 함수의 값은 작아진다. 회귀에서는 평균 제곱 오차, 분류에서는 크로스 엔트로피를 사용한다. 손실 함수의 값을 최소화하기 위한 가중치와 편향을 찾는것이 딥 러닝의 학습 과정의 주요점이다. 따라서 손실 함수의 값을 잘 선정해야한다. MSE(Mean Squared Error) 평균 제곱 오차는 연속형 변수를 예측할 때 사용한다. model.compile(optimizer='adam', loss='mse', metrics=['mse']) 이진 크로스 엔트로피 출력층에서 시그모이드 함수를 사용하는 이진 분류에서 사용한다. model.compile(loss='binary_cros..

입력층에서 출력층으로 연산을 진행하는 과정을 순전파라고 한다. 단순히 입력데이터가 출력층으로 출력되는 과정이다. 입력층이 3개, 출력층이 2개인 신경망에서 6개의 가중치가 나온다. 이를 행렬곱 관점에서 3차원 벡터에서 2차원 벡터가 되기 위해서 3*2 행렬을 곱했다고 생각하면 된다. y1에 연결되는 그래프는 주황색, y2에 연결되는 그래프는 초록색으로 표현했다. 여기서 편향 b는 생략되는 경우가 많다. 편향의 개수는 출력 차원의 개수와 동일하다. 가중치 6개와 편향의 개수 2개로 학습가능한 매개변수가 8개이다. from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense model = Sequential()..

피드 포워드 신경망(FFNN) 입력층에서 출력층 방향으로 연산이 앞으로 전개되는 신경망을 피드 포워드 신경망이라고한다. RNN은 은닉층의 출력값을 출력으로도 보내지만, 은닉층의 출력값이 다시 은닉층의 입력으로 사용되는 신경망이다. 전결합층(Dense layer) MLP의 은닉층과 출력층의 뉴런은 이전 층의 모든 뉴런과 연결이 되어있는 층을 전결합층이라고 한다. 위 사진 모두 은닉층과 출력층이 이전의 모든 뉴런과 연결되어 있는 전결합층이다. 활성화 함수 은닉층과 출력층의 뉴런에서 출력값을 결정하는 함수를 활성화 함수라고 한다. or, and, nand 게이트의 경우엔 계단 함수를 통해서 출력값을 0이나 1로 결정했다. 활성화 함수의 특징은 비선형 함수여야 한다. 선형 함수는 입력의 상수배만큼 출력값이 변하..

출처 : https://wikidocs.net/24958 01) 퍼셉트론(Perceptron) 인공 신경망은 수많은 머신 러닝 방법 중 하나입니다. 하지만 최근 인공 신경망을 복잡하게 쌓아 올린 딥 러닝이 다른 머신 러닝 방법들을 뛰어넘는 성능을 보여주는 사례가 늘면 ... wikidocs.net 딥러닝이랑 머신러닝은 차이가 있다. 딥러닝은 인공 신경망을 복잡하게 쌓아 올린 방법으로 머신러닝보다 뛰어난 성능을 보여준다. 먼저 초기의 인공 신경망인 퍼셉트론을 이해해야한다. 퍼셉트론(perceptron)은다수의 입력으로부터 하나의 결과를 내보내는 알고리즘이다. x는 입력값을 의미하며, w는 가중치, y는 출력값을 의미한다. 원은 인공 뉴런에 해당된다. 가중치는 신호를 전달하는 역할이다. 가중치의 값이 클수록..