확률적 경사 하강법

#확률적 경사 하강법
#조금씩 데이터를 훈련시킬 때 사용

#손실 함수
#머신러닝 알고리즘이 얼마나 엉터리인지를 측정하는 기준. 값이 작을수록 좋음.
#최소의 손실 함수 값을 찾기위해 확률적 경사 하강법을 사용.

#로지스틱 손실 함수
#하강 경사법은 연속적이야 하기 때문에 로지스틱 회귀 모델 확률을 사용
#로그 함수로 연속적임을 나타내는데, 예측확률은 0~1 사이이고 여기서는 로그 값이 음수이므로 -log로 계산한다.
import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import SGDClassifier

fish = pd.read_csv('https://bit.ly/fish_csv_data')

fish_input = fish[['Weight','Length','Diagonal','Height','Width']].to_numpy()
fish_target = fish['Species'].to_numpy()
train_input, test_input, train_target, test_target = train_test_split(fish_input,fish_target,random_state=42)

ss = StandardScaler()
ss.fit(train_input)
train_scaled = ss.transform(train_input)
test_scaled = ss.transform(test_input)

#확률적 경사 하강법을 제공하는 SGDClassifier를 사용해 분류
#loss는 손실함수의 종류를 지정,log로 로지스틱 손실 함수 지정, max_iter는 에포크 횟수 지정.
sc = SGDClassifier(loss='log',max_iter=10, random_state=42)
sc.fit(train_scaled, train_target)
print(sc.score(train_scaled, train_target))
print(sc.score(test_scaled, test_target))

#위의 훈련세트와 테스트 세트의 정확도가 낮아 추가로 훈련
#partial_fit은 호출할 때마다 1에포크씩 이어서 훈련
sc.partial_fit(train_scaled, train_target)
print(sc.score(train_scaled, train_target))
print(sc.score(test_scaled, test_target))

#과대/과소 적합
#에포크 횟수에 따라 과대/과소 적합 발생
import numpy as np
import matplotlib.pyplot as plt

sc = SGDClassifier(loss='log',random_state=42)
train_score = []
test_score = []
#train_target에 있는 7개의 생선의 목록을 준비
classes = np.unique(train_target)

#300번의 에포크 훈련을 진행, 반복마다 훈련,테스트 세트의 점수를 계산해 train,test_score에 추가.
for _ in range(0,300):
    sc.partial_fit(train_scaled, train_target, classes = classes)
    train_score.append(sc.score(train_scaled, train_target))
    test_score.append(sc.score(test_scaled, test_target))
    
#점수를 그래프화, 100번째에서 좋은 모습
plt.plot(train_score)
plt.plot(test_score)
plt.xlabel('epoch')
plt.ylabel('accuracy')
plt.show()

#tol 매개변수로 향상될 최소값을 지정. none으로 설정해 max_iter만큼 멈추지않고 반복
sc = SGDClassifier(loss='log',max_iter=100,tol=None,random_state=42)
sc.fit(train_scaled,train_target)
print(sc.score(train_scaled,train_target))
print(sc.score(test_scaled, test_target))