밑바닥부터 시작하는 데이터 과학 8-10장

데이터 스터디

화요일 10/17

8. 경사 하강법
   - 기울기가 줄어든다.
   - 기울기가 낮아지는 방향으로 계속 이동해서 함수의 최대, 최소값을 찾아낸다.
   - step size : 고정값, 시간에 따라 감소, 이동할 때마다 목적함수를 최소화 …
   - 단점 : 다차 함수는 로컬 미니멈, 로컬 맥시멈이 있어서 시작점에 따라 문제가 생길 수 있다.
   - Stochastic Gradient Descent :  작은 토막마다 묶어서 토막을 묶어서 정한다.
   - 더 많은 GD의 변형이 있다.
   
   
9. 데이터 수집
   - stdin - stdout : 커맨드 라인으로 입력 받기 - 커맨드 라인에 출력하기.
   - 파일 읽기 : open(), close(), with(자동으로 close() 해줌)
   - 웹 스크래핑 (Beautiful Soup, Scrapy -> 한번에 스크랩 할 용도, Selenium -> 크롬같은 웹을 띄우고 돌려서 느림)
   
   
10. 데이터 다루기
    - 데이터 정제 : 나쁜 데이터 제거, 수정
    - 데이터 처리 : 데이터에서 필요한 정보를 뽑음.
    - 척도 조절 : 단위를 제거해서 분석에 차질이 생기지 않도록. -> 평균, 표준편차 이용하여 0~1 사이의 값으로 바꿈.
    - 차원 축소 : 데이터의 의미를 제대로 표현하는 특징을 추려내는 것.
    — 계산 비용 축소, 노이즈 제거, 도출된 결과를 이해하기 쉽게.
    — 주성분 분석(PCA), 특이 값 분해(SVD), 비음수 행렬 인수분해(NMF)