tags: 연대강의

5월 18일

프로젝트

다음주는 기말 프로젝트 이전에 개발된 MVP 개발산출물도 함께 공유해주세요!

  1. 사응일간

    • 프로토타입 모델 개발용 데이터 전처리 완료.
      • 더 좋은 모델링 성능을 위해 지속적으로 파생변수 생성 및 스케일링, 변수 추가 등 EDA 진행 예정
      • 모델링시 2018년 4월 ~ 데이터를 활용
    • 머신러닝 모델링 진행중
      • RandomForest, XGboost, LGBM 등 여러 모델 사용 (범주형 변수가 많아서 Catboost 사용 예정)
      • 현재까지는 RandomForest가 가장 좋은 성능을(F1 score기준) 보여주고 있음.
      • Grid Search를 통해서 최적의 Hyper Parameter를 찾을 예정
      • 다른 머신러닝 모델도 논의를 통해 사용 예정.
    • 웹 개발을 위한 준비작업 진행 중
      • shiny를 기반하여 웹 제작 계획

  2. 코뿔소

  • 주제: 서울시 수소차 충전소 입지 선정
  • 현재 진행상황
    • 변수 선정 및 데이터 클렌징 완료
    • 모델링/시각화 팀으로 나누어 진행 중
  • 타임라인
    • 5월 18일: 진행상황~
    • 5월 25일: 모델링 시각화 점검 - 2주 간 진행된것 토대로 보완점 제시
    • 6월 01일: 모델링 시각화 1차완성 - 데이터 돌려보고 멘토링 받을내용 선정
    • 6월 03일: 멘토링과 함께 중간 점검 - 최종조정 방향 선정 및 실행
    • 6월 15일: 모델링 시각화 완성 및 논문 작성
    • 6월 22일: 깃허브에 게시 + 상품 완성 목표! (웹페이지, 논문)
  1. 골든타임
  • 의료취약지역에 대한 시각화와 함께 추가적으로 진행할 수 분석에 대해 탐구해봄
    • 다양한 통계모형을 하나씩 검토해보며 사용할 수 있는 통계모형에 대해 알아봄
    • 로지스틱 회귀분석: 의료취약지역에 대한 확률
    • 요인분석 : 자료로부터 latent variable 추출
    • Mediation Anlaysis : 여러 요인이 응급의료취약지역에 미치는 방식 분석
    • 시계열분석
    • 선행 연구 검토 및 의료취약지역 선정 Scoring 변수 논의 및 활용할 데이터셋/API에 맞는 크롤러 코딩
  1. Casa
  • EDA
    • 클러스터링이 필요한 이유와 각 변수와 실거래액 간의 관계를 파악하는데 중심을 두어 진행함
  • 모델링
    • K-Prototype 클러스터링 기법 적용
      • 적당한 k를 설정하기 위해 Elbow Method 적용. 추후 자동화를 고려하여 Elbow를 지정하는 기준을 마련하고 k를 설정하는 알고리즘 완성. 9개의 집단으로 클러스터링 적용.
    • 위 비지도학습을 통해여 클러스팅된 데이터를 토대로 sample 수를 확보한 뒤, 이를 통하여 시계열분석을 진행
      • 샘플에 따라서 가격 차가 심했기 때문에 min, median, max 값을 산출한 후 해당 3개 항목을 변수로 지정하여 VAR 시계열 모델을 적용
      • 결과는 앞선 ARIMA 모델보다 성능이 좋아졌지만, 아직까지 개선방향이 필요

강의 교재

데이터 과학자가 알고 있어 되는 모형을 적어보세요.

  • Boosting 모델
    • Stacking
  • 선형 회귀모형
    • 비선형 회귀모형
  • 뉴럴 네트워크 모형
    • CNN, RNN, R-CNN, RestNet, …
    • LSTM
  • 로지스틱 회귀 모형
    • Probit,
    • Multinomial
  • 의사결정나무 모형
    • C50 …
  • k-means clustering
    • Hierachical Clustering
  • Gaussian mixture model
  • 구조방정식 모형
  • 일반화선형 회귀 모형
  • 일반화 가산 모형
  • 랜덤포레스트
  • SVM
  • Naive Bayes
  • 자기상관모형
  • 다변량 분석 기법
    • MANOVA
    • PCA
    • FA
  • 앙상블 모델
    • 배깅
    • 부스팅
  • Bayesian Regression

질문: iris 헬로월드 예측모형을 제작했는데 부족한 점, 잘못된 점 등을 가감없이 적어보세요.

  • K-fold validation을 통해 예측 모델의 평균 값을 구해줘야 한다.
  • 간단한 데이터이기 때문에 RandomForest보다는 다른 모형을 써보는 것도 나쁘지 않을 거 같다.
  • 시각화를 통해 데이터가 skewed 되어 있는 지 확인 해봐야 한다. (정규분포화 시켜줘야함.)
  • Petal Length, Petal_width의 경우는 Bellshape 을 따르지 않아 가공이 필요해 보인다.
  • 여러 다른 모형을 사용해 보면서 무엇이 최적인 모형인지 찾는 과정이 필요하다.
  • RandomForest 모델에서도 tree의 갯수를 달리해본다던지 다른 모형과 비교가 필요해 보인다.
  • train-test split을 반복적으로 수행하면서 최적의 모델을 찾은 것이 좋아보인다.
  • 다른 모델을 fitting하여 모델 간 예측정확도를 비교해야한다. 현 모델은 설명력이 부족하다.
  • iris_df 의 petal length 분산값이 3.75정도(다른 feature은 1이하)로 높은데 정규화를 거쳐야 한다. (std,minmax,log 등)
  • 그렇게 복잡한 데이터가 아니기 때문에 더 간단한 모델로도 일정 수준의 성능을 보여줄 수 있을 것 같다. 해석을 위해 로지스틱 회귀분석을 사용해도 괜찮을 것 같다.
  • 변수들 간의 상관관계를 파악할 필요가 있다.
  • 변수들을 비교해 보고 scaling 등 실시
  • 변수들의 요약통계치를 검토하면서 좀 더 간단한 모델을 적용할 수 있을 것 같다.

질문: iris 헬로월드 예측모형을 제작했는데 잘한 점도 적어주세요.

  • train, test 나눠서 성능 평가할 때 test set을 사용해서 적절하게 성능평가가 된 거 같다.
  • 성능 평가할 때 여러 방식을 사용한 점이 좋았다. 성능 지표마다 값이 다르게 나오기 때문.
  • 모형의 확장 및 변조가 수월하다
  • 성능이 상당히 좋다.
  • workflow를 사용하여 전체적인 과정을 한 눈에 확인할 수 있다.
  • basemodel 설정을 잘하여 모델은 develop하기 좋다
Select a repo