[KT 에이블스쿨] 4~8주차 후기 + 2,3차 미니프로젝트, 강서구 빅데이터 공모전
2023.02.24 ~ 2023.3.24
마지막으로 작성한 후기 이후 한 달이란 시간이 정말 빨리 지나갔다.
매주 후기를 써야겠다는 다짐이 무색하게 머신러닝과 딥러닝, 두 번의 미니프로젝트
코딩 마스터즈의 종료 공모전 준비까지 많은 일이 있었고, 조금은 지친 한 달이었다.
벌써 두 달이 지났고, 내일이 9주 차의 시작인 지금 CNN, NLP에 굉장히 애를 먹고 있고
앞으로 딥러닝이 마무리 되면 두 번의 미프와 더불어 빅분기 필기시험, aice자격시험
4월 광진구 공모전까지 준비해야 하기에 다음 후기도 한 달이 될지도 모르겠다...
후기보단 코드 정리가 우선이니까....
4주 차
데이터 수집(2.24~2.28)
말 그대로 데이터를 수집하는 방법을 배우는 기간이었다. 그동안 csv파일 혹은 github경로를 통해서만 데이터를 불러오고 다뤘다면 오픈 api를 활용하는 방법, 크롤링을 통해 데이터를 불러오는 방법을 배우는 시간이었다. 특히 크롤링은 개발을 배우는 것과 같은 색다른 흥미를 불러왔으며 강사님의 강의력은 물론 모든 강사님들이 좋았지만 개인적으로 여태 살면서 들었던 모든 강사님들 중 최고였다. 뇌섹남 그 자체. 조금은 어려웠던 크롤링이지만 코드정리를 해놓았고
requests 이용법, selenium 이용법, json이 뭔지, 파싱이 무엇인지
동적페이지 정적페이지에서 사용하는 크롤링 방법이 무엇인지를 알게 되었고
네이버 증권 사이트, 직방 사이트 등에서 실습을 해보며 익혀보는 시간을 가졌다.
또한 파이썬 언어에 대해 철학과 스타일 가이드 등 파이썬 지식을 정리해주시기도 했기에
언어에 대한 이해도가 조금은 올라간 기분이었다.
강사님.. 다른 과목도 더 해주세요..
5~7주 차
(3.02~3.17)
2차 미니프로젝트 (3.02~3.03)
하나의 챕터가 끝났으니 미프하러 가야지
이번 미프는 저번과는 다르게 마포교육장에서 대면으로 진행했다.
시작시간은 동일하기에 8시도 안 돼서 출발하고
출퇴근 시간과 겹치기에 진심으로 버스랑 지하철에서 죽고 싶었다.
맨날 타던 버스가 오전에 그렇게 사람이 많은 줄은...
버스 기사님 소리 지르는 거 첨 봄..ㅎ한번 더 느끼는 경기도민의 비애.
교육장에 도착해서 팀원들과 인사를 나누고 코치님의 데이터 설명과 주제설명
최종제출물이 무엇인지 듣고 프로젝트를 진행했다.
서울의 버스, 지하철, 영업점 등의 데이터들을 활용해서
어느 자치구에 버스정류장이 추가로 필요하고 그것에 대한 근거를 찾는 것이었는데
가설 수립과 EDA의 연속이었다. 데이터를 이해하고 어떤 데이터를 활용할 것인지
어떠한 가설을 세우고 분석할 것인지. 사실 분석하는 것 자체는 크게 어렵지 않다.
전처리하고 단별량 분석과 이변량 분석을 활용하는 것이기에 하지만 가설 세우는데
꽤 오래 걸렸다. 그럴듯한 상관계수나 통계량이 나와도 p-v가 답이 없다던가
뻔한 주제일수록, 인사이트를 도출해 내는 것이 어렵다는 걸 느꼈다.
2차 미프의 목적은 데이터 분석을 통한 인사이트 도출인데
그런 부분에서 나에겐 성공한 프로젝트라고 할 수 없을 것 같다.
머신러닝 (3.06~3.14)
갓장래 강사님과 함께하는 머신러닝 시간이 왔다.
머신러닝이란 분야가 2주 안 되는 시간에 완벽하게 배울 수 있다면
그건 무조건 거짓말일 것이다. 하지만 9시간 남짓되는 시간을 오롯이 머신러닝에 대해 배웠고
최소한의 머신러닝 모델링 코드를 작성하며, 코드를 이해하는 수준까진 가능하다고 생각한다.
지도학습에 대해 중점적으로 다뤘고, 회귀와 분류 모델작성법, 모델 성능평가방법, 알고리즘의 원리
더 나아가 효율적인 성능평가, 하이퍼파라미터 튜닝과 앙상블, 클래스 불균형
목차정도만 나열해도 단기간에 체계적으로 꽤 많은 것을 배운 걸 알 수 있다.
내가 지금 코드 하나하나를 다 외우고 있다면 말도 안 되지만
손이 외우게끔 정말 많은 실습을 했고 코드를 이해할 수는 있다.
많이 부족한 것이 사실이고, 모델링 전에 전처리 과정에 대해
개인적으로 공부도 해야 하고(knn inputer와 같은) Auto ML과 같은 알고리즘도 공부해야 한다.
무적의 Chat GPT 날 도와줘..!
그래도 머신러닝과 각 알고리즘, 성능평가 특히 Grid Search, Random Search와 같은
하이퍼파라미터 튜닝 등을 체계적으로 배워서 이해가 됐다는 것은 큰 수확이라 할 수 있다.
성능비교를 통해 성능이 좋은 알고리즘을 선택하고 하이퍼파라미터 튜닝을 통해
모델을 완성하고 test set에 대해 예측하고 평가한다. 이러한 과정을 잊지 않기.
3차 미니프로젝트 (3.15~3.17)
어김없이 마포로...
난 처음에 굉장히 대면수업을 원했던 사람이다.
집에 계속 있으면 좀 우울해질 거 같았고 사람 만나는 것을 워낙 좋아하기에
그렇지만 미프 대면 몇 번 가보니 알겠더라. 더블 모니터는 너무나 필요하고
출퇴근 시간대에 대중교통은 사람을 진 빠지게 만든다는 것을
비대면 최고
이번 미프의 주제는 'Fine Watch에 헬스케어 기능을 추가할 수 있도록,
스마트워치에서 수집하는 데이터를 분석해 행동을 분류할 수 있는 AI 모델과 중요 Future list를 전달'이었다.
실무처럼 접근하기 위해 메일도 보내고 Fine Watch라는 가상의 회사도 만들고 ㅋㅋ
5881개의 행과 562개의 컬럼상당히 많은 컬럼과 컬럼명을 보고 흠 쉽지 않겠다 생각했고
데이터 이해를 하는 것에 꽤 시간을 쏟았다.
결론적으론 가장 성능이 좋은 알고리즘을 통해 행동분류를 예측하고
그에 대한 정확도가 얼마나 되는지 최종적으로 real data를 통해 분류문제를 풀면 됐다.
데이터 상태도 좋고(결측치 없음!) 정규화도 되어있는 데이터라
사실 코치님의 가이드에 따라 코드를 작성하면 금방 할 수 있었다.
무적의 코드 복붙을 활용하여 코드작성은 하지만
내가 갖는 의문은 하나였다. 코치님의 가이드가 없었다면 내가 이 분류문제를 이렇게 해결가능했을까?
주석으로 모델링 순서를 잡아주셨기에 내가 과연 그 주석 없이 변수들을 그룹화하고 정렬하는 전처리를 수행했을까?
NO다. 첫 번째 이유로는 데이터에 대한 정확한 이해부족이다. 변수의 중요도를 선정하는 과정에서 난 막혔을 것이다.
두 번째로는 변수의 재구조화에서 실패했을 것이다.
빅프로젝트에 돌입하면 이러한 일련의 과정들을 순전히 내가 떠올리고 모델링 시켜야 한다.
그러기 위해 많은 경험이 필요한 것을 느낀다. 실습을 많이 해봤지만 시키는 대로 코드를 작성했을 뿐
파이프라인을 짠 것이 아니다. 프로젝트 과제는 쉽게 해결했지만 그것과 별개로 나는 계속해서 부족함을 느낀다.
딥러닝 (3.20~3.23)
기본적인 딥러닝 구조를 배웠다. 시각지능, 언어지능 딥러닝이 남았기 때문에
딥러닝 교육에 대한 후기는 다음 후기에서 작성하려고 한다.
머신러닝과 다르게 딥러닝에선 꽤나 애를 먹고 있기에 특히 CNN 원리를 배우면서 멘탈이 많이 나갔다.
아직 복습도 제대로 안 됐고 3주에 걸친 딥러닝 교육과 4차 미프가 끝나면 다시 작성해야겠다.
강서구 빅데이터 공모전(3.7 ~ 3.24)
에이블 페이지엔 스터디그룹 모집이라는 배너가 있다. 교육생끼리 스터디를 하거나 공모전을 준비하기 위해 모집하는
베너인데 강서구 공모전 팀원을 모집하는 글이 올라와서 지원했다. 공모전을 해본 적도 없고 필요했기에
부랴부랴 지원을 하고 운이 좋게 같이 하게 되어 약 2-3주간 함께 준비를 했다. 회의를 하고 주제를 정하고
노션을 활용하여 데이터를 모으고 방향성을 생각하며 분석과 보고서 작성까지...
공모전이 처음이라 많이 서툴렀지만 경험을 해보신 팀원분들 덕에 많이 배웠다.
강서구와 관련된 데이터도 정말 부족하고 창의성이 부각된 주제를 선정하기도 힘들었지만 우리가 제시한 주제에 대해
논리를 맞추려 노력했다. 우리가 이런 분석을 통해 ~한 문제가 있으니 너희들의 예산과 정책에 맞춰 ~을 제시해 주겠다.
이런 흐름을 지키려 노력했고 짧은 시간이라 입상을 노리기엔 부족하다고 볼 수 있지만 공모전이란 경험을 쌓았다는 것에 나에겐 정말 힘들었던 2주였지만 좋은 경험이었다. 4월에 있는 광진구 공모전은 좀 더 규모가 크고 기간도 넉넉하기에
이번 경험을 바탕으로 더 좋은 결과물을 낼 수 있으면 좋겠다는 생각을 한다.
교육내용도 어렵고 8일에 있을 빅데이터 분석기사 필기시험 공모전과 2주간의 미프까지 예정된 일정이 꽤나 존재한다.
날도 풀렸고 꽃도 피는데 체력도 떨어지고 직전 2주간은 운동도 못 가고 집에 매일 이렇게 있는 게
조금씩 지치기 시작했다. 유독 피곤했던 목요일에는 금요일이 아닌 것이 원망스러웠고
모니터 받침대와 키보드, 키보드 받침대를 학교 기숙사로 시켜서 가지러 가야 할 땐 내 멍청함에 화가 났다.ㅋㅋㅋ
한창 상반기 공채시즌이고 난 준비 후 하반기에 할 생각이기에 모집공고들을 보며
어떻게 준비를 해놔야 할까, 난 아무것도 모르는데 할 수 있을까란 생각들도 들고
내가 그동안 너~~ 무 놀고 준비를 안 해놨기에 당연히 대가를 치러야 하지만
좋은 결과가 있을까란 불확실함과 공부를 할수록 느끼는 부족함
맞게 하고 있는 것인지에 대한 불신과 기댈 사람이 없다는 외로움은
스스로를 자꾸 공허하게 만든다.
하지만 이런 푸념은 니가 최선을 다했고 치열했냐의 물음에
떳떳할 수 있을 때 할 수 있으니까 아직 내가 느끼기엔 그 정도는 아니다.
그저 대학시절 생활들이 그립고 그 시간들에 익숙해져 있기에
유독 외로움을 타는 것이고 적응해 가는 과정일 뿐이라고 생각하는 중이다.
찡찡거려 봤자 해결되는 건 없으니까, 오롯이 내가 견뎌야 하고 이건 누구나 겪는 시간이니까
치열하게 사는 사람은 세상에 널렸고 그거에 비해 난 노는 수준이다.
그러니까 계획 잘 짜서 시간을 보내자.
노션도 활용잘해보기.
사실 다 모르겠고 국취제랑 훈련장려금 들어왔는데
한강 피크닉 가고 싶다.😢
끝.