파이썬 하는 파이리

보호되어 있는 글입니다.

데이터 준비는 모두 끝났다는 가정하에. ML정리본에는 GridSearch만 있음. 실무에서 Random search를 많이 쓴다고 하니 정리. # Random Search model_rf = RandomForestClassifier(max_depth=5, random_state=1) # 파라미터 지정 param = { 'n_estimators': sp_randint(10, 1000), 'max_depth': [None] + list(sp_randint(1, 100).rvs(99)), 'max_features': sp_randint(1, 50), 'min_samples_split': sp_randint(2, 20), 'min_samples_leaf': sp_randint(1, 20), 'bootstrap'..

Auto ML copysheet / 개념은 추후 정리해서 업로드 예정 ! pip install tpot import pandas as pd from tpot import TPOTClassifier from sklearn.model_selection import train_test_split # load and prepare the data ## 학습데이터와 검증데이터는 모두 준비가 되었다고 가정 # train and test the model using TPOT tpot = TPOTClassifier(generations=5, population_size=20, verbosity=2) tpot.fit(s_x_train, s_y_train) score = tpot.score(x_test, y_test) p..

ML활용을 위한 copysheet #분류문제 import pandas as pd import numpy as np import matplotlib.pyplot as plt import seaborn as sns import warnings warnings.filterwarnings(action='ignore') %config InlineBackend.figure_format='retina' from sklearn.preprocessing import MinMaxScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split from sklearn.model_selection import..

IT인프라의 정의 네트워크, 서버,데이터베이스,정보보안,시스템 소프트웨어 및 기반시설 등 IT서비스의 기반이 되는 시스템 및 구조 DX컨설턴트가 되기 위해 IT인프라를 알아야 하는 이유가 무엇일까? DX로의 전환을 원하는 고객에게 시스템을 제안하는 과정에서 컨설턴트는 제안사가 갖고 있는 서비스와 솔루션을 통해 인프라를 구성하고 설득시키는 힘을 가져야하기 때문이다. 기업 자체적으로 보유하여 운영하는 On-Premise에서 클라우드로 전환하는 추세에 인프라를 구성하는 능력은 더욱 필요로 한다 IT인프라의 구성요소 하드웨어 : 눈에 보이는 물리적 장비 ex) PC,모니터,하드디스크,CPU,메모리,서버,스토리지,라우터,스위치 등 소프트웨어 : 눈에 보이지 않는 프로그램 ex) OS(윈도우,리눅스 등), Data..

softmax활성화 함수를 사용하면 다중 분류된 값에 대한 각각의 확률로 표현되어 나오기 때문에(확률분포) argmax를 사용하여 가장 확률값이 큰 범주를 선택하도록 함. 범주 0,1.2로 예측한 확률이 각각 0.2, 0.3, 0.5 이면 2로 예측한 것으로 출력. # np.argmax()에 대한 내용 요약 a = np.array([[1,2,3],[3,1,2]]) print(a) print('axis=0') print(np.argmax(a, axis=0)) # axis=0 : 열별로 둘 중에 큰 숫자의 행번호 인덱스 반환 print('-' * 10) print('axis=1') print(np.argmax(a, axis=1))# axis=1 : 행별로 셋 중에 큰 숫자의 열번호 인덱스 반환 print('..

CNN(Convolutional Neural Network)은 딥러닝의 한 종류로서, 주로 이미지 분류, 객체 인식, 얼굴 인식 등의 컴퓨터 비전 분야에서 많이 사용. CNN은 이미지의 특징을 추출하기 위한 필터와 그 필터로 추출한 특징을 바탕으로 분류하는 분류기로 구성 CNN의 원리는 크게 두 가지 첫째, Convolutional Layer에서 필터(filter)를 이용해 이미지의 특징을 추출하고 둘째, Fully Connected Layer에서 추출된 특징을 바탕으로 이미지를 분류합니다. Convolutional Layer에서는 필터를 사용하여 이미지의 특징을 추출 필터는 이미지를 훑어가며, 특정한 패턴을 찾아냄 예를 들어, 개를 분류하기 위한 필터는 강아지의 귀, 눈, 코 등의 특징을 찾아내는 역할..

1. CRISP-DM 방법론 1.비즈니스 이해 : 비즈니스 문제정의 , 데이터 분석 방향, 목표설정, 초기 가설 수립 *도메인을 이해하고 가설을 수립하는 단계 1-1.가설의 종류 귀무가설 : 기존 연구결과로 내려오는 정설 대립가설 : 새로운 연구 가설 => 귀무가설을 기각하고 대립가설을 채택하는것이 분석의 목표 x >> y (정보) 1-2. 정보의 종류 범주형(질적 데이터) -명목척도 : 성별, 주소지, 흡연여부 등-명목형데이터 -순서척도 : 연령대, 고객등급 -순서형데이터 수치형(양적 데이터) -구간척도 : 온도,몸무게 (곱셈 적용x)> 40도의 온도가 20도의 두배만큼 뜨거운게 아님 -연속형데이터 -비율척도 : 통화량, 나이, 소득수준, 통화량 (절대영점 존재)-이산형데이터 2. 데이터 이해 : 하나..

# 파이썬 # 컴퓨터의 CPU, RAM, SSD 자원을 활용하는 방법 # 1. 변수선언 : RAM 사용하는 방법 # 2. 데이터타입 : RAM 효율적으로 사용하는 방법 # 3. 연산자 : CPU 사용하는 방법 # 4. 입출력 : SSD 사용하는 방법 : RAM > SSD, SSD > RAM : pickle # 5. 조건문, 반복문 : 코드를 효율적으로 사용하는 방법 : if, elif, else, for, while, break, continue # 6. 함수 : 반복되는 코드를 묶어서 사용하는 방법 : def, return, argument, parameter ... # - 사용법 : 함수선언(코드작성) > 함수호출(코드실행) # 7. 클래스 : 변수, 함수를 묶어서 코드 작성 및 사용하는 방법 : 객..

1.결측치(NaN) 정확한 데이터 준비를 위해 누락된 데이터나 중복 데이터를 제거하는 전처리 작업이 필요 결측치는 제거 혹은 대체를 해줘야한다. 무조건적인 제거는 X #데이터 불러오기 air = pd.read_csv('https://raw.githubusercontent.com/Jangrae/csv/master/airquality.csv') air.head() [데이터 설명] Ozone: 오존 농도 Solar.R: 태양복사량 Wind: 풍속 Temp: 기온 Month: 월 Day: 일 1-1. 결측치 찾기 isnull() :결측치면 True, 유효값은 False를 반환 notnull() :결측치면 False, 유효한 값이면 True를 반환합니다. isnull() 대신 isna(), notnull() 대신..