판다스(Pandas) 데이터 분석을 위해 만들어진 파이썬 패키지(라이브러리) 엑셀처럼 행과 열로 이루어진 표 형태의 데이터를 처리 대부분의 데이터는 시계열(series)이나 표(table)의 형태 판다스 패키지 시리즈(Series) 클래스, 데이터프레임(DataFrame) 클래스 제공 cf) 넘파이 2차원 배열 행렬 matrix 형태의 데이터를 지원 데이터의 속성을 표시하는 행이나 열의 레이블이 없음 판다스 특징 다양한 형태의 데이터에 적합 이종 자료형의 열을 가지는 표 데이터 시계열 데이터 레이블을 가진 행렬 데이터 관측 통계 데이터 핵심 구조 시리즈(Series) 1차원 구조를 가지는 하나의 열 데이터 프레임(DataFrame) 복수의 열을 가지는 2차원 데이터 각각의 열을 시리즈, 시리즈가 모여 데..
Python
AI 데이터 분석 과정 데이터 수집 오픈데이터 API, 웹 크롤링, 파일 읽기, DB 액세스 데이터 종류 정형데이터(Structure data) 미리 정해진 형식으로 구조화된 데이터 예) 엑셀 시트, RDBMS 테이블 반정형데이터(Semi-structure data) 특정한 형식에 따라 저장된 데이터이지만 정형데이터와 달리 형식에 대한 설명을 함께 제공 구조를 해석하는 파싱(일종의 번역) 과정이 필요하며 파일 형태로 저장 예) XML, JSON 비정형데이터(Unstructured data) 정해진 구조가 없이 저장된 데이터 빅데이터의 대부분을 차지 예) 텍스트, 영상, 이미지 SNS 데이터 소스 데이터가 존재하는 곳 미디어(SNS등) ,클라우드 , 웹, 사물인터넷, 데이터베이스 , 오픈 데이터/ API ..
AI 데이터 분석 과정 데이터 수집 오픈 데이터 API, 웹 크롤링, 파일 읽기, DB 엑세스 데이터 전처리 : 넘파이**,** 판다스 활용 데이터 클린징**,** 데이터 연결과 병합**,** 데이터 재구조화 데이터 분석/응용 데이터 시각화(맷플롯립 활용), 기계학습 데이터 클린징 • 편향 없이 명확하고 깨끗한 데이터를 확보하는 작업 데이터 클린징 작업 결측 데이터 처리 결측 데이터 확인 결측 데이터 대체/제거 [평균 대체법] 결측 데이터 반영 확인 이상 데이터 처리 이상 데이터 확인 이상 데이터 대체/제거 이상 데이터 처리 확인 중복 데이터 처리 중복 데이터 확인 중복 데이터 처리(유일한 1개 키만 남기고 나머지 중복 제거) 결측 데이터 결측값(Missing data) 데이터 누락값 결측값이 있는 상태..
인공지능 vs 기계학습 vs 딥러닝 인공지능 (Artificial Intelligence) 인간처럼 학습하고 추론하는 프로그램 연구 기계학습 (Machine Learning) 인공지능의 한 분야 프로그래밍 없이 스스로 학습하는 프로그램 연구 딥러닝 (Deep Learning) 기계 학습의 한 분야 인공 신경망 등을 사용하여 빅데이터로부터 학습하는 프로그램 연구 전통 프로그래밍과 머신러닝 프로그래밍 전통 프로그래밍 머신러닝 프로그래밍 머신러닝은 정답에 가까운 예측을 내는 것 기계 학습 응용 분야 기계 학습의 분류 지도 학습이 결과가 제일 좋음 지도 학습(Supervised Learning) 컴퓨터는 "교사"에 의해 주어진 예제와 정답(혹은 레이블)을 제공받음 지도학습의 목표 입력을 출력에 매핑하는 일반적인..
파이썬에서 제공하는 자료구조 리스트, 튜플, 딕셔러리, 세트 리스트 연속적으로 할당된 공간에 여러 개의 데이터를 저장하는 자료형 리스트 이름과 인덱스를 통해 각 요소(원소, 항목)에 접근 → lst[i] 참조형 배열 데이터의 주소 값을 저장 실제 데이터 접근 위해 이중 참조 필요 장점) 다양한 타입의 데이터 저장 가능 단점) 데이터 접근 속도가 느리다 단, 넘파이 배열을 사용하면 여러 데이터에 빠른 접근이 가능하다 리스트 생성 빈 리스트 생성 → lst = [] 항목 추가 → lst.append(추가할 항목) 초기 값을 가지는 리스트 생성 lst = [1,2,3,4,5] string = [’apple’,’banana’,’grape’] list() 함수와 range() 함수를 이용해 생성 lst = lis..
함수 def 함수명(인자): # 인자는 없어도 되고, 여러 개도 가능 명령어1 명령어2 return 반환값 # 반환값이 없을 경우 생략 가능 함수 호출 형식 함수명(전달값) 함수 호출 시 전달값이 함수 정의의 인자로 전달됨 제어의 흐름이 함수 정의로 이동 함수 반환 시 제어의 흐름이 함수 호출로 복귀 함수 호출의 결과가 반환값으로 바뀜 소수 출력 함수 사용예시 def isPrime(n): if n == 1: return False # 1은 소수가 아님 for i in range(2, n): if n % i == 0: return False # 2~n-1 사이에 약수가 있으면 소수가 아니다. return True cnt = 0 for i in range(1, 1000): if isPrime(i) == Tr..
