전체 글

AI 데이터 분석 과정 데이터 수집 오픈데이터 API, 웹 크롤링, 파일 읽기, DB 액세스 데이터 종류 정형데이터(Structure data) 미리 정해진 형식으로 구조화된 데이터 예) 엑셀 시트, RDBMS 테이블 반정형데이터(Semi-structure data) 특정한 형식에 따라 저장된 데이터이지만 정형데이터와 달리 형식에 대한 설명을 함께 제공 구조를 해석하는 파싱(일종의 번역) 과정이 필요하며 파일 형태로 저장 예) XML, JSON 비정형데이터(Unstructured data) 정해진 구조가 없이 저장된 데이터 빅데이터의 대부분을 차지 예) 텍스트, 영상, 이미지 SNS 데이터 소스 데이터가 존재하는 곳 미디어(SNS등) ,클라우드 , 웹, 사물인터넷, 데이터베이스 , 오픈 데이터/ API ..

AI 데이터 분석 과정 데이터 수집 오픈 데이터 API, 웹 크롤링, 파일 읽기, DB 엑세스 데이터 전처리 : 넘파이**,** 판다스 활용 데이터 클린징**,** 데이터 연결과 병합**,** 데이터 재구조화 데이터 분석/응용 데이터 시각화(맷플롯립 활용), 기계학습 데이터 클린징 • 편향 없이 명확하고 깨끗한 데이터를 확보하는 작업 데이터 클린징 작업 결측 데이터 처리 결측 데이터 확인 결측 데이터 대체/제거 [평균 대체법] 결측 데이터 반영 확인 이상 데이터 처리 이상 데이터 확인 이상 데이터 대체/제거 이상 데이터 처리 확인 중복 데이터 처리 중복 데이터 확인 중복 데이터 처리(유일한 1개 키만 남기고 나머지 중복 제거) 결측 데이터 결측값(Missing data) 데이터 누락값 결측값이 있는 상태..

인공지능 vs 기계학습 vs 딥러닝 인공지능 (Artificial Intelligence) 인간처럼 학습하고 추론하는 프로그램 연구 기계학습 (Machine Learning) 인공지능의 한 분야 프로그래밍 없이 스스로 학습하는 프로그램 연구 딥러닝 (Deep Learning) 기계 학습의 한 분야 인공 신경망 등을 사용하여 빅데이터로부터 학습하는 프로그램 연구 전통 프로그래밍과 머신러닝 프로그래밍 전통 프로그래밍 머신러닝 프로그래밍 머신러닝은 정답에 가까운 예측을 내는 것 기계 학습 응용 분야 기계 학습의 분류 지도 학습이 결과가 제일 좋음 지도 학습(Supervised Learning) 컴퓨터는 "교사"에 의해 주어진 예제와 정답(혹은 레이블)을 제공받음 지도학습의 목표 입력을 출력에 매핑하는 일반적인..

Nginx Proxy Manager 무료 SSL인 Let's encrypt 인증서를 자동으로 생성/갱신 리버스 프록시 서버 GUI 관리 여러 개의 웹 서버를 관리 여러 개의 도메인 관리, 서브 도메인 관리 🔗 https://nginxproxymanager.com/ 다른 포트를 열지 않고 80, 443 포트 오픈만으로 소유한 도메인에 쉽게 매핑이 가능합니다. 예: 🔗 http://localhost:8080 ⇒ https://sub.yourdomain.com http://localhost:5555 ⇒ https://sub3.domain.com 80, 81, 443 포트 오픈해야됩니다.(방화벽) → 81번 포트는 오픈하지 않아도 되지만 80, 443번 포트는 letsencrypt 인증서 발급을 위해 꼭 오픈해..

해당 글은 ubuntu 22.04(AArch64) 기준입니다. ARM Docker 설치(스크립트로 자동설치) 🔗 curl -fsSL https://get.docker.com -o get-docker.sh # docker 스크립트 curl -fsSL https://get.docker.com -o get-docker.sh # 다운로드 받은 스크립트 실행 bash get-docker.sh ARM Docker-compose 설치 🔗 wget https://github.com/linuxserver/docker-docker-compose/releases/download/1.29.2-ls53/docker-compose-arm64 # Docker Compose 설치 apt install docker-compose cd..

JSP 스크립트릿으로 데이터베이스 연동 JSP 페이지와 데이터베이스의 직접적인 연동 JSP 페이지 내에서 직접 데이터베이스 관련 코드가 혼재됨 추후 페이지 변경 등의 작업이 있을 때 불편함 자바빈즈(Java Beans) 사용의 장점 내부적 데이터 처리와 공용화된 기능은 JSP 빈즈로 구현 프로그램 중복을 줄이고 원활한 유지보수 가능 한번 작성된 자바 빈즈를 여러 응용 프로그램에서 재사용 가능 JDBC 연동 JSP —> 자바빈즈로 빼서 연동 JSP : 화면 출력 자바빈즈 : DB를 처리를 하는 곳 서블릿 : 실제 쿼리문을 실행하는것 ConnectionPool을 사용한 데이터베이스 연결 ConnectionPool이란? 웹 프로그램에서 데이터베이스 연결, 질의 입력, 결과를 받아오는 부분에서 많은 시간 소요됨..

쿠키의 개요 쿠키(cookie) 클라이언트와 웹 서버 간의 상태를 지속적으로 유지하는 방법 쿠키는 세션과 달리 상태 정보를 웹 서버가 아닌 클라이언트에 저장 어떤 웹 사이트를 처음 방문한 사용자가 로그인 인증을 하고 나면 아이디와 비밀번호를 기록한 쿠키가 만들어지고 그 다음부터 사용자가 그 웹 사이트에 접속하면 별도의 절차를 거치지 않고 쉽게 접속할 수 있음 클라이언트의 일정 폴더에 정보를 저장하기 때문에 웹 서버의 부하를 줄일 수 있다는 것이 장점 반면에 웹 브라우저가 접속했던 웹 사이트에 관한 정보와 개인 정보가 기록되기 때문에 보안에 문제가 있다 세션과 쿠키의 차이 쿠키의 동작 과정 쿠키 생성 단계: 주로 웹 서버 측에서 생성. 생성된 쿠키는 응답 데이터에 함께 저장되어 웹 브라우저에 전송됨 쿠키 ..

JDBC의 개요 JDBC(Java DataBase Connectivity) 자바/JSP 프로그램 내에서 데이터베이스와 관련된 작업을 처리할 수 있도록 도와주는 자바 표준 인터페이스 관계형 데이터베이스 시스템에 접근하여 SQL 문을 실행하기 위한 자바 API 또는 자바 라이브러리 JDBC API를 사용하면 DBMS의 종류에 상관없이 데이터베이스 작업을 처리할 수 있음 JDBC 드라이버 란? 다양한 DBMS 제조사들은 본사에서 개발한 DBMS를 Sun사의 JAVA 프로그램과 연동할 수 있도록 기술을 지원하는 것을 의미 JDBC를 사용한 JSP와 데이터베이스의 연동 java.sql.* 패키지 import JDBC 드라이버 로딩 데이터베이스 접속을 위한 Connection 객체 생성 쿼리문을 실행하기 위한 St..