RTX3070에서 GPU를 사용하는 사용하기 위해 CUDA와 cuDNN 환경 세팅을 해보자. CUDA 설치하기 CUDA 설치를 위해 아래 링크로 이동하자. CUDA Toolkit Archive Previous releases of the CUDA Toolkit, GPU Computing SDK, documentation and developer drivers can be found using the links below. Please select the release you want from the list below, and be sure to check www.nvidia.com/drivers for more recent production developer.nvidia.com 아래와 같은 링크가 나..
대회 정보 Costa Rican Household Poverty Level Prediction | Kaggle www.kaggle.com 노트북 정보 A Complete Introduction and Walkthrough Explore and run machine learning code with Kaggle Notebooks | Using data from Costa Rican Household Poverty Level Prediction www.kaggle.com Introduction 대회 소개 많은 사회적 프로그램 또는 기관들은 빈곤한 사람들이 충분한 도움을 받고 있는지 확인하는 데 어려움이 있다. 그 이유는 빈곤한 사람들은 그들이 지원을 받을 자격이 있다는 걸 증명할 수 있는 것들이 없기 때문이..
EDA To Prediction(DieTanic) Explore and run machine learning code with Kaggle Notebooks | Using data from Titanic - Machine Learning from Disaster www.kaggle.com 캐글을 모르는 사람을 있어도 캐글 하면서 타이타닉을 모르는 사람은 없다는 말이 있을 정도로 유명한 타이타닉. 캐글에서 제공하는 튜토리얼 분석은 아니지만 DieTanic이라는 타이틀로 분석한 노트북을 필사해보고자 한다. 타이타닉호는 빙산과 충돌 후 승객과 승무원 2224명 중 1502명이 사망한 역사를 가지고 있다. 이 때문에 DieTanic이라는 이름을 붙였다고 한다. 이 노트북은 총 3개의 파트로 나눠져 있다. Par..
Going Deeper with Convolutions We propose a deep convolutional neural network architecture codenamed "Inception", which was responsible for setting the new state of the art for classification and detection in the ImageNet Large-Scale Visual Recognition Challenge 2014 (ILSVRC 2014). The arxiv.org INTRODUCTION 이번에 소개할 논문은 Going Deeper with Convolutions라는 논문으로 GoogLeNet이라는 이름으로 많이 알려져 있다. 참여 연구원 대부..
"A survey on Image Data Augmentation for Deep Learning" 2019년에 Journal of Big Data에 발행된 논문으로 트렌드를 알기 위한 최신 이슈를 정리하는 Survey Paper이기 때문에 가볍게 읽어볼 수 있는 내용이다. 논문 총 페이지 수가 48장으로 상당히 많으며 이미 Data Augmentation 기법은 많이 알려져 있기 때문에 직접 분석하기보다는 요약된 글을 보는 걸 추천한다. Data Augmentation (데이터 증강) Data Augmentation이란 아래 그림과 같이 하나의 데이터로 여러 개의 데이터를 만들어내는 등의 기법으로 데이터를 증강시키는 기법을 말한다. 물론 아래 기법 이외에도 수많은 방법들이 있다. Data Augment..
1. EDA란 무엇인가? 탐색적 데이터 분석, EDA(Exploratory Data Analysis)란, 수집한 데이터를 분석하기 전에 데이터의 특성을 관찰하고 이해하는 단계이다. 수집한 데이터를 통해 해결하고자 하는 문제가 있는데 데이터에 대해 잘 모르는 상태에서 무작정 분석할 수는 없다. 따라서 본격적인 데이터 분석에 들어가기에 앞서 거의 필수적으로 거쳐야 하는 과정이다. 다양한 EDA를 적용시켜보면서 나만의 EDA 방식을 연구해보는 것도 좋다. 2. EDA의 목적 여러 가지 시각화 도구 및 통계 기법을 사용하여 데이터를 한눈에 파악하고 이해할 수 있다. 어떤 변수가 예측력이 높고 낮은지 확인할 수 있다. 예측 모델을 구축하기 전에 적합한 통계 도구를 선택할 수 있다. 도출하고자 하는 결과의 기본이 ..
데이터 분석에 들어가기 전에 분석할 데이터의 종류에 따라 분석 방법이 달라질 수 있다. 아래 표를 보면서 분석하고자 하는 데이터를 잘 파악한 후 적합한 분석법을 고려해보자. 데이터의 수량에 따른 구분 질적변수 (Qualitative variable) = 범주형변수 (Categorical variable) - 데이터가 특정 카테고리(범주)에 포함되도록 하는 변수 - 명목변수와 순위변수로 나눌 수 있다. - ex) 성별(남, 여), 색깔(빨강, 주황, 노랑), 혈액형(A, B, O, AB), 학점(A, B, C, D, F), 성취도 평가(상, 중, 하) 양적변수 (Quantitative variable) - 변수의 값을 숫자로 나타낼 수 있는 변수 - 이산변수와 연속변수로 나눌 수 있다. - ex) 미세먼지..
머신 러닝과 딥 러닝을 왜 배워야 할까? 제4차 산업혁명 이후 인공지능이 유행하면서 머신 러닝(Machine Learning, ML)과 딥 러닝(Deep Learning, DL) 개념도 함께 떠오르고 있다. 생각보다 우리 주변에는 이미 인공지능이 많이 자리하고 있으며 수많은 기업에서도 관심을 보이고 있다. 스마트 폰은 물론이고 집 안에서는 인공지능 스피커, 스마트 TV, 스마트 냉장고 등등.. 집 밖에서는 스마트 공장, 자율 주행 자동차, 스마트 배달 로봇, 스마트 엘리베이터 등등 실제로 수많은 인공지능 적용 사례들이 있으며 일상생활에 상당히 많은 영향을 끼치고 있다. 그만큼 중요하기도 하며 이제는 IT 분야뿐만이 아니라 해양학, 경제학, 언어학 등등 다양한 분야와도 융합적으로 적용되고 있기 때문에 꼭 ..
1. 아나콘다(Anaconda)란? Python3 언어를 활용하여 데이터를 분석하거나 학습하거나 opencv를 활용하는 작업을 해본 사람들이라면 아나콘다를 한 번쯤은 들어봤을 것이다. 아나콘다(Anaconda)란, 수많은 데이터들을 처리하고 분석, 예측을 하기 위한 파이썬과 R언어의 여러 가지 오픈소스들을 포함하고 있는 개발 플랫폼이다. 기본적으로 데이터 분석, 예측을 위한 수많은 라이브러리와 기능들을 포함하고 있으며 가상환경, 패키지 관리를 용이하게 할 수 있다는 장점이 있다. 2. 아나콘다, 왜 사용할까? 데이터 분석, 인공지능을 공부해본 사람들은 알겠지만 라이브러리별로 버전의 의존성이 굉장히 민감하다. 따라서 가상 환경을 통해 개발 환경 및 패키지를 독단적으로 분리하여 효율적으로 관리하기 위해 많이..
아래 글에서 이어지는 내용이다. foreverhappiness.tistory.com/35 [자연어 처리] 불용어(Stop Words) 처리하기 - Python3, Windows 10 아래 글에서 이어지는 내용이다. foreverhappiness.tistory.com/30 [자연어 처리] KoNLPy를 사용하여 형태소 분석 및 DTM 만들기 - Python3, Windows 10 (feat. Okt, Pandas, Scikit-Le 아래 글에서 이어지는 내용.. foreverhappiness.tistory.com 이번에는 Python3의 NetworkX 모듈을 사용하여 동시 출현 분석을 해보려고 한다. 어떤 주제의 신문 기사에 A라는 단어와 B라는 단어가 동시에 들어가 있을 때 두 단어는 연관성이 있다고 ..