1. pip이란 무엇인가? Python 언어를 설치하고 나면 pip 또는 pip3라는 명령어를 사용할 경우가 많다. (물론 파이썬 언어를 처음 배운다면 사용할 일이 거의 없을 것이다.) pip 명령어는 파이썬으로 작성된 패키지 라이브러리를 설치하고 관리할 때 사용한다. 여기서 패키지 라이브러리란 무엇일까? 파이썬은 파이썬 언어에서 기본적으로 제공하는 많은 기능들이 있지만 이외에도 pip 명령어로 설치 가능한 여러 가지 패키지 라이브러리가 있는데 주로 데이터 분석 및 인공지능 분야에서 이런 추가적인 모듈을 많이 사용한다. (ex. numpy, pandas, tensorflow, matplotlib 등등..) 이런 패키지들은 PyPI (Python Package Index)라고 하는 패키지 저장소에서 가져오..
아래 글에서 이어지는 내용이다. foreverhappiness.tistory.com/27 BeautifulSoup를 활용한 웹 크롤링(Web Crawling) - Python3, Windows 10 (1) 아마 웹 크롤링이라는 용어는 Data Science 분야가 활성화되면서 많이 떠오르고 있을 것이다. 크롤링 (Crawling)이란, 스크래핑 (Scraping)이라고도 하는데, 웹 페이지의 특정 부분을 가져 foreverhappiness.tistory.com 정규 표현식을 사용하여 문자 필터링을 할 때는 re 모듈을 사용한다. 별도의 설치는 필요 없으며 filtering 함수를 다음과 같이 만든다. # 문자열에서 원하는 문자만 필터링하는 함수이다. def filtering(string: str) -> ..
아마 웹 크롤링이라는 용어는 Data Science 분야가 활성화되면서 많이 떠오르고 있을 것이다. 크롤링 (Crawling)이란, 스크래핑 (Scraping)이라고도 하는데, 웹 페이지의 특정 부분을 가져와서(긁어와서) 필요한 데이터를 추출해내는 작업을 말한다. 빅 데이터 분야에서는 이를 유용하게 활용하고 있지만 약 10년 전 그리고 그 이전에는 크롤링 행위가 웹 해킹에 사용되기도 했다. 물론 지금은 웹 보안도 많이 발전해서 웬만한 크롤링 작업은 의미가 없다. Python 언어는 데이터 분석 분야에서 웹 크롤링을 하는데 선두 주자로 볼 수 있다. 꼭 프로그래머나 개발자가 아니더라도 일반 학생, 일반인들도 쉽게 사용할 수 있도록 제작된 라이브러리가 제공되고 있다. 그것이 바로 BeautifulSoup이며..
최근 들어 파이썬의 비중이 많이 높아지고 있다. 파이썬으로 게임을 제작하기도 하고, 인공지능, 빅데이터 분석에도 많은 라이브러리들이 제공되기도 한다. 삼성 SW 역량 평가에 Python 언어도 포함시킨 걸 보면 요즘엔 알고리즘에도 사용되는 모양이다. Python3 설치하기 Python3을 설치하려면 공식 홈페이지에 들어가면 쉽게 확인할 수 있다. 아래 링크에 접속해보자. https://www.python.org/ Welcome to Python.org The official home of the Python Programming Language www.python.org 그럼 위와 같은 화면이 보일 것이다. 여기서 Downloads에 마우스를 가져다 놓으면 가장 최신 버전의 Python을 다운로드할 수 ..
데이터 마이닝, 텍스트 마이닝, 웹 크롤링, 데이터 분석, 빅 데이터 등등.. 최근 데이터 과학 기술(Data Engineering)을 다루는 분들이라면 데이터 분석 및 인공지능 학습에 주로 R언어 및 Python3 언어를 많이 사용할 것이다. R언어를 사용해보지는 않았지만 데이터 분석에는 R언어 역시 강력하다는 말도 많다. 앞으로 진행될 포스팅에서는 Python3을 사용할 것이며 운영체제는 Windows10 기반으로 작성할 예정이다. 시작하기 앞서 Python3 설치 시 버전 관련 얘기를 하고자 한다. 만약 정말 한 특정 분야만을 다루지 않는 이상 Data를 다루는 작업을 할 때에는 TensorFlow를 많이 사용한다. TensorFlow를 직접적으로 다루지 않더라도 사용하는 라이브러리에 TensorF..