분류 전체보기
spaCy 패키지와 코드를 통한 NLP 기초 다지기 Clear the Fundamentals of NLP with Code.
2019. 12. 14.본 포스팅에서는 최근 각광을 받고 있는 spaCy 패키지를 사용하여 NLP 의 기본내용을 코드 실행을 통해 살펴본다. spaCy 는 Explosion AI 의 Matt Honnibal 에 의해 개발된 것으로 “Industrial strength NLP in Python” 을 모토로 삼고 있다. 생산환경에서 주로 사용되며, 사용자 친화성과 객체 기반 접근방식을 통해 문자열이나 배열 대신 객체를 결과값으로 반환한다. NLTK 보다 나은 점 Cython 로 작성되어 엄청 빠른 속도를 선보인다 의존 구문 분석 커스토마이징이 손쉬운 대규모의 워드 벡터 접근 가능 통합된 워드 벡터 GPU 가속 지원 사용자 정의 딥러닝 네트워크 지원 하지만, NTNL 에 비해 매우 느린 문장 토큰화 속도 Prerequisites 다..
크롬 확장프로그램 Web Scraper 을 이용한 웹사이트 스크랩
2019. 12. 3.여기서는 Web Scraper 이라는 프로그램을 이용하여 사이트를 스크랩하는 방법에 대해 알아본다. Installation 크롬 사용자의 경우 chrome 웹스토어에서 확장프로그램 형식으로 Chrome에 추가 버튼만 눌러서 간단히 설치할 수 있다. Scraping a site 사이트맵 생성 Create Sitemap 먼저 스크랩하고자하는 사이트를 연다. 그리고 가장 먼저 해야하는 것은 시작 url 을 특정하는 사이트맵을 만드는 것이다. 물론 여러개의 시작 url 을 지정할 수도 있다. 예를 들어 다수의 검색 결과를 스크랩하는 경우가 이에 해당한다. 범위를 활용한 멀티플 url 지정 Specify multiple urls with ranges 페이지 URL 에서 넘버링을 하고 있는 경우에는 링크 선택자보다..
AICPA 2019 released question 공개 (140문항)
2019. 11. 28.Available now for a limited time – 140 free CPA Exam multiple-choice questions (MCQs) AICPA 는 최근 140 개의 기출문제를 공개했습니다. 최근 공개된 문제들은 전부 기존에 출제된 실제 문제로, AICPA 가 실제 시험에서 다양한 토픽들을 어떻게 테스트하는지 보여주고 있습니다. 물론 해당 문제에 대한 내용은 향후 시험 변경에 따라 부정확한 것이 될 수도 있는 점 유념하고 살펴보세요. 과목명 문항수 FAR 50 REG 25 BEC 25 AUD 40 이러한 기출문제가 왜 중요한 이유는 앞서도 언급했듯이, AICPA가 특정 토픽을 어떻게 테스트하는지를 알 수 있다는 것입니다. 시험일에 무엇을 해야하는지 안다는 것은 성공적인 시험을 위해 아..
우분투 18.04 에 아파치 스파크 설치하기 Install Apache Spark on Ubuntu 19.04/18.04 & Debian 10/9/8
2019. 11. 4.Ubuntu 19.04/18.04 그리고 Debian 9/8/10 에 Apache Spark 를 설치하는 방법에 대해 알아봅니다. 설치에 앞서 시스템 패키지를 업데이트합니다. (AnnaM) founder@hilbert:~$ sudo apt -y upgrade Reading package lists... Done Building dependency tree Reading state information... Done Calculating upgrade... Done (AnnaM) founder@hilbert:~$ sudo apt -y upgrade Step 1: Install Java Apache Spark 는 자바를 필요로 합니다. 어떤 버전의 자바가 설치되어 있는지 java -version 으로 확인해..
Plotly를 이용한 데이터 시각화 Data visualization with Plotly
2019. 10. 26.Data visualization는 데이터로부터 정보와 가치를 추출해내는 데 중요한 역할을 한다. 파이썬은 이러한 목적에 부합하는 다양한 라이브러리를 제공하고 있는데, 여기서는 Plotly 에 대해 살펴본다. Plotly 는 온라인 데이터 분석과 시각화 툴을 개발하는 회사로, pip install plotly 를 통해 간단하게 설치할 수 있다. 그리고 파이썬 노트북에서 임포트해오면 된다. 아래는 아나콘다 환경에서 설치하는 예이다. (AnnaM) founder@hilbert:~$ conda install -c plotly plotly Collecting package metadata: done Solving environment: done ## Package Plan ## environment locati..
tqdm 을 사용하여 파이썬/판다 Progress Bars 만들기
2019. 10. 24.Introducing tqdm tqdm 는 즉석에서 progress bar 를 생성해주고, 함수나 반복문의 TTC (Time To Completion) 를 예측하는 파이썬 패키지를 말한다. from tqdm import tqdm_notebook list = [] for x in tqdm_notebook(range(10000)): list.append(x**x) pip 를 이용해서 다음과 같이 간단히 설치가 가능하다. (AnnaM) founder@hilbert:~$ pip install tqdm Collecting tqdm Downloading https://files.pythonhosted.org/packages/e1/c1/bc1dba38b48f4ae3c4428aea669c5e27bd5a7642a74c8..
고급 주피터 노트북 사용팁 Advanced Jupyter Notebooks Tutorial (Part 1)
2019. 10. 24.Shell Commands 느낌표(exclamation mark)로 시작되는 코드 셀 내의 라인은 셀 커맨드로 실행된다. 이는 데이터셋을 비롯한 파일을 다룰 때나 파이썬 패키지를 관리할 때 유용하다. 간단한 예를 보자. !echo Hello World!! Hello World!! pip freeze | grep pandas pandas==0.25.1 Note: you may need to restart the kernel to use updated packages. 그리고 $ 심볼을 활용하여 파이썬 변수로도 활용가능하다. message = 'This is nitfy' !echo $message This is nitfy Basic Magics 유닉스 명령어와 상당 부분 유사해보이지만, 매직 명령어는 모두 ..
아파치 웹서버 버추얼 호스팅 설정 How To Set Up Virtual Hosts in the Apache Web Server on Ubuntu 18.04
2019. 10. 21.아파치 웹서버를 사용하는 경우, 하나 이상의 도메인을 호스팅하기 위해 버추얼 호스트(Nginx 의 server blocks 과 유사)를 설정할 수 있다. 도메인 설정과 관련해서 더욱 자세한 내용은 introduction to DigitalOcean DNS 을 참조하기 바란다. 1. antilibrary.org 라는 도메인 이름으로 디렉토리를 생성한다. mkdir -p 상위경로도 함께 생성하라는 의미이다. (parabellum) founder@hilbert:~$ sudo mkdir -p /var/www/antilibrary.org/public_html 로그 파일이 저장될 디렉토리도 생성 (parabellum) founder@hilbert:~$ sudo mkdir /var/www/antilibrary.org..
아파치 삭제 후 재설치 apache2.service is not active, cannot reload.
2019. 10. 18.아래와 같이 아파치 서비스가 제대로 작동하지 않는 경우 아파치를 삭제하고 재설치하는 방법을 알아보자. 다음의 순서대로 진행하면 된다. (base) founder@hilbert:/etc/nginx/sites-available$ sudo systemctl status apache2 ● apache2.service - The Apache HTTP Server Loaded: loaded (/lib/systemd/system/apache2.service; enabled; vendor preset: enabled) Drop-In: /lib/systemd/system/apache2.service.d └─apache2-systemd.conf Active: failed (Result: exit-code) since Fr..
커스텀 ML 툴을 만들어주는 가장 빠른 방법 Streamlit 앱 소개 Turn Python Scripts into Beautiful ML Tools
2019. 10. 12.커스텀 ML 툴을 만들어주는 가장 빠른 방법 중 하나인 Streamlit 앱에 대해서 알아보자. 먼저 전통적인 ML 엔지니어의 작업 플로우와 Streamlit 을 이용한 플로우를 비교해보자. 아래는 기존의 앱 빌딩 플로우이다. 위의 방법도 물론 훌륭하다. 하지만 새로운 기능이 필요하다면, 그리고 툴 팀이 10개 이상의 서로 다른 프로젝트를 서포팅하고 있어 업데이트에 약 2달 정도 소요될 것입니다라고 말하는 바람에, 다시 주피터 노트북을 통해 실행한 다음, 이 내용을 파이썬 스크립트로 옮긴다. HTTP request, HTML, callback 등의 요소를 고려해가면서 Flask 앱 등을 작성한다. 구동해보고 부족한 기능이 있으면 다시 위의 과정을 반복한다고 생각해보자. 이러한 부분에서 어떻게 파이썬 스크..
파이썬과 셀레늄을 이용한 구글이미지 자동다운로드 Image Scraping with Python
2019. 10. 11.파이썬을 사용하여 이미지를 다운로드받는 웹 스크래핑을 구현해보자. 여기서 다룰 토픽들은 다음과 같다. 정적 페이지 스크래핑 동적 페이지 스크래핑 구글 이미지 스크래핑 법률상의 이슈 1. Scraping static pages (원격지 Ubuntu 18.04) 정적인 페이지를 스크래핑하는 것은 심플하다. 다음 위키디피아 페이지의 테이블을 가져오는 예를 보자. 필수 라이브러리인 requests 가 설치되어 있어야 한다. 해당 라이브러리가 설치되어 있지 않은 경우 다음과 같이 설치한다. (AnnaM) founder@hilbert:~$ pip install requests==2.7.0 Collecting requests==2.7.0 Downloading https://files.pythonhosted.org/p..
텐서플로우 임포팅 경고 메시지 synonym of type is deprecated; in a future version of numpy, it will be understood as (type, (1,)) / '(1,)type'
2019. 9. 27.텐서플로우 설치 후 다음과 같은 메시지가 뜨는 경우 (AnnaM) founder@hilbert:~$ python Python 3.7.4 (default, Aug 13 2019, 20:35:49) [GCC 7.3.0] :: Anaconda, Inc. on linux Type "help", "copyright", "credits" or "license" for more information. >>> >>> >>> >>> import tensorflow as tf /home/founder/anaconda3/envs/AnnaM/lib/python3.7/site-packages/tensorflow/python/framework/dtypes.py:526: FutureWarning: Passing (type, 1) ..