반응형 multiprocessing1 Python, multiprocessing으로 좀 더 빠른 Naver Finance 크롤러 만들기 / multiprocessing crawling 지난번 포스팅에서는 Naver Finance에 있는 한 기업의 재무제표를 크롤링하는 과정을 담았습니다. 하지만 코스피/코스닥에 상장된 모든 기업의 정보를 받아와 파싱한다고 하면 어떨까요? 2천여개의 기업 정보를 파싱하는 것은 그렇다치지만 정보를 받아오는 과정, requests를 하나씩 보내고 받는 일련의 과정에 시간이 많이 듭니다. 이 여러 번의 작업을 나눠서 병렬처리를 통해 빠르게 해주는 것이 Python multiprocessing 패키지입니다. multiprocessing은 기본 내장 패키지로 Python이 설치되어 있다면 따로 설치할 필요가 없습니다. multiprocessing is a package that supports spawning processes using an API similar.. 2019. 11. 27. 이전 1 다음 반응형
