"Web Scraping with Python"을 읽자

크롤링 사이드 프로젝트를 기획 후 개발중이다.

크롤링 부분을 맡은 나는 똥 같은 코드를 싸질러 프로젝트의 핵심이 흔들리지 않게 하기 위해서.. 근본책을 읽기로 했다.

yes24 크레마에 필기 기능이 생겨서 너무 좋다. 물론 종이책 보다 집중이 잘 되는건 아니지만..!

 

이 책을 읽는 시점이 어느정도 cs 지식이 쌓인 상태에서 읽어서, 습득이 더 빨랐던것 같다. 

크롤링은 네트워크와도 연관이 있고, 프로그래밍(,자연어) 언어론과도 연관이 있다. (네트워크를 타고가서 가져오는거고, 자연어를 가져오는 행위이기 때문)

 

해당 교재에 있는 코드는 조금만 다듬으면, 실제 사용하기에 나쁘지 않은 수준의 코드가 있다.

솔찍히 나는 C++, JAVA가 익숙해서 독해가 막 엄청 빠르게 되진 않았다. (같은 저자가 쓴 JAVA 크롤링 책도 있다.) (이럴 줄 알았으면 JAVA 볼걸.. -> 근데 또 재밌는 사이드 프로젝트 예제는 특히 주식, 코인, 뉴스 크롤링 같은 주제이거나, 대규모 데이터 부분은 파이썬 프로젝트가 대다수라서 바로, 다음 사이드 프로젝트 책을 사서 읽어보려면 Python이 났다고 판단했다. 

근데 이렇게 생각하니까 자꾸 파이썬만 사용하게된다. ㅋㅋ.. (느리고 전기많이먹고, 느린.. 파이썬을 자꾸!!) 

 

오히려 내가 진'짜 Geek 했다면, Python 책 서적을 읽고 java로 코딩해서 옮겼을까.. 

저런.. 그건 정말이지.. 변태같다

 

이 책의 도입부는 질문으로 시작되는데, 최고의 스타트였다.

Q. Google 같은 회사를 설립하는 방법은?? 

1. 거대한 서버와 네트워크를 구매하고 개발자를 고용해서 큰 google 본사를 세운다.

2. 인터넷의 정보를 파이썬으로 크롤링해온다. 

 

2번이 쉽다. "너도 배우면 구글 설립 가능입니다." ㅋㅋ 

 

또 흥미로운것은, 저자가 만들고 있던 프로그램을 공유했는데

API가 문서화 되어있지 않은 웹사이트에서 API를 문서화 시켜버리는 프로그램(지금은 중단)

 

의존성 문제 터지니까 양키형님들도 덤비다가 일단 지나갔음. 

 

java 버전문제인지.. 해결하다가 JVM에서 딱 막혀가지고 꼼짝달싹 못 하게되었다. ^^ .. (자바 버전별로 다 꿰뚫고 있는 변태가 필요한 시점)  ... 도커 나와!!!!!!!!!!!!!!!!!!!!!! ..일단! .. 잠깐 넌 대기

 

어.. 느낀점은 뭐든 책으로 배우자, 인터넷은 보통 2류거나 삼류다. 일류는 책으로 남긴다.

파이썬,네트워크,어느정도 cs를 알고 있다는 가정하에, 읽으면 무조건 좋다.
허접한 다른 블로그에서 배우지 말자. 

진~짜 고수가 쓴 책이 2만원 밖에 안 한다.~
앞으로 배우거든 강의보단 책으로 배워야겠다. (강의는 참.. 뭐랄까 시식코너에서 하나씩 주어먹은 느낌이라해야하나..)

그리고 나이 드니까 강의는 너무 잠이와서 못 보겠다.. (1.5배 속하는 순간 3.5배 빨리 골아떨어짐.)