"웹 크롤링"이라는 말이 여전히 검색되고 있는거 보면

"웹 크롤링"이라는 말이 여전히 검색되고 있는거 보면
예나 지금이나 이 부문에 대해서는 그다지 발전이 없는 것 같다. 접근할 수 있는 기술이 있는 사람만 접근할 수 있는 뭐 그런...

하기야 "그냥 HTML 소스 긁어서, parsing만 잘 하면 되지 않느냐" 싶지만, 모르는 사람들에게 있어서는 그냥 외계어일테니깐...
그래서 예전에 "뉴스 기사 웹 크롤링"한 결과를 가져다 파는 서비스를 해볼까 고민을 잠깐 했었고, 프로그램도 만들어서 직접 수집도 해보고 했었는데,
개시하기 전에 변호사 아저씨한테 물어보니 "저작권"이 문제가 될 수 있다 하셔서 포기했던 적이 있다.
뭘 공개 하고 싶으면, 원문이 거의 가려지는, 가공되고 요약된 결과만 올리는 수밖에 별 도리가 없다.
(아무렴 남이 공들여 쓴 저작물인데 인정해야지...)

p.s. 그럼 "웹 크롤링을 해주는 프로그램"을 팔면 되지 않느냐? 했더니 "제2의 소리바다"가 만들어질거라던...