크롤링이 나쁜가

0. 크롤링이 나쁜가

크롤링이 나쁜건지 모르겠다.. 내가 웹사이트를 운영하게 된다면 나도 크롤러의 악성 접근을 차단하기 위해 어떤 조치를 내릴 것 같긴 하다. 그러나 크롤러도 이 사이트의 방문자; 그들이 내 데이터를 수집해가는 행위를 방해하는 것은 또 한 명의 고객을 잃는 것과 같다.

1. 크롤링은 원래 나빴다

하지만 서버비는 조상님이 내주던가? 크롤러가 내 웹사이트를 다녀가면서 발생시키는 트래픽은 고스란히 내 통장의 이체 금액과 비례하게 된다. 트래픽이 곧 돈이다. 내가 그들의 편의와 데이터 수집을 위해 돈을 지불할 필요는 없지 않은가. 오히려 그들이 내게 데이터를 요청하려 한다면 이메일로 그 데이터를 사들이고 싶다고 제안해와야 한다. 그게 순리 아닌가… 데이터가 돈이 되는 세상이다.

2. 하지만 데이터는 공개되어야 한다.

정말 보안성이 중요한 데이터(예를 들면 개인정보)가 아니라면 공개되어도 무방하지 않을까 싶다. 애초에 사이트 접속자들이 보라고 만들어 놓은 콘텐츠들이니 이제와서 무리하게 콘텐츠를 소비했다고 욕할 수도 없는 노릇이다. 비슷한 일례로 sci-hub같은 사이트가 있다. 해당 사이트는 엘제비어 같은 대형 출판사의 서버를 해킹해 논문들을 무료로 호스팅한 서비스이다. 오픈 액세스 운동에 영향을 미쳤다는 평을 받고 있으며, 이에 대한 갑론을박도 치열하다. 내가 데이터를 열심히 생산해냈는데 다른 누군가가 이를 무단으로 사용하고 있다면 확실히 분노할 만한 일이다. 그러나 데이터 생산과 유통, 분석 방법 및 노하우 같은 무형 자산까지 크롤링해가진 못했다. 쉽게 말하면 “내가 데이터를 만들어내는 방식까지 카피하지 못한다면, 내게 의존할 수 밖에 없다”

3. 적절한 크롤링 수위를 유지한다면 관용적으로 허용해주자.

어떤 서비스를 제공하기 시작하면 악용하는 사용자가 분명히 나타난다. “악용하는 사용자가 나쁜거지~ 서비스 제공자가 나빴냐?”라고 물을 수도 있다. 물론 악용하는 사용자가 나쁘다. 그러나 게임하라고 플스넷을 만들었더니 플스넷을 해킹하는 데에 시간을 쏟는 해커들이 나타났고, 그 해커 잡겠다고 발악한 소니는 각종 해커 그룹이 꼬이게 만드는 빌미를 제공해서 2011년 PNS 해킹 사태를 야기한 선례가 있다. 물론 해킹이 나쁜 것이지만, 해커들 어그로 제대로 끌어서 거하게 말아먹은 소니의 실수를 보고 칭찬할 사람은 아무도 없으리… 그렇다고 악성 사용자와 타협해야 하느냐, 그건 또 아니라고 본다. 지나치게 서버에 부담을 주는 수준이 아니라면 ‘집행유예’와 같은 개념을 도입하는 것도 좋다는 이야기를 하고 싶었을 뿐이다. 과도한 규제는 반발을 일으킨다. 많은 사용자들이 당대 사회통념상 참고 넘어가줄 수 있는 수준이라면 애교로 봐주고 방치한다는 선택지를 따를 수도 있을 것이다. ‘상식적으로 이건 선 넘었지’라는 수준이라면 그에 대한 강경한 대응도 많은 이들의 공감을 얻어낼 수 있을 것이다.