크롤링 (1) 썸네일형 리스트형 구글을 통해 알아보는 검색에서 정보를 구성하는 방법 How Google Works? 최근 웹크롤러에 대해 공부하면서, 웹브라우저에서 검색을 하고 결과물을 받아보던 익숙한 여정에 대해 좀 더 알아보고자 한다. 검색의 대부 구글을 통해 살펴보겠다. Google에서 검색할 때, 우리는 실제로 웹을 검색하는 것이 아니다. 구글의 웹 index를 검색하는 것이다. 다시 말해, 구글은 최대한 많은 웹을 index로 생성하기 위해 노력한다. 이 작업을 위해, 구글에서는 '스파이더'라 부르는 소프트웨어가 이 작업을 한다. 웹 페이지 몇 개를 가져오는 것에서 시작해서, 그 페이지에 연결된 링크를 따라간다. 그 링크가 가리키는 또 다른 새로운 페이지들을 또 가져오고 하는 과정을 무한히 반복하여, 구글은 수천 대의 컴퓨터에 거쳐 수십억 페이지로 된 방대한 규모의 웹 inde.. 이전 1 다음
