中바이두, 구글 콘텐츠 수집 차단

중국 포털사이트 바이두가 구글(Google)과 빙(Bing)의 콘텐츠 수입을 차단한 것으로 보인다.

25일 사우스차이나이나모닝포스트(SCMP)는 바이두의 온라인 백과사전 '바이두 바이커'의 'robots.txt' 최신 버전을 확인한 결과 구글과 빙의 웹 크롤러(웹사이트를 돌아다니며 콘텐츠를 색인화해 검색 결과에 나타나도록 하는 자동화 프로그램)가 차단됐다고 보도했다.

robots.txt는 웹 크롤러에 사이트 및 웹페이지를 수집할 수 있도록 허용하거나 제한하는 규약이다. 바이두가 두 검색엔진을 차단한 시기는 이달 8일로 추정된다. 바이두는 AI(인공지능) 모델 훈련을 위한 방대한 데이터 대한 수요가 급증함에 따라 자사 온라인 자산을 보호하기 위해 취한 것으로 보여진다.

앞서 미국 소셜 뉴스 수집 플랫폼 레딧은 올해 7월 구글을 제외한 다른 검색 엔진이 자사 사이트 게시물을 색인화하는 것을 차단했다. 구글은 자사 AI 모델을 훈련하기 위해 레딧과 수백만 달러 규모 계약을 체결했다.

원재연 기자 wonjaeyeon@chosunbiz.com