해외 주요 매체, 애플 인텔리전스 차단…데이터 스크래핑 막는다

디지털투데이 AI리포터] AI 학습에 사용되는 콘텐츠를 웹에서 스크래핑하는 방식이 문제가 되고 있다. 애플도 이 방식을 사용하고 있으나, 여러 뉴스 사이트들이 애플의 크롤러를 차단하고 있다는 사실이 밝혀졌다고 30일 온라인 매체 기가진이 전했다.

애플의 개인용 AI인 애플 인텔리전스는 학습을 위해 웹상의 콘텐츠를 스크래핑하고 있지만, 콘텐츠 게시자들은 자신의 콘텐츠가 스크래핑되는 것을 차단할 수 있다.

애플은 이를 위해 '애플봇-익스텐디드'(Applebot-Extended)라는 옵트아웃 기능을 발표했다. 이 기능은 페이스북, 인스타그램, 뉴욕타임스, 아틀란틱 등 주요 SNS와 뉴스 사이트에서 사용되고 있다. 애플봇의 옵트아웃 여부는 일반에 공개된 robots.txt 파일을 확인하면 알 수 있다.

애플은 AI를 훈련시키기 위해 페이스북, 인스타그램 등 주요 SNS와 뉴욕타임스 등 여러 매체와 계약을 맺은 것으로 알려졌다.그러나 해외 미디어 와이어드의 조사 결과 페이스북, 인스타그램, 텀블러, 뉴욕타임스, 파이낸셜타임스, 코드나스트 등 트래픽이 많은 웹사이트의 약 6~7%가 애플봇을 차단하고 있다는 것이 밝혀졌다.

그 외에도 데이터 저널리스트인 벤 웰시의 독자 조사에 따르면 미국을 기반으로 한 영어 기반 미디어의 1167건 중 294건 애플봇을 차단하고 있다는 것이 밝혀졌다.

애플은 유튜브의 동영상 자막을 AI 학습에 사용하고 있다는 지적에 대해 애플 인텔리전스를 포함한 제품 버전 AI의 학습에는 사용하지 않았다고 반박했다.