Sina Weibo가 Maimai를 상대로 사용자 데이터를 부적절하게 수집한 사례부터 LinkedIn과 hiQ Labs 간의 데이터 분쟁까지... 관련 사법 사건이 지속적으로 등장하면서 데이터 크롤링 문제가 우려되고 있습니다.
10월 23일 상하이에서 양쯔강 삼각주 데이터 컴플라이언스 포럼(제3호)과 데이터 크롤러 법률 규제 세미나가 열렸습니다. 크롤러 기술이 디지털 산업에 미치는 영향, 타인의 데이터를 크롤링하는 법적 경계 및 규정 등의 주제에 초점을 두고 다수의 법률 전문가, 법조인 및 비즈니스 대표자들이 토론을 진행했습니다.
빅데이터 시대를 맞이하여 데이터의 가치가 더욱 부각되면서 데이터 크롤러의 활용이 더욱 보편화되고 있습니다. 많은 전문가들은 크롤러 기술 자체는 중립적이지만 크롤러 기술의 적용에는 목적이 있는 경우가 많아 크롤링 행위와 데이터 이용이 적법한지 여부를 고려할 필요가 있다고 회의에서 언급한 전문가들이 많았다.
"사나운" 웹 크롤러는 웹사이트 운영 부담을 증가시킵니다
기술적인 관점에서 크롤러는 프로그램을 사용하여 사람들의 웹 탐색이나 앱 사용 행동을 시뮬레이션하여 효율적으로 캡처합니다. 네트워크 정보 프로세스. 모든 사람이 이 기술에 만족하는 것은 아닙니다.
L'Oréal China의 디지털화 책임자인 Liu Yuchen은 세미나에서 대부분의 웹사이트가 상업적 이익과 자체 웹사이트 운영 보안을 위해 크롤러 액세스를 거부한다고 말했습니다. 크롤러의 자동적이고 지속적이며 높은 빈도의 액세스로 인해 웹 사이트 서버 부하가 급증하여 일부 중소 규모 플랫폼에서는 웹 사이트가 열리지 않거나 웹 페이지가 느리게 로드되거나 심지어 직접 마비되는 위험에 직면하게 됩니다. 따라서 "웹사이트 운영자는 '사나운' 웹 크롤러를 만나면 큰 어려움을 겪는 경우가 많습니다."
웹사이트에서는 데이터가 크롤링되는 것을 방지하기 위해 해당 전략이나 기술적 수단을 채택할 수 있지만, 크롤러가 사용하는 기술적 수단도 더 많습니다. 반격을 가하는 것이 소위 반등산 전략이다. Liu Yuchen에 따르면 크롤링 방지 및 크롤링 기술이 반복적으로 업데이트되었습니다. 크롤링은 문제가 되지 않습니다. 중요한 것은 크롤링할 의향이 있는지, 크롤링이 얼마나 어려운지에 달려 있습니다. 일반적으로 앱이나 웹사이트의 규모가 클수록 크롤링 방지 메커니즘이 더 많아 크롤링이 더 어려워집니다.
Xiaohongshu의 법무 책임자인 Zeng Xiang은 악성 크롤러 사례가 콘텐츠 플랫폼과 전자상거래 플랫폼에서 자주 발생한다는 점을 관찰했습니다. 콘텐츠 측면에서는 동영상, 사진, 텍스트, 사용자 행동 데이터 등이 크롤링되며, 전자상거래 분야에서는 비즈니스 정보, 제품 정보 등이 크롤링됩니다.
"일반적으로 콘텐츠 플랫폼은 관련 콘텐츠의 지적 재산권이 게시자 또는 게시자와 플랫폼 모두에 속해야 한다는 데 동의합니다. 동의 없이 크롤링하는 것은 지적 재산권 침해가 의심됩니다." Xiang은 플랫폼이 투자를 통해 창작자의 창의성을 자극한다고 말했습니다. 누군가가 크롤러 기술을 사용하여 콘텐츠를 쉽게 얻고 이를 표절하고 개조하면 플랫폼의 이익이 손상될 것입니다.
웹 크롤러와 관련하여 로봇 프로토콜은 피할 수 없는 주제입니다. 전체 이름은 "웹 크롤러 제외 표준"입니다. 로봇 프로토콜을 통해 웹사이트는 검색 엔진에 크롤링할 수 있는 페이지와 어떤 페이지가 있는지 명확하게 경고합니다. 페이지는 크롤링할 수 없습니다. 이번 협약은 업계에서는 검색 분야에서는 '신사 협약'이라고도 불린다.
상하이 푸동 법원 지적재산권부 판사 Xu Hongtao는 이를 이렇게 설명했습니다. 크롤러는 방문객이고 로봇 프로토콜은 문에 걸려 있는 출입 금지 표지판입니다. 겸손한 신사는 문에 다가가면서 이 표지판을 보면 멈추겠지만, 범죄자는 여전히 침입할 수 있습니다.
Xu Hongtao는 관련 사례를 검토하면서 로봇 프로토콜은 인터넷 업계가 일반적으로 따르는 규칙이라고 지적했습니다. 검색 엔진이 웹사이트 콘텐츠를 크롤링하기 위해 로봇 프로토콜을 위반하는 경우 이는 비즈니스 윤리를 위반하는 것으로 간주될 수 있습니다. 불공정 경쟁을 구성합니다. 그러나 Robots 프로토콜은 선재성 문제, 즉 크롤링 행위가 적절한지 여부에 대한 문제는 해결하지만, 크롤링 후 데이터가 적절하게 사용되는지 여부에 대한 문제는 해결하지 못합니다.
또한 그는 개별 사건 판결에서 법원이 크롤러 기술이 중립적이며 웹사이트가 로봇 프로토콜을 설정하는 방식을 존중한다고 믿는 경향이 있다고 분석했습니다. 크롤러가 로봇 프로토콜을 위반하고 강제로 크롤링하는 경우 적법성 측면에서 일정한 부정적인 평가를 받을 수 있습니다.
또한 로봇 프로토콜은 행동의 정당성과 관련이 있지만 이것이 유일한 반대는 아닙니다. 크롤링이 로봇 프로토콜을 준수하더라도 후속 사용으로 인해 불공정하다고 판단될 수 있습니다.
웹 크롤러가 크롤링을 방어할 때 크롤링에 대한 로봇 프로토콜의 제한 사항을 데이터 흐름과 연결하는 경우가 많다는 점을 언급할 가치가 있습니다.
Xu Hongtao는 '상호 연결'이라는 맥락에서 '질서'와 '순환'이 똑같이 중요하다고 믿습니다. 이를 위해서는 '상호연결'과 데이터 공유 사이의 균형을 파악하는 동시에 다양한 인터넷 산업 사업자가 채택한 로봇 프로토콜 전략이 데이터 섬의 출현으로 이어질 수 있는지 고려하는 것이 필요합니다.
크롤러 행동의 적법성을 판단하려면 여러 요소를 고려해야 합니다.
세미나에서 화동정법대학 교수인 장용(Zhang Yong)은 유해한 크롤러 행동을 분류했습니다. 데이터 크롤러의 행동.
그는 데이터 유형의 관점에서 볼 때 데이터 크롤링이 침해할 수 있는 권리에는 컴퓨터 시스템 보안, 개인정보, 저작권, 국가기밀, 영업비밀, 시장 경쟁질서 등이 포함된다고 말했습니다. 크롤링 방법의 관점에서 볼 때, 데이터 크롤링은 컴퓨터 정보 시스템의 보안을 위협할 수 있고, 국민의 개인정보를 불법적으로 취득할 수 있으며, 영업비밀을 불법적으로 취득할 수 있으며, 저작권 기술 보호 조치를 파괴할 수 있습니다. 크롤링 결과에는 불공정 경쟁, 저작권 침해, 및 인격권 침해 문제.
데이터가 생산의 요소가 되면서 데이터 캡처 기술의 적용 시나리오가 점점 더 광범위해지고 그에 따른 분쟁도 늘어나고 있습니다. 크롤러 행동의 정당성을 판단하는 방법은 기존 사례에서 답을 찾을 수 있을 것입니다.
올해 9월 14일 항저우 인터넷 법원은 위챗 공개 계정 플랫폼에서 데이터를 스크랩하는 것과 관련된 불공정 경쟁 사건을 발표하면서 피고가 데이터 스크랩을 중단하고 위챗에 60만 위안의 손실을 배상해야 한다고 판결했습니다.
법원은 피고가 신의성실의 원칙을 위반했으며, 원고가 사용자의 동의를 얻어 법에 따라 수집하고, 데이터의 일부를 실질적으로 대체하기에 충분한 상업적 가치가 있는 데이터를 사용했다고 판단했습니다. 다른 사업자가 제공하는 상품이나 서비스로 인해 회사에 손해를 끼치는 행위는 공정한 경쟁 시장질서에 해당합니다.
이 사건에서도 법원은 '삼중 표적 중첩'이라는 관점에서 크롤링 행위가 적법한지 여부를 분석했다.
Xu Hongtao는 이를 예로 들어 검색 엔진이 아닌 크롤러의 적법성은 주로 피고가 크롤링된 웹사이트의 사전 설정된 로봇 계약을 존중하는지 여부, 크롤링된 웹사이트의 기술적 조치를 파괴하는지 여부에 달려 있다고 언급했습니다. 웹사이트, 사용자 데이터의 보안을 보장하고 창의성과 공익을 가늠하기에 충분한가요?
그는 사용자 데이터 보안을 위협하는 대가로 데이터가 캡처되고 크롤러 기술의 적용이 새로운 고품질 리소스를 생성할 수 없고 다른 사람의 서버에 부담만 증가시킬 뿐이라고 지적했습니다. 행동의 정당성이 훼손될 가능성이 높습니다.