파충류란 무엇입니까? 파충류는 단순한 파충류와 복잡한 파충류를 포함한다. 사실 간단한 파충류는 특정 규칙에 따라 월드 와이드 웹의 정보를 자동으로 캡처하는 프로그램 또는 스크립트입니다.
스크립트는 거칠지만 종종 매우 유용한 애플릿 (일반적으로 수천 줄을 넘지 않으며 때로는 수백 줄의 코드로 구성됨) 입니다. 간단한 예를 들어, 이제 학생 임대 사이트에서 학생 아파트 임대 정보를 볼 수 있습니다. 네가 하나하나 베끼는 것은 분명 비현실적이다. 그래서 우리는 파충류를 사용해야 합니다. 한 번에 하나의 정보 사이트에서 수천 개의 정보를 제거할 수 있습니다. 바이두, 구글 등 검색 엔진도 파충류라고 생각할 수 있지만, 이 기술은 매우 복잡하여 간단한 스크립트가 아니다.
검색 엔진은 어떻게 작동합니까? 실제로 웹 크롤러 기술을 통해 인터넷에서 수백 억 개의 웹 페이지를 로컬에 저장하여 미러 파일을 형성하고 전체 검색 엔진에 데이터 지원을 제공합니다.
이런 기술은 우선 매우 중요하고 모두가 관심을 갖는 문제를 언급할 것이다. 위법인가?
자세히 탐구한 후, 다음과 같은 관점을 총결하였다.
1. 로봇 프로토콜을 준수하지만 로봇이 있다고 해서 마음대로 오를 수 있는 것은 아니다.
2. 파충류 행동을 제한하고 DDOS 에 접근하는 요청 빈도를 금지한다. 서버가 마비되면 사이버 공격과 같습니다.
3. 눈에 띄는 역등반이나 정상적인 상황에서는 도달할 수 없는 페이지를 돌파해서는 안 된다. 그렇지 않으면 해커의 행동이다.
4. 네가 기어오르는 것을 자세히 보고, 절대 법률의 빨간 선을 건드리지 마라.
이때 파충류 자체는 불법이 아니라 사용하는 방식과 목적, 그리고 상업적 용도에 달려 있다는 것을 이해해야 한다.