일반적으로 파충류는 코드로 작성된 프로그램이나 스크립트를 사용하여 인터넷 대량 정보를 필터링, 필터링, 배치 자동 웹 사이트에서 원하는 정보를 캡처하고 정렬하는 데 도움을 줍니다. 웹 파충류는 또 웹 거미가 되고, 인터넷을 거미줄에 비유하면, 이 프로그램이나 스크립트는 인터넷을 기어다니는 거미이다. 한마디로 귀결되는 것은 인터넷 정보의 자동 검색이지만, 실제로는 데이터를 얻는 수단이다. 현재 흔히 볼 수 있는 검색 엔진은 파충류를 빼놓을 수 없다. 예를 들어 바이두 검색 엔진의 파충류는 바이두 거미라고 한다. 바이두 거미는 매일 대량의 인터넷 정보에서 자동으로 기어오르고, 비교적 양질의 정보를 선별하여 수록한다. 관련 키워드를 검색할 때, 해당 정보를 즉시 일정한 정렬 규칙에 따라 너의 눈앞에 나타낼 것이다.