파이썬 파충류는 웹 파충류입니다. 웹 크롤러는 주로 검색 엔진에 사용되는 프로그램입니다. 한 웹 사이트의 모든 컨텐츠와 링크를 읽고 관련 전체 텍스트 인덱스를 데이터베이스로 작성한 다음 다른 웹 사이트로 이동합니다.
검색 엔진 (SearchEngine) 은 특정 정책에 따라 인터넷에서 정보를 수집하고 특정 컴퓨터 프로그램을 사용하여 정보를 구성 및 처리하고 사용자에게 검색 서비스를 제공하며 사용자 검색과 관련된 정보를 표시하는 시스템입니다. 검색 엔진에는 전체 텍스트 색인, 카탈로그 색인, 메타 검색 엔진, 수직 검색 엔진, 컬렉션 검색 엔진, 포털 검색 엔진 및 무료 링크 목록이 포함됩니다.