2.Pyspider: Python 으로 구현된 강력한 웹 크롤러 시스템으로, 스크립트를 작성하고, 함수를 예약하고, 브라우저 인터페이스에서 크롤링 결과를 실시간으로 볼 수 있으며, 백엔드에는 공통 데이터베이스의 크롤링 구조가 저장되고, 작업 및 작업 우선 순위를 정기적으로 설정할 수 있습니다.
3.Crawley: 해당 웹 사이트 콘텐츠를 고속으로 수집할 수 있고, 관계형 및 비관계형 데이터베이스를 지원하며, 데이터를 JSON, XML 등으로 내보낼 수 있습니다.
4.Portia 는 프로그래밍 지식 없이 웹 사이트를 캡처할 수 있는 오픈 소스 시각화 파충류 도구입니다. 관심 있는 페이지에 주석을 달고 거미를 만들어 비슷한 페이지의 데이터를 캡처할 수 있습니다.
5. 신문: 뉴스, 문장 및 콘텐츠 분석, 멀티 스레드 사용, 10 이상의 프로그래밍 언어 지원에 사용할 수 있습니다.
6. 미탕: HTML 또는 XML 파일에서 데이터를 추출할 수 있는 파이썬 라이브러리입니다. 좋아하는 변환기를 통해 문서 탐색, 문서 검색, 문서 수정을 자주 하는 방법입니다. 동시에, 그것은 당신이 몇 시간 혹은 며칠의 근무 시간을 절약하는 데 도움이 된다.
7.Grab 는 웹 캡쳐를 만드는 파이썬 프레임워크입니다. Grab 를 사용하면 간단한 5 행 스크립트에서 수만 개의 웹 페이지를 처리하는 복잡한 비동기 웹 크롤링 도구에 이르기까지 다양한 복잡한 웹 크롤링 도구를 만들 수 있습니다. Grab 는 네트워크 요청을 수행하고 수신된 콘텐츠를 처리하는 API 를 제공합니다.
8. 콜라: 분산 파충류 프레임워크입니다. 사용자의 경우 분산 작업의 세부 사항에 초점을 맞추지 않고 몇 가지 특정 함수만 작성하면 됩니다. 작업은 여러 시스템에 자동으로 할당되며 전체 프로세스는 사용자에게 투명합니다.