현재 위치 - 회사기업대전 - 기업 정보 조회 - 파이썬 파충류는 어떤 라이브러리를 사용합니까?

파이썬 파충류는 어떤 라이브러리를 사용합니까?

Python crawler (전체 이름 Python web crawler) 는 특정 규칙에 따라 월드 와이드 웹의 정보를 자동으로 수집하는 프로그램 또는 스크립트입니다. 주로 증권 거래 데이터, 날씨 데이터, 웹 사이트 사용자 데이터, 사진 데이터 등을 수집하는 데 사용됩니다. 웹 파충류의 정상적인 기능을 지원하기 위해 Python 에는 여러 가지 유형의 많은 라이브러리가 내장되어 있습니다. 아래 문장 여러분께 소개해 드리겠습니다.

첫째, 파이썬 크롤러 네트워크 라이브러리

파이썬 파충류 네트워크 라이브러리는 주로 urllib, requests, grab, pycurl, urllib3,: 클라우드 실행 r, 파이썬 및 MATLAB 코드를 포함합니다.

열두. 전자 메일

● 측면: 이메일 주소 및 Mime 구문 분석 라이브러리;

● talon: 메일 gun 라이브러리는 메시지 참조 및 서명을 추출하는 데 사용됩니다.

열세 살. 웹 사이트 및 웹 사이트 작업

●furl: URL 작업을 단순화하는 작은 파이썬 라이브러리입니다.

●purl: 간단하고 변경할 수 없는 URL 과 깨끗한 API 를 디버깅하고 조작합니다.

● 웹사이트 주소. 해결: URL (uniform resource locator) 구성 요소 간의 구분을 깨고 구성 요소를 하나의 URL 문자열로 결합하고 상대 URL 을 "기본 URL" 이라는 절대 URL 로 변환하는 데 사용됩니다.

●TLDextract: URL 의 등록 도메인 및 하위 도메인에서 TLD 를 정확하게 분리하고 공용 접미사 목록을 사용합니다.

●etaddr: 네트워크 주소를 표시하고 조작하기 위한 파이썬 라이브러리.

열네. 웹 콘텐츠 추출

●ewspaper: Python 을 이용한 뉴스 추출, 문장 추출 및 콘텐츠 정책 전시회

●HTML2text: HTML 을 Markdown 형식 텍스트로 변환

● 파이썬-구글: html 콘텐츠 및 문장 추출기;

●lassie: 인간화 된 웹 콘텐츠 검색 도구;

●micawber: 웹 사이트에서 풍부한 콘텐츠를 추출하는 작은 라이브러리

● 요약: 텍스트 파일 및 HTML 페이지를 자동으로 요약하는 모듈

● 홀: 확장 가능한 이미지 크롤러;

● 파이썬-가독성: ARC 90 가독성 도구의 빠른 파이썬 인터페이스

●scrapely: HTML 페이지에서 구조화된 데이터를 추출하는 라이브러리

●youtube-dl: YouTube 에서 비디오를 다운로드하는 작은 명령행 프로그램

●You-get:Python 3 의 YouTube, Youku/Niconico 비디오 다운로더;

● 위키팀: 위키를 다운로드하고 저장하는 도구입니다.

열다섯, 웹 소켓

●Crossbar: 오픈 소스 애플리케이션 메시지 라우터;

●AutobahnPython: 웹 소켓 프로토콜 및 WAMP 프로토콜을 제공하는 Python 구현 및 오픈 소스

●WebSocket-for-Python:Python 2, 3, PyPy 의 웹 소켓 클라이언트 및 서버 라이브러리.

16, DNS 분석

●DNSyo: 전 세계 1500 대 이상의 DNS 서버에서 자신의 DNS 를 봅니다.

●py cares:c-ares 의 인터페이스.

17, 컴퓨터 비전

●OpenCV: 오픈 소스 컴퓨터 비전 라이브러리;

●SimpleCV: 카메라, 이미지 처리, 피쳐 추출 및 형식 변환을 위한 소개 및 읽기 가능한 인터페이스

●mahotas: numpy 기반 배열을 데이터 유형으로 사용하는 빠른 컴퓨터 이미지 처리 알고리즘입니다.

열여덟. 프록시 서비스 시스템

●shadowsocks: 방화벽을 관통하는 데 도움이 되는 빠른 터널 에이전트입니다.

● tproxy: tproxy 는 Gevent 기반 Python 으로 구성된 간단한 TCP 라우팅 에이전트입니다.

열아홉 살. 기타 파이썬 도구 목록

● 핍박-파이썬

● 파이크루브스

● 파이썬-깁허브-프로젝트

● 파이썬 _ 참조

● 파이토니다

copyright 2024회사기업대전