물론 코드를 작성할 필요는 없습니다. 직접 사용할 수 있는 기성 크롤러 소프트웨어가 있으므로 한 줄씩 코딩할 필요는 없습니다. 아래에서는 두 가지 크롤러를 간략하게 소개하겠습니다. 소프트웨어-Excel과 Octopus. 두 소프트웨어 모두 웹페이지 데이터를 빠르게 크롤링할 수 있으며 사용도 매우 간단합니다.
Excel
웹페이지 데이터를 크롤링하려면 Excel을 사용하세요. 들어보셨거나 사용해 보신 적이 있으신가요? 하지만 테이블 데이터 등 일부 단순하고 일반적인 정적 웹페이지 데이터의 경우 Excel 외부 링크를 사용하여 직접 가져올 수 있는 방법을 간략하게 소개하겠습니다.
1. 여기서는 순위 0.5 데이터의 PM2를 크롤링하며 다음과 같이 모두 일반 테이블 데이터입니다.
2. 새 Excel 파일을 만들고 "데이터"를 클릭합니다. " -> 메뉴바에서 "자체사이트"는 다음과 같습니다.
3. 팝업창에 위의 웹링크 주소를 입력하고 "이동" 버튼을 누르면 해당 웹페이지로 이동합니다. 다음과 같이 자동으로 열립니다:
4. 마지막으로 오른쪽 하단을 클릭합니다. 다음과 같이 웹 페이지의 테이블 데이터를 Excel 파일로 가져오려면 "가져오기" 버튼을 클릭합니다. 다시 정리할 필요가 없습니다:
Octopus
이것은 비교적 전문적인 크롤러 소프트웨어로 복잡하고 동적으로 로드되는 데이터가 있는 웹페이지의 경우 이 소프트웨어를 사용하여 다음을 수행할 수 있습니다. 이 소프트웨어에 대해 간략하게 소개하겠습니다.
1. 먼저 Bazao Fish 소프트웨어를 다운로드하고 설치하려면 다음과 같이 공식 웹사이트에서 직접 다운로드할 수 있습니다.
2. 설치가 완료되면 이 소프트웨어를 사용하여 웹페이지 데이터를 크롤링할 수 있습니다. 먼저 소프트웨어를 열고 다음과 같이 홈 페이지에서 "자동"을 선택합니다.
3. 그런 다음 작업 페이지에서 크롤링해야 하는 웹페이지를 입력하세요. 여기서는 다음과 같이 Zhaopin Recruitment에 대한 크롤링 데이터를 예로 들어 보겠습니다.
4. 저장 버튼을 클릭하면 자동으로 해당 웹페이지로 이동하고 그 결과는 다음과 같습니다. 여기서는 크롤링해야 할 웹페이지 데이터를 직접 선택할 수 있습니다. 작업 지침을 따르고 단계별로 진행하면 됩니다.
5. , 저장 및 수집 시작을 클릭하면 방금 선택한 데이터가 다음과 같이 자동으로 크롤링됩니다.
여기에서 필요에 따라 Excel, CSV 등 데이터 내보내기 형식을 선택할 수도 있습니다. 다음과 같이 HTML, 데이터베이스 등을 모두 사용할 수 있습니다.
이제 Excel과 Octopus를 사용하여 웹페이지 데이터를 크롤링하는 작업이 완료되었습니다. 일반적으로 이 두 크롤러 소프트웨어는 사용하기 매우 좋고, 익히고 익히기가 쉽습니다. 물론, 특정 프로그래밍 기초가 있으면 프로그래밍도 빠르게 익힐 수 있습니다. 웹 크롤러를 구현하려면 Java, Python 등을 사용할 수 있습니다. 관심이 있다면 직접 시도해 볼 수도 있습니다. 또한 위에서 공유한 내용을 참고해 보세요. 당신에게 도움이 될 수 있습니다. 댓글도 환영합니다.