여기에는 Excel과 Octopus라는 두 가지 좋은 크롤러 소프트웨어가 있습니다. 일반적인 정적 웹 페이지의 경우 Excel을 사용하여 크롤링할 수 있습니다. 약간 더 복잡한 웹 페이지의 경우에는 Octopus를 사용하여 크롤링할 수 있습니다. 이 두 가지 소프트웨어를 간략하게 소개하겠습니다.
Excel
대부분의 사람들은 일상적인 데이터 통계처리 외에 웹페이지 크롤링도 할 수 있습니다. 데이터 크롤링 과정을 간략하게 소개하겠습니다. 주요 단계는 다음과 같습니다. 여기서는 PM2.5 데이터 크롤링을 예로 들어 보겠습니다.
1. 먼저 새 Excel 파일을 만들고 엽니다. 다음과 같이 메뉴의 "Data"-gt; "From website"를 클릭합니다.
2. 그런 다음 팝업 "New Web Query"에 크롤링해야 하는 URL을 입력합니다. " 대화 상자를 클릭하고 "이동"을 클릭하세요. 크롤링해야 하는 웹페이지가 다음과 같이 로드됩니다.
3. 그런 다음 오른쪽 하단에 있는 "가져오기" 버튼을 클릭하고 워크시트를 선택합니다. 데이터를 저장해야 하는 위치에 있거나 새 워크시트를 만들고 "확인" 버튼을 클릭하면 데이터를 자동으로 가져옵니다. 가져오기가 성공한 후의 데이터는 다음과 같습니다.
4. 정기적으로 데이터를 새로 고치려면 메뉴 표시줄에서 "속성"을 클릭하고 팝업 대화 상자에서 새로 고침 빈도를 설정하면 다음과 같이 정기적으로 데이터를 새로 고칠 수 있습니다.
Octopus
데이터 수집을 위해 특별히 사용되는 크롤러 소프트웨어입니다. 배우기 쉽고 익히기 쉽습니다. 크롤링할 페이지를 설정하기만 하면 자동으로 데이터를 크롤링하고 Excel로 저장할 수 있습니다. 이 소프트웨어의 설치 및 사용법을 간략하게 소개하겠습니다.
1. Octopus를 다운로드하고 설치하려면 다음과 같이 공식 웹사이트에서 다운로드하고 클릭하면 됩니다. :
2. 설치가 완료되면 소프트웨어를 열고 다음과 같이 메인 페이지에서 "Custom Collection"을 클릭합니다.
3. 그런 다음 웹페이지 주소를 입력합니다. 다음과 같이 작업 페이지에서 크롤링해야 합니다. 여기서는 Dianping 데이터 크롤링을 예로 들어보겠습니다.
4. 다음과 같이 웹페이지를 자동으로 열려면 'URL 저장'을 클릭하세요.
5. 그런 다음 크롤링해야 할 태그 데이터를 직접 선택할 수 있습니다. 다음과 같이 작업 프롬프트를 단계별로 따르기만 하면 됩니다. 설정은 다음과 같습니다.
6. 완료 후 "로컬 수집 시작"을 직접 클릭하면 자동으로 데이터 크롤링이 시작됩니다. 크롤링에 성공한 후의 데이터는 다음과 같습니다. 방금 설정한 태그 데이터입니다.
7. , 크롤링된 데이터는 다음과 같이 Excel, CSV, 데이터베이스 등 필요한 형식으로 내보낼 수 있습니다.
이 시점에서 Excel 및 Octopus를 사용하여 웹 페이지를 크롤링하는 작업이 완료되었습니다. 데이터. 일반적으로 이 두 소프트웨어는 사용이 매우 간단합니다. 관련 작업에 익숙하다면 빠르게 마스터할 수 있습니다. 물론 Locomotive 등과 같은 다른 크롤러 소프트웨어도 사용할 수 있습니다. Octopus.와 유사하게 인터넷에 관련 정보와 튜토리얼이 있습니다. 관심이 있으시면 검색해 보시기 바랍니다. 위에서 공유한 내용이 도움이 되기를 바랍니다.