많은 사이트들, 예를 들면 지락, 웨이보, 콩잎 등은 모두 로그인해야 일부 내용을 찾아볼 수 있다. 그래서 이런 사이트를 오르려면 먼저 로그인을 시뮬레이션해야 한다. 더 쉬운 방법은 이 사이트의 쿠키를 사용하는 것이다. 쿠키는 이 사이트 사용자의 기본 정보를 저장하는 암호 상자와 같습니다. 한 번 로그인하면 사이트에서 귀하의 정보를 기억하고 쿠키에 넣어 다음 자동 로그인을 용이하게 합니다. 따라서 이러한 사이트를 등반하는 전략은 수동 로그인을 통해 쿠키를 얻은 다음 다시 로그인할 때 마지막으로 로그인된 쿠키를 호출하여 자동 로그인을 수행하는 것입니다.
동적 크롤링
질문을 잡을 때 새로운 답을 표시하려면 마우스 휠을 아래쪽으로 밉니다. 정적 크롤링 방법으로는 이 작업을 수행할 수 없습니다. selenium 라이브러리를 도입하여 이 문제를 해결할 수 있습니다. 셀렌 라이브러리 시뮬레이터는 웹 사이트 및 작업을 탐색하고 이해하기 쉽습니다.