현재 위치 - 회사기업대전 - 기업 정보 공시 - Quark Qidian이 크롤러로 인식되면 어떻게 해야 합니까?

Quark Qidian이 크롤러로 인식되면 어떻게 해야 합니까?

고객님, 공통 useragent를 구성 파일로 설정하고, 액세스할 때마다 요청을 보낼 헤더로 하나를 꺼내십시오. 액세스할 경우 동일한 useragent가 인식될 수 있다는 점에 유의하세요. 빈도가 너무 높으며 금지되어 있으므로 무작위 선택 정책을 설정하고 방문할 때마다 무작위로 선택할 수 있습니다. 또한, m측을 지원하는 웹사이트의 경우 모바일측인지 확인하기 위해 useragent를 사용하는 경우가 있는데, 이때 웹측을 크롤링하는 경우 자동으로 모바일측으로 점프할 수 있습니다. , 파싱에 문제가 있을 수 있으니 주의가 필요합니다. 양해해 주셔서 감사합니다. 이상 제 답변이 전부입니다. 제 서비스에 만족하셨다면 다시 한 번 좋아요를 눌러주세요!

copyright 2024회사기업대전