58.com Informations de recrutement rampant: résoudre le problème des données incohérentes des candidats et des téléspectateurs

Lorsque vous rampez sur la page de recrutement 58.com, vous rencontrez souvent un problème difficile: le nombre de candidats et le nombre de téléspectateurs affichés par le code source de la page Web ne correspondent pas aux données affichées réellement sur la page, et le code source est souvent affiché comme 0, tandis que les données mises à jour en temps réel sur la page sont cohérentes avec le contenu des éléments dans l'outil de développeur de solider (F12). Cet article explorera comment résoudre ce problème et obtenir des candidats et des téléspectateurs précis.

Analyse des problèmes:

Afin d'éviter que les données soient rampantes avec malveillance, 58.com a adopté la méthode de chargement dynamiquement des données. Le nombre de candidats et de téléspectateurs sur la page n'est pas directement obtenu à partir du code source HTML, mais est chargé de manière asynchrone via JavaScript. Par conséquent, l'analyse directe du code source HTML ne peut pas obtenir les données correctes.

Solution:

Pour obtenir le nombre correct de candidats et de téléspectateurs, vous devez trouver l'interface API fournie par 58.com. En analysant les demandes de réseau, nous pouvons trouver une interface API pour obtenir des statistiques d'information de recrutement, avec une URL similaire au format suivant:

 <code>https://statisticszp.58.com/position/totalcount/?infoId=27988...</code>

Le paramètre infoId représente l'ID de position spécifique et doit être extrait en fonction de l'URL de la page de recrutement cible.

L'API renvoie l'exemple de données:

Les données JSON renvoyées par l'interface API contient les informations dont nous avons besoin:

 {
  "DeliveryCount": 1141, // Nombre de candidats "commentcount": 0,
  "InfoCount": 4, // Nombre de téléspectateurs "RessumeReadPercent": 0,
  "références": "",
  "nexurl": "null"
}

Le champ deliveryCount indique le nombre de candidats et le champ infoCount indique le nombre de téléspectateurs.

étapes de mise en ?uvre:

1. Obtenez l'ID de travail (Infoid): analysez l'URL de la page de recrutement cible et recherchez la valeur des paramètres correspondant à l'ID du travail. Cela peut nécessiter l'utilisation d'expressions régulières ou d'autres méthodes de traitement des cha?nes.

2. Construire URL de la demande de l'API: Remplacez l' infoId extrait dans le modèle d'URL de l'API pour former une URL complète de la demande d'API.

3. Envoyez des demandes d'API: utilisez la bibliothèque requests de Python ou d'autres clients HTTP pour envoyer des demandes de GET à l'URL de l'API.

4. Analyser les données JSON: analyser les données JSON renvoyées par l'API dans un dictionnaire Python, extraire les valeurs de deliveryCount et infoCount , c'est-à-dire le nombre correct de candidats et le nombre de téléspectateurs.

Grace aux étapes ci-dessus, vous pouvez contourner le mécanisme de chargement dynamique de la page Web de 58.com et obtenir avec précision le nombre de candidats et de téléspectateurs sur la page de recrutement. Veuillez noter que les noms d'adresse et de paramètres de l'interface API peuvent changer et doivent être ajustés en fonction des conditions réelles. Dans le même temps, veuillez respecter les règles Robots.txt de 58.com pour éviter une pression excessive sur le serveur.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!