Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives en utilisant la technologie géospatiale

Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives.

Défi initial

Exigences du projet: utilisez 7 millions d'enregistrements dans la base de données MySQL pour extraire des informations précieuses. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante?

Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. La recherche de cartes est basée sur une ville ou une communauté, et les utilisateurs peuvent sélectionner les communautés en sélectionnant les états et les villes, réalisant ainsi une recherche précise. Comme la sélection de la communauté est déterminée, d'autres filtres (nom, catégorie, évaluation, etc.) seront affichés dynamiquement, améliorant ainsi la précision de la recherche et évitant d'affecter les performances du système. De cette fa?on, nous créons des filtres dynamiques et bien définis et assurons la précision de la recherche en ajoutant des index appropriés. à ce stade, le problème du filtre a été résolu.

Vient ensuite le défi du traitement des polygones. Avant cela, discutons de l'architecture qui prend en charge l'ensemble de l'application.

Architecture d'application

Compte tenu de l'énorme quantité de données, la carte ne peut faire qu'une partie des données en même temps. Par conséquent, les applications se concentrent sur l'efficacité. J'ai choisi Laravel et React, une pile technologique puissante et flexible:

Laravel (backend)

Le backend construit par Laravel 11 utilise une brise pour construire rapidement la fondation du projet et se concentrer sur les fonctions de base. En plus de l'architecture MVC standard, j'ai également ajouté des modèles de service et d'entrep?t pour organiser des responsabilités pour faciliter la maintenance du code.

Réagir (avant)

Les applications frontales sont entièrement modulaires. Les composants et les modules clairement définis garantissent la réutilisation et la communication du code lisse entre les composants. Cette architecture permet au frontal d'interagir efficacement avec l'API back-end, garantissant la simplicité et l'efficacité.

évolutivité

Bien que le projet soit initialement un projet interne et a une faible demande, son architecture est con?ue pour soutenir les extensions futures, comme l'utilisation des services autonomes sur AWS (par exemple, Fargate pour les API, CloudFront pour frontal). En effet, toutes les interactions sont menées via l'API et que le serveur ne maintient pas l'état, atteignant ainsi la séparation des responsabilités.

test

La stabilité du système est assurée par le biais de la suite de tests complète de PestphP, couvrant 22 points de terminaison et environ 500 cas de test. Le développement axé sur les tests améliore l'efficacité du déploiement et de la maintenance, démontrant son importance dans la construction de logiciels évolutifs et fiables.

Noyau d'application

Le c?ur de l'application est la carte. J'ai utilisé la foliole, une bibliothèque de cartes JavaScript légère et combiné certains plugins pour améliorer l'efficacité et l'utilisation des ressources.

Agrégation de balises

Pour optimiser le rendu d'un grand nombre de marqueurs, react-leaflet-markercluster est utilisé. Le plugin regroupe les marqueurs adjacents, réduisant le fardeau de rendu, améliorant l'expérience utilisateur et fournissant un affichage de carte plus clair qui maintient des performances stables même avec des millions d'enregistrements.

Dessin de polygone

react-leaflet-draw permet aux utilisateurs de dessiner des polygones directement sur la carte. Cette fonctionnalité permet:

• Obtient les coordonnées des sommets de polygon pour le filtrage de la requête de base de données.
• Intégrez d'autres filtres (état, ville, choix communautaire) dans le processus d'interaction MAP pour offrir une expérience intuitive.
• Utilisez des couches personnalisées pour distinguer les enregistrements, les catégories et autres propriétés.
• L'optimisation de la carte adopte une stratégie de chargement paresseuse, chargeant uniquement des données dans les zones visibles, réduisant la charge sur les clients et les serveurs.

Base de données et index

Les tables utilisées sont similaires aux tables d'utilisateurs, mais se concentrent sur les adresses et les coordonnées. Les coordonnées sont stockées dans la colonne POINT , qui représente un point dans le système de coordonnées géographiques. Ajout d'index géospatiaux pour optimiser les requêtes.

Comment fonctionnent les index géospatiaux

L'indexation géospatiale est une structure de données spéciale qui accélère la requête des données spatiales (points, lignes, polygones). MySQL utilise R-Tree pour implémenter l'indexation spatiale pour les colonnes POINT , LINESTRING ou POLYGON . Il organise des données spatiales à travers une hiérarchie, divisant l'espace en zones plus petites, positionnant ainsi rapidement les zones liées à des requêtes spécifiques.

Fonctions géospatiales

Les fonctions géospatiales de MySQL (telles que ST_Contains , ST_Within , ST_Intersects ) utilisent des index pour identifier les enregistrements dans une région spécifique. Par exemple:

 <code class="sql">SELECT id, name, address FROM users WHERE ST_Contains( ST_GeomFromText('POLYGON((...))'), coordinates );</code>

ST_GeomFromText crée des polygones basés sur les coordonnées envoyées par l'application, ST_Contains utilise l'index géospatial pour vérifier les points dans le polygone.

Résumé final

Une fois le projet terminé, certaines le?ons méritent d'être partagées:

1. Migration des coordonnées: les coordonnées précédentes sont stockées dans des colonnes de latitude et de longitude distinctes et les indices géospatiaux ne peuvent pas être utilisés. La solution consiste à créer une nouvelle colonne de coordonnées et à migrer les données existantes vers cette colonne.
2. Efficacité JavaScript: les performances doivent être prises en compte lors du choix d'une méthode itérative. Par exemple, Array.map a une syntaxe propre, mais peut ne pas fonctionner aussi bien que des boucles. Les tests de performance sont requis en fonction de la situation spécifique.
3. Solution d'optimisation: utilisez des technologies telles que le chargement paresseux et l'agrégation pour améliorer l'efficacité et l'expérience utilisateur.
4. Traitement et vérification des données: évitez les recherches de données en double inutiles. Optimiser les stratégies de mise à jour des données, telles que les mises à jour locales, les mises à jour par lots, etc.

Ce projet montre que les détails déterminent le succès ou l'échec. L'optimisation ciblée, éviter le gaspillage de ressources et de bonnes pratiques de développement peut non seulement améliorer les performances, mais également améliorer la qualité globale du projet. Enfin, il est crucial de se concentrer constamment sur la livraison du projet.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!