REMARQUE?: Ne divisez pas en deux parties, il n'y a pas assez de texte ici pour justifier la division et l'article se concentre sur la solution sans discuter des choix.

Besoin de générer des miniatures vidéo de manière efficace et rentable à grande échelle?? Créons une solution véritablement sans serveur à l'aide d'AWS Lambda dont l'exécution ne co?te que quelques centimes, par rapport à l'utilisation de services de traitement multimédia dédiés.

Ce que nous allons construire

La solution consiste en une fonction Node.js Lambda qui?:

• Traite les formats vidéo courants
• échelles basées sur la charge de travail
• Implémente une logique de nouvelle tentative pour les opérations ayant échoué
• Déploiement via Infrastructure as Code
• Co?te une fraction d'un centime par vidéo à exécuter

Pourquoi la personnalisation

Il n'est pas très simple, ni bon marché, de générer des vignettes à grande échelle. Le facteur co?t est particulièrement important dans le cas des vidéos : avec les images, tout ce que vous avez à faire est de redimensionner, de recadrer et de stocker la sortie du même type. Vous pouvez confier cette responsabilité à des services cloud tiers pour vous concentrer sur la fourniture d'autres fonctionnalités, ou avec juste un peu de travail, effectuer la tache sans quitter votre VPC AWS. Avec les vidéos, le cas est différent. Les fichiers vidéo sont beaucoup plus volumineux, nous devons prendre en charge de nombreuses normes d'encodage différentes et le résultat final n'est plus une vidéo?: nous extrayons essentiellement des images fixes.

AWS Native = Super cher

Lors de la recherche d'options, je me tourne toujours vers des solutions natives de la plateforme sur laquelle se trouve l'application. Dans AWS, c'est MediaConvert ou MediaLive. Les deux sont parfaits lorsque vous avez besoin d'un traitement vidéo de qualité professionnelle, mais lorsque tout ce que vous voulez, c'est récupérer une vignette d'une vidéo... eh bien, ils peuvent certainement le faire, mais sont-ils con?us pour gérer un tel cas d'utilisation ? Pas vraiment.

Aussi surprenant que cela puisse para?tre, AWS ne dispose pas de service dédié à la génération de vignettes. Les solutions disponibles se concentrent sur d'autres cas d'utilisation, tels que la prise en charge du streaming multimédia ou l'exécution de taches avancées de transformation vidéo.

Les problèmes sont assez évidents lorsque vous examinez les exigences pour créer une telle fonctionnalité avec ces services

• Lorsque vous travaillez avec les services AWS Media, il n'est pas possible de créer un pipeline de traitement sans sortie vidéo définie?: vous devez traiter une vidéo entière et ignorer le résultat uniquement pour utiliser les vignettes qui sont un sous-produit de ce processus.
• en tant que tel, c'est très cher en tant que générateur de vignettes - payer 0,0075?$ par minute de vidéo traitée peut ne pas sembler beaucoup, mais cela s'additionne très rapidement - pour 1 000 vidéos, chacune d'une durée de 15 minutes, le co?t du traitement serait supérieur à 100?$

La génération de quelques miniatures vidéo devrait-elle co?ter plus cher que votre café du matin?? ? C'est simplement parce que, aussi puissants que soient ces services, ils sont excessifs pour des taches simples comme la génération de vignettes.

Le co?t réel des services AWS Media n'est pas seulement en dollars : il réside dans la complexité dont vous n'avez souvent pas besoin.

Chaque fois que je rencontre une nouvelle exigence, mon esprit se met en mode ? trouver l'outil parfait pour le travail ?. J'ai prêché l'importance de ne pas suivre ce que vous savez et de toujours explorer autant d'alternatives que possible pour que je puisse commencer à ressembler à un disque rayé... mais je suppose que j'aime la mélodie que joue ce disque?! ??

Vous pouvez aussi appeler cela une condition médicale. Je suis pleinement conscient de mes problèmes de TOC en ingénierie... ?

Mais je m'éloigne du sujet...

Au-delà d'AWS

Bien s?r, il existe d'autres solutions, mais elles s'accompagnent souvent de leurs propres maux de tête?:

• Les services externes sont généralement facturés par appel API ou par quantité de données traitées
• Vous devez télécharger vos vidéos vers des services externes pour le traitement, ce qui signifie des co?ts de sortie encore plus élevés
• Ils peuvent ne pas évoluer correctement, vous laissant avec une limitation de gestion

Une solution sur mesure

Construisons quelque chose qui n'est pas seulement moins cher, mais qui est également axé sur ce dont nous avons réellement besoin?: une solution sans serveur qui génère des miniatures vidéo pour quelques centimes. ?

Le système utilise ces services et outils AWS?:

• Amazon S3 - Stockage des vidéos sources et des vignettes générées
• AWS Lambda - Environnement de calcul sans serveur
• FFmpeg - Framework de traitement vidéo
• Docker - Emballage de conteneur pour le code FFmpeg et Lambda
• Amazon SQS - File d'attente des messages pour la coordination du traitement

Lorsqu'une vidéo est téléchargée dans le compartiment source S3, elle déclenche un événement qui met en file d'attente la demande de traitement. Une fonction Lambda le récupère et le traite à l'aide de FFmpeg exécuté dans un conteneur Docker. Les vignettes générées sont ensuite stockées dans un compartiment S3 cible. Les problèmes transitoires récupérables tels que les problèmes de limitation ou liés à l'infrastructure sont automatiquement réessayés, tandis que tous les autres événements ayant échoué sont automatiquement envoyés dans une file d'attente de lettres mortes à des fins d'audit.

Le service génère automatiquement des vignettes vidéo en deux tailles. La version plus grande comprend une ic?ne vidéo semi-transparente au centre du cadre, aidant les utilisateurs à identifier rapidement le contenu vidéo.

Exemple de projet

• Tirer de GH

Service

• orchestration Utilisation du traitement vidéo
• FFmpeg
• deux types de vignettes
• différentes tailles dont une avec une superposition FFmpeg dans un conteneur
• c'est ainsi que nous rendons la CLI Ffmpeg disponible pour Lambda
• Fichier Docker Déploiement
• Construction de conteneurs
• Déploiement sans serveur
• Définition Lambda Dockerisée Tests
• int
• e2e Sans serveur
• autre chose à ce stade??

Le conteneur magique ?

Voici notre Dockerfile qui regroupe FFmpeg avec Lambda?:

Montre-moi l'argent?! ?

Décomposons les co?ts de traitement de 1000 vidéos par mois?:

AWS MediaConvert

• 0,08?$ par minute de vidéo
• 1 000 vidéos × 0,08 $ = 80 $

Notre solution

• Lambda?: 1024?Mo × 10s × 1000 = 0,17?$
• S3?: Stockage GET/PUT = 0,05?$
• Total?: 0,22?$

Cela représente une réduction des co?ts de 99,7?%?! ?

Qu'est-ce qui pourrait mal tourner ? ?

Bien que cette solution soit géniale, elle n'est pas sans pièges?:

• Utilisation de la mémoire?: FFmpeg peut être gourmand en mémoire. Si vous traitez des vidéos 4K, vous devrez peut-être augmenter la mémoire Lambda.
• Limites de délai d'attente?: pour les vidéos très longues, vous pouvez atteindre le délai d'attente de Lambda. Pensez à utiliser des fonctions step pour ces cas.
• Démarrages à froid?: le conteneur est assez grand, donc les premiers appels peuvent être plus lents.

Quelle est la prochaine étape?? ?

Ce n'est que le début?! Vous pouvez étendre cette solution à?:

• Générer plusieurs tailles de vignettes
• Extraire les métadonnées vidéo
• Créer des GIF d'aper?u
• Ajouter des filigranes vidéo

Conclusion ?

Nous avons créé une solution rentable et évolutive pour la génération de vignettes vidéo qui ne vous ruinera pas. Ne payez plus pour des fonctionnalités dont vous n'avez pas besoin?!

N'oubliez pas?: Parfois, la meilleure solution n'est pas la plus co?teuse ou la plus complexe - c'est celle qui fait exactement ce dont vous avez besoin, ni plus, ni moins.

Note

Vous avez trouvé cela utile?? Pensez à me suivre pour plus de contenu AWS et sans serveur?! Et si vos vignettes ressemblent à de l'art moderne au lieu de votre vidéo... eh bien, vérifiez d'abord le format de votre vidéo, puis déposez un commentaire ci-dessous?! ?

Blagues mises à part, j'aimerais entendre parler de vos expériences avec le traitement vidéo dans AWS. Avez-vous trouvé d’autres moyens créatifs d’optimiser les co?ts?? Partagez dans les commentaires !

Clause de non-responsabilité

Bien que cette solution ait été testée en production, veuillez la tester minutieusement dans votre propre environnement avant de la déployer. Si quelque chose prend feu, j’ai une excellente recette de guimauves?! ?

--- Mes notes - points de discussion pour l'article

Pourquoi Docker avec Lambda - pas le premier choix, parfois le seul choix, alternative aux couches
C'est très bon marché à exécuter par rapport aux services AWS Media
C'est rapide, lancez une comparaison sur différentes tailles de fichiers
Ffmpeg testable

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!