Ingestion, Transformation et Visualisation de data
Conception d'une Solution d'Ingestion de Données avec Nettoyage et Transformation et Visualisation via Tableaux de Bord.
1. Sources de Données :
Les différentes sources de données sont clairement représentées : IoT Sensors, Historical Database (RDS), et Third-Party Data (MySQL).
2. Ingestion des Données :
Les flux d'ingestion sont bien représentés avec AWS IoT Core et Kinesis Data Streams pour les capteurs IoT, AWS DMS pour la base de données historique, et AWS Lambda pour l'ingestion des données tierces. L'utilisation de Lambda est appropriée pour gérer l'ingestion de MySQL dans ce contexte.
3. Stockage des Données :
Amazon S3 est utilisé comme lac de données central, recevant les données de toutes les sources d'ingestion.
4. Transformation et Analyse des Données :
AWS Glue est utilisé pour la transformation des données, et Amazon EMR pour le traitement des données, conforme à l'exigence de réutiliser des technologies similaires à Hadoop.
Amazon QuickSight est bien positionné pour la visualisation des données transformées.
5. Sécurité et Gestion :
Les composants de sécurité et de gestion tels que IAM, CloudTrail, et CloudWatch sont intégrés, assurant une surveillance et une gestion des accès efficaces.
6. Utilisation du Service AWS Transfer Family :
AWS Transfer Family est adapté pour les transferts de fichiers sécurisés, surtout pour les données provenant de partenaires externes.
La séparation en zones dédiées comme "Data Source", "Storage-Transform", et "BI-Control" clarifie les différentes phases du traitement des données, offrant une meilleure lisibilité.