Cogelec · Python · Data engineering

Traitements de données en Python

Automatiser l’extraction de données de production depuis PMI, les transformer avec Python et pandas, puis produire des exports CSV enrichis et exploitables.

Contexte chez Cogelec

Des informations issues de PMI devaient être extraites et préparées pour alimenter un fichier de suivi des ordres de fabrication. Le traitement devait réunir des données provenant de SQL Server, appliquer les transformations nécessaires, puis produire un fichier CSV conforme au format attendu par les utilisateurs.

Chaîne de traitement

  • Connexion à la base SQL Server de PMI à l’aide du pilote Python pymssql.
  • Extraction des données nécessaires au suivi des ordres de fabrication à partir d’une requête SQL.
  • Chargement et manipulation des résultats avec pandas.
  • Rapprochement des données extraites avec des informations complémentaires stockées dans la base.
  • Enrichissement de l’export CSV, notamment avec une colonne de commentaire associée aux données de production.
  • Écriture du résultat dans le fichier attendu, en conservant la structure nécessaire au traitement aval.

Traitement des données et contrôles

Le script s’appuie sur SQL pour sélectionner et rapprocher les données, puis sur pandas pour organiser les résultats avant leur export. Une attention particulière a été portée à la présence des colonnes attendues et à la cohérence du fichier produit.

Le traitement des commentaires nécessitait une étape d’enrichissement distincte de l’extraction principale. Ce point a conduit à vérifier le comportement du script selon son mode de lancement et à rendre les erreurs observables lors des exécutions automatisées.

Automatisation de l’exécution

Le script pouvait être lancé manuellement, mais devait également fonctionner dans un contexte automatisé. Le lancement a été intégré à une chaîne utilisant un fichier batch et Power Automate/RobotIntern. Le diagnostic a porté sur les différences d’environnement entre l’exécution dans VS Code et l’exécution automatisée, ainsi que sur la journalisation des traitements.

Cette étape permet de suivre le déroulement du traitement sans dépendre d’une fenêtre de console visible par un utilisateur.

Environnement technique

Le traitement relie les données d’un ERP à un export opérationnel : accès SQL Server, transformations en Python, enrichissement avec des données complémentaires et génération d’un fichier CSV destiné à être réutilisé.

Python pandas pymssql SQL Server PMI CSV Power Automate RobotIntern

Compétences mobilisées

  • Interroger une base relationnelle depuis un script Python.
  • Structurer un traitement d’extraction et de transformation de données.
  • Manipuler et enrichir des jeux de données avec pandas.
  • Produire un export CSV répondant à un format existant.
  • Diagnostiquer les écarts entre exécution manuelle et automatisée.
  • Prévoir des journaux pour faciliter le suivi d’une exécution sans supervision.
Confidentialité : les chemins de fichiers, paramètres de connexion, identifiants, noms de tables et données de production de Cogelec ne sont pas publiés sur cette page.
← Retour aux réalisations