Pour charger un fichier csv dans un dataframe, il est possible d’utiliser la librairie pandas. Cette librairie permet notamment de définir le type de chaque colonne lors de la création du dataframe (via pandas.read_csv). Avec les dataframes, il est ensuite […]
python
15 articles
Avec les Google Cloud Functions, il est conseillé parfois de faire appel à des tables BigQuery temporaires pour gérer l’import de données et gérer d’eventuels imprévus (interruption, etc). Pour cela, des requetes SQL sont utilisées pour faire des ajouts (INSERT) […]
La plateforme Google Cloud Platform (GCP) permet de déployer facilement en ligne des micro-services (code executant des tâches rapides) grâce aux Google Cloud Functions. Les Google Cloud Functions permettent d’executer du code Python en ligne sans avoir à gerer l’infrastructure […]
Pour faire des requetes http en Python, une des librairies les plus utilisées est requests.Cette librairie permet de faire facilement des requetes sans écrire trop de code (moins qu’avec urllib). Il s’agit juste de préciser :Le type de requete (GET, […]
En utilisant les Google Cloud Functions, il est conseillé de stocker les informations modifiables (comme des informations d’authentification ou de parametrage) dans des fichiers JSON séparés (pour ne pas avoir à modifier le code Python pour changer simplement un paramètre). […]
Avec les Google Cloud Functions, la tache est simplifiée pour importer des données dans une table BigQuery. Avec les librairies Python de Google, il est facile de faire les etapes d’authentification (avec secretmanager) et les configurations pour l’environnement BigQuery (via […]
Pour ajouter des données dans un dataframe,plusieurs methodes existent selon le type d’operations à réaliser : Code d’exemple :
Pour manipuler des données, la librairie Pandas en Python facilite le travail grâce aux dataframes. Pour créer un dataframe, il s’agit d’associer des séries de données dans un dictionnaire (dans le langage de Python) :
Les conditions sont faciles à réaliser en Python. Il s’agit de définir la condition, le résultat si la condition est satisfaite, et, si besoin, le résultat si la condition n’est pas satisfaite. Le point d’attention concerne l’indentation (chaque bloc de […]
En Python, il est utile de pouvoir calculer des écarts entre des dates. La librairie datetime permet de faire cela facilement. Par exemple pour calculer la date de la veille : Et si on souhaite calculer l’ecart entre ces 2 […]
En construisant des flux de données, on est amené parfois à devoir manipuler les informations de date sous différents formats entre celui recu en entrée et celui à transmettre en sortie. Pour passer d’un timestamp à un datetime en python, […]
Avec les flux de données et les API, il est souvent utile de passer d’un datetime à un timestamp (selon les specifications des APIs). La librairie datetime en python permet de facilement faire cette conversion :