A python data pipeline for data engineering

Le code source du projet est localisé sous src, les tests sous test les données sous data.

• src/drugs_pipeline.py : Pipeline de calcul du graphe de dépendance.
• src/drugs_analytics.py : Traitement ad-hoc pour calculer le journal avec le plus de références de médicaments.
• src/utils/*.py : Routines de traitements utilisés dans les pipelines.
• test/*.py : Des tests qui valident les pipelines developées.

Plusieurs modélisations étaient envisageables pour le graphe de dépendance. Nous avons choisi un modèle plat basé sur les drugs et leur références. Chaque ligne représente un drug, sa référencce éventuelle vers une publication de type pubmed ou clinical trial, les journaux dans lesquels cette publication est apparue ainsi que la date de publication. Il a fallut faire quelques réajustement : * Unification des colonnes scientific_title(clinical_trials) et title(pubmed) * Ajout d'une nouvelle colonne type avec les valeurs pubmed and clinical trials

Pourquoi ce choix de modélisation ?

• La simplicité : Notre modélisation est simple à cerner et permet rapidement de jouer avec la données et produire des insights.
• La performance : Il y'a toujours des compromis dans les choix de modélisation. Cela dit, on choisi la modélisation qui permet d'optimisier les requêtes/traitements qui se feront sur la base de cette modélisation. Dans le cas présent, le traitement demandé dans la partie ad-hoc s'y prête bien. Cette modélisation permet de répondre à la plus part des cas d'utilisation.

Résultat de la pipeline basé sur les échantillons fournis

Sample du fichier Json produit :

[
  {
    "atccode": "A04AD",
    "drug": "DIPHENHYDRAMINE",
    "id": "1",
    "title": "A 44-year-old man with erythema of the face diphenhydramine, neck, and chest, weakness, and palpitations",
    "journal": "Journal of emergency nursing",
    "type": "pubmed",
    "reference_date": "2019-01-01T00:00:00.000Z"
  },
  {
    "atccode": "A04AD",
    "drug": "DIPHENHYDRAMINE",
    "id": "2",
    "title": "An evaluation of benadryl, pyribenzamine, and other so-called diphenhydramine antihistaminic drugs in the treatment of allergy.",
    "journal": "Journal of emergency nursing",
    "type": "pubmed",
    "reference_date": "2019-01-01T00:00:00.000Z"
  }
]

Résultat obtenu sur la base du sample fourni

[
  {
    "journal": "Psychopharmacology",
    "count": 2
  }
]

Les choix de librairie, de framework et de design de pipeline ont été fait pour garantir :

• La simpliccité
• La réutilisabilité et la maintenabilité
• La scalabilité

Si il fallait gérer des fichiers de plusieurs To ou des millions de fichiers par exemple, les évolutions seraient mineurs. En effet, nous avons choisi Apache Spark comme moteur de calcul. Ainsi le code présent permet aussi bien de traiter des workloads simples et léger mais aussi des workloads complexes avec des volumétries importantes. Les adaptations se feront au niveau de l'infrastructure sur laquelle ce code est exécuté (Taille du cluster, CPU alloué, RAM disponible)

Pour les besoins de l'exercice nous avons introduit pandas( Permet de manipuler des Dataframes avec plus de flexibilité que avec les Dataframe Spark, mais est limité quand il s'agit d'exécuter des workloads importants). Cela a pour effet de ramener la donnée sur le driver. Ce qui est à éviter dans un contexte où les les tailles de données deviennent important.

Ainsi en retirant les étapes de convertion vers pandas et en écrivant la donnée de façon distribuée, le présent code reste utilisable.

Les requêtes SQL dans la suite ont été écrites pour fonctionner dans le moteur de base de données relationelles MySQL(MySQL v5.7). Elles sont pensées avec simplicité pour s'adapter à la plus part des moteurs d'exécution avec des adaptations. Ces requêtes peuvent être testées par ici https://www.db-fiddle.com/ en utilisant le DDL suivant.

CREATE TABLE product_nomenclature (
    product_id bigint PRIMARY KEY,
    product_type VARCHAR(30),
    product_name VARCHAR(30)
);

CREATE TABLE transactions (
    date date,
    order_id bigint,
    client_id bigint,
    prod_id bigint,
    prod_price DECIMAL(10, 2),
    prod_qty bigint,
    FOREIGN KEY (prod_id) REFERENCES product_nomenclature(product_id)
    ON DELETE SET NULL  ON UPDATE CASCADE
);

INSERT INTO product_nomenclature VALUES(490756, "MEUBLE", "Chaise");
INSERT INTO product_nomenclature VALUES(389728, "DECO", "Boule de Noël");
INSERT INTO product_nomenclature VALUES(549380, "MEUBLE", "Canapé");
INSERT INTO product_nomenclature VALUES(293718, "DECO", "Mug");

INSERT INTO transactions VALUES("20/01/01", 1234, 999, 490756, 50, 1);
INSERT INTO transactions VALUES("20/01/01", 1234, 999, 389728, 3.56, 4);
INSERT INTO transactions VALUES("20/01/01", 3456, 845, 490756, 50, 2);
INSERT INTO transactions VALUES("20/01/01", 3456, 845, 549380, 00, 1);
INSERT INTO transactions VALUES("20/01/01", 3456, 845, 293718, 10, 1);
INSERT INTO transactions VALUES("19/01/03", 3457, 846, 490756, 134, 6);
INSERT INTO transactions VALUES("19/02/08", 3458, 847, 389728, 100, 7);
INSERT INTO transactions VALUES("19/05/03", 3459, 848, 490756, 10, 0);
INSERT INTO transactions VALUES("19/12/31", 3460, 849, 549380, 100, 5);

SELECT date, SUM(prod_price) AS ventes FROM transactions
    WHERE date BETWEEN '19/01/01' AND '19/12/31'
    GROUP BY date   

Exemple de résultat sur la base de l'échantillon dans la partie DDL

SELECT clients.client_id, COALESCE(ventes_meubles, 0) AS ventes_meuble, COALESCE(ventes_deco, 0) AS ventes_deco FROM
    (SELECT distinct client_id FROM transactions) AS clients

    LEFT OUTER JOIN 

    (SELECT client_id, SUM(prod_price) AS ventes_meubles FROM transactions, product_nomenclature
    WHERE prod_id = product_id AND product_type = "MEUBLE" AND date BETWEEN '20/01/01' AND '20/12/31'
    GROUP BY client_id) AS ventes_meubles_table
    ON clients.client_id = ventes_meubles_table.client_id

    LEFT OUTER JOIN

    (SELECT client_id, SUM(prod_price) AS ventes_deco FROM transactions, product_nomenclature
    WHERE prod_id = product_id AND product_type = "DECO" AND date BETWEEN '20/01/01' AND '20/12/31'
    GROUP BY client_id) AS ventes_deco_table
    ON clients.client_id = ventes_deco_table.client_id;

Exemple de résultat sur la base de l'échantillon dans la partie DDL