Neel Shah

Responsable technique · Ingenieur senior en donnees

Profil

Responsable technique et ingenieur senior en donnees avec plus de 10 ans d\'experience dans la creation et la livraison de plateformes cloud, data et logicielles en sante et en services financiers. Il dirige et accompagne une equipe de six ingenieurs, oriente les decisions d\'architecture et d\'ingenierie et collabore avec les parties prenantes durant tout le SDLC. Son experience comprend des plateformes traitant plus d\'un milliard de points de donnees de sante et plus d\'un million de transactions financieres par heure.

10+
Annees d'experience
1B+
Points de donnees de sante
1M/h
Transactions
94
Bases de code PySpark
6
Ingenieurs encadres
3M+
Telechargements OSS

Leadership et IA

Leadership et livraison
  • Leadership d'equipes transversales
  • Planification et feuilles de route
  • Priorisation du backlog
  • Gestion des parties prenantes
  • Agile / Scrum et SDLC
  • Gestion des versions
  • Mentorat et recrutement technique
Deploiement et operations IA
  • Deploiement de modeles en production
  • MLOps et suivi des modeles
  • Optimisation de l'inference
  • Personnalisation de modeles open source
  • Ingenierie de prompts
  • AWS Bedrock

Competences techniques

Ingenierie des donnees
Python · SQL · PySpark · Apache Spark · ETL · Data lakes
Cloud et plateformes
Azure · AWS · Databricks · Docker · CI/CD
Architecture
API REST · FastAPI · Microservices · Systemes distribues
Analytique
Power BI · Elasticsearch · Suivi des modeles · TALN
Sante
Donnees nationales · Classification clinique · Analyse des medicaments
Services financiers
Risque de credit · Fraude · Moteurs de politiques · Pistes d'audit
Conformite
PII · PIPEDA · Controles reglementaires · Accessibilite WCAG
Operations
Incidents de production · Gestion des versions · Fiabilite

Parcours professionnel

Institut canadien d'information sur la sante (ICIS)
Responsable technique / Consultant de programme
Juillet 2023 - aujourd'hui
Ottawa, ON
AWS BedrockIAPySparkPythonDonnees de santeLeadership
  • Dirige la livraison de bout en bout de produits nationaux de donnees de sante avec une equipe de six ingenieurs, de la planification au soutien en production.
  • Dirige une initiative IA sur AWS Bedrock qui associe la CIM-10 a la CIM-11 et resume les notes cliniques afin d'ameliorer le regroupement et la classification hospitaliere.
  • A livre en un trimestre et sous le budget une solution IA pour les monographies et indications pharmaceutiques, permettant l'analyse nationale des couts et tendances des medicaments avec POP Grouper.
  • A concu une architecture IA locale axee sur la confidentialite afin de proteger les donnees et infrastructures de sante sensibles.
  • A modernise CMG Grouper de SAS vers Python et PySpark, reduisant de trois jours a moins d'une heure le traitement de 24 millions d'enregistrements.
  • A livre des pipelines POP Grouper traitant plus d'un milliard de points de donnees de sante pour l'analyse et les rapports nationaux.
  • Gere les priorites, les risques, les versions et les mises a niveau trimestrielles de 94 bases de code PySpark, tout en accompagnant les ingenieurs.
EXL Service (mandat chez Goldman Sachs)
Consultant principal
Mai 2022 - Juillet 2023
Ottawa, ON
PySparkPythonFastAPIRisque de creditServices financiers
  • A coordonne quatre ingenieurs sur deux projets simultanes de risque de credit et de fraude, en collaboration avec les parties prenantes metier.
  • A construit et pris en charge le moteur central de politiques Apple Card, Walmart Card et GM Card avec Python, PySpark et FastAPI, traitant plus d'un million de transactions par heure avec controles PII et pistes d'audit.
  • A concu des API REST traitant plus de 1 000 demandes par minute avec des temps de reponse inferieurs a la seconde.
  • A resolu plusieurs incidents de production P0, contribuant a eviter plus de 10 millions de dollars d'exposition au risque client.
  • A developpe une automatisation Python et PyUnit reduisant de 60 % le temps des tests de bout en bout.
  • A evalue les choix technologiques et participe aux entretiens et a la selection des ingenieurs.
Canopy Growth Corporation
Architecte systemes web
Juillet 2021 - Avril 2022
Ottawa, ON
PythonFastAPIDockerAWSMongoDBMicroservices
  • A virtualise les environnements AEM de developpement et de production avec Docker, Python et AWS, economisant 5 millions USD par an.
  • A dirige la modernisation et la livraison de 42 sites de marque, faisant passer l'equipe du mode cascade a l'agile.
  • A concu et lance un microservice partage Python et FastAPI sur Docker et AWS pour la recherche de produits, le paiement et les flux communs, a 100 000 requetes par heure.
  • A construit un outil automatise d'analyse WCAG et des API de rapports KPI pour l'ensemble du portefeuille numerique.
Manuvie
Developpeur Python senior
Aout 2020 - Juillet 2021
Waterloo, ON
AzurePythonPower BICI/CDInfrastructure cloud
  • A construit, maintenu et fait evoluer une infrastructure cloud Azure de plus de 1 800 serveurs Windows et Linux avec un SLA de 99,99 %.
  • A developpe des scripts d'automatisation pour la supervision, le patching et la maintenance des serveurs avec Python, API REST et Azure.
  • A cree des tableaux de bord Power BI en temps reel pour l'infrastructure Azure, donnant a l'equipe d'operations une visibilite continue sur plus de 1 800 serveurs.
  • A developpe et maintenu des scripts Python pour l'environnement de calcul distribue AXIS et Moody's, reduisant les couts operationnels de 5 %.
  • A automatise le pipeline CI/CD avec Python, Docker et Git, en reduisant de 45 minutes le temps de debogage grace a des tests automatises des environnements Azure.
SITA
Developpeur Python
Septembre 2019 - Juin 2020
Montreal, QC
PythonAzureMicroservicesPower BISystemes temps reel
  • A concu et developpe un systeme analytique aeroportuaire en temps reel integrant LiDAR et materiel camera avec Python et programmation reactive, pour offrir une conscience operationnelle en direct.
  • A pilote la migration d'une base de code Python 2 a grande echelle vers Python 3, en modernisant des systemes centraux sans interruption de service.
  • A transforme un systeme monolithique legacy en architecture microservices cloud sur Azure, avec des gains significatifs de scalabilite et de fiabilite.
  • A reduit de 30 minutes le temps des tests backend en integrant l'automatisation dans le pipeline CI.
  • A construit une plateforme globale de visualisation Power BI pour l'analyse des lignes produits Azure, permettant des decisions pilotees par la donnee a l'echelle de l'organisation.
Lakehead University
Assistant de recherche et developpeur Python
Novembre 2017 - Mai 2019
Thunder Bay, ON
PythonElasticsearchAWSETLTALNRecherche
  • A publie trois articles evalues par les pairs sur le TALN, l'analyse de sante publique et les systemes distribues, totalisant plus de 100 citations.
  • A concu un cluster Elasticsearch de 20 noeuds et une plateforme analytique AWS utilises par Sante Canada et les equipes internes de recherche.
  • A developpe un modele TALN Random Forest atteignant 93,4 % de precision pour la classification de sante publique a l'echelle populationnelle.
Datalog.ai
Developpeur Python
Janvier 2017 - Aout 2017
A distance
PythonAWSAPIsTALNChatbot
  • A construit une API analytique asynchrone pour chatbots capable de traiter des milliers de requetes par seconde.
  • A developpe plus de 5 tableaux de bord temps reel sur AWS pour l'analyse semantique et l'extraction de sujets de conversations chatbot.
  • A concu un algorithme de clustering pour des systemes d'aide a la decision conversationnels.
  • A cree des outils Python et Bash pour l'automatisation de centres d'appels, la conversion de donnees et l'integration API REST, JSON et CRUD.
Panchamrut Dairy
Developpeur Python et analyste de donnees
Juillet 2014 - Decembre 2016
Godhra, Gujarat, Inde
PythonSAPSeries temporellesETLPower BI
  • A construit un systeme d'analyse en temps reel des couts produits bruts et de la logistique transport avec SAP et Python.
  • A developpe un modele de prevision des ventes par series temporelles pour les lignes de glaces avec une efficacite de prediction de 71 %.
  • A concu une logique ETL et un pipeline de generation de rapports pour les donnees ventes, couts et stocks dans plusieurs formats, dont Excel, CSV et PDF.
  • A collabore avec les responsables data warehouse pour evaluer et revoir l'architecture ETL, en ameliorant le debit et la maintenabilite des pipelines.

Formation

M.Sc. Informatique
Lakehead University
GPA 3,9 / 4,0 · 2017-2019
Thunder Bay, ON, Canada
Finance par le CRSNG
M.Sc. Technologies de l'information
Gujarat Technology University
CGPA 8,73 / 10 · 2014-2016
Vadodara, Inde
B.Eng. Informatique
Gujarat Technology University
CGPA 7,23 / 10 · 2010-2014
Vadodara, Inde
1er rang - certificat d'excellence

Recherche et publications

3 articles evalues par les pairs 89+ citations Subvention de decouverte CRSNG - 7 000 $/an
A Framework for Social Media Data Analytics using Elasticsearch and Kibana
64 citations
Shah N., Willick D.L., Mago V.K. · Wireless Networks, Springer (2018)
DOI: 10.1007/s11276-018-01896-2
Assessing Canadians Health Activity and Nutritional Habits Through Social Media
25 citations
Shah N., Srivastava G., Savage D.W., Mago V. · Frontiers in Public Health (2020)
DOI: 10.3389/fpubh.2019.00400
The Analysis of Canada's Health Through Social Media Using Machine Learning
Shah N. · Lakehead University Knowledge Commons (2019)

Open source notable

Langues

Anglais Langue maternelle / bilingue
Hindi Langue maternelle / bilingue
Gujarati Langue maternelle / bilingue
Francais Niveau elementaire
Sanskrit Niveau limite

Telechargements