Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.
MongoDB:
- Créer un script de tests de stress (ajouter le plus de documents possible rapidement)
- Créer un mode de chaos avec élections fréquentes disponibles en non-prod (pour tester les applications avec une base de données instable)
Hadoop
- Supporter la nouvelle version Cloudera Hadoop 6
- Ajouter une fonctionnalité pour accéder aux bases de données Hive temporairement selon les permissions dans un système interne
Databricks
- Créer un exemple de librairie personnalisée et documenter le flux de développement
MQ Admin
- Créer un nouveau système libre-service pour gérer les queues de messages
- Permettre d’importer toutes les queues et dépendances d’une Queue Manager existant
- Gérer toutes les dépendances d’une Remote Queue en suivant une convention de nom
Kafka
- Créer un nouveau système libre-service pour gérer les topics
- Permettre de partager la gestion entre différentes équipes par préfixes de topics
- Permettre de gérer les clusters Kafka et les topics avec un flot à la GitOps
Proof of Concept:
- Créer un projet pour tester l’outil Kafka pour Greenplum.
Autre:
- Ajouter de la documentation dans tous les projets que j’ai participé.
- Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
- Gérer une stagiaire
- Faire passer des entrevues