logo

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.

MongoDB:

  • Créer un script de tests de stress (ajouter le plus de documents possible rapidement)
  • Créer un mode de chaos avec élections fréquentes disponibles en non-prod (pour tester les applications avec une base de données instable)

Hadoop

  • Supporter la nouvelle version Cloudera Hadoop 6
  • Ajouter une fonctionnalité pour accéder aux bases de données Hive temporairement selon les permissions dans un système interne

Databricks

  • Créer un exemple de librairie personnalisée et documenter le flux de développement

MQ Admin

  • Créer un nouveau système libre-service pour gérer les queues de messages
  • Permettre d’importer toutes les queues et dépendances d’une Queue Manager existant
  • Gérer toutes les dépendances d’une Remote Queue en suivant une convention de nom

Kafka

  • Créer un nouveau système libre-service pour gérer les topics
  • Permettre de partager la gestion entre différentes équipes par préfixes de topics
  • Permettre de gérer les clusters Kafka et les topics avec un flot à la GitOps

Proof of Concept:

  • Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Gérer une stagiaire
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , , , ,

Initialement, j’utilisais Supervisord lorsque j’avais besoin d’exécuter plusieurs applications dans un conteneur Docker. Par contre, cela impliquait d’installer cette application Python en plus de tout l’environnement Python dans toutes les images Docker à utiliser.

Au lieu de l’installer dans toutes les images, je voulais « monter » un répertoire avec les logiciels communs. Comme c’est en Python, il faudrait aussi « monter » Python, ce qui n’est pas simple.

À la place, j’ai créé un logiciel en Golang qui peut exécuter plusieurs applications.

Spécificités:

  • Fichier de configuration en JSON
  • Affiche les stdout/stderr dans le stdout/stderr commun pour tout voir avec « docker logs »
  • Dès qu’une application s’arrête, toutes les autres applications sont arrêtées

Il est disponible:

Technologies:

Une application pour aider à configurer des bases de données.

Spécificités:

  • Prends un fichier de configuration en format JSON avec toutes les informations sur l’état final désiré.
  • Crée et efface les bases de données.
  • Crée et efface les utilisateurs.
    • Peut en ignorer certains, tels ceux administratifs (root).
  • Donne et enlève les permissions des utilisateurs sur les bases de données.
  • Supporte MariaDB et MongoDB.
  • Peut rouler continuellement et réappliquer l’état désiré périodiquement et lorsque le fichier de configuration change.

Disponibilité:

Technologies: , ,

Auparavant, j’utilisais Apache James directement, mais ce n’était pas optimal pour facilement configurer cette application avec mes composantes supplémentaires de gestion des comptes et des redirections.

Spécificités:

  • Utilise Apache James comme librairie à cette application Java
  • Utilise MariaDB
  • Lit un fichier de configuration en JSON et vérifie s’il est modifié. Il configure
    • Les domaines servis
    • Les comptes avec leur mot de passe (en clair ou en SHA-512)
    • Les redirections

Disponibilité:



Technologies: , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql.

MongoDB:

  • Créer un Agent qui configure les bases de données localement
  • Ajout de détails en temps réel à propos des différentes bases de données sur le site libre-service
  • Onglet pour permettre de mettre à jour la version de plusieurs bases de données en même temps

License Manager:

  • Finaliser le logiciel web pour qu’il soit prêt à être utilisé en production
  • Ajouter un moteur de règles pour automatiquement attacher des licences à des items qui consomment des licences

Hadoop

  • Intégration avec le License Manager

Proof of Concept:

  • Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Présenter nos outils libre-service de MongoDB dans des expositions internes
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , ,