logo

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.

Je continu de travailler sur les plateformes de gestion de produits pour les produits: MongoDB, Hadoop, Kafka et MQ.

Quelques activités depuis le début de l’année:

  • Géréral:
    • Aider les membres de ces équipes avec l’architecture et le développement.
    • Aider avec la maintenance, les investigations et les fixes.
  • MongoDB
    • Modifier le système pour permettre de créer des collections et indexes directement dans la base de données et quand même auditer qui a fait quoi et quand.
    • Ajouter à nos outils la possibilité de créer des bases de données sur le cloud en utilisant MongoDB Atlas
    • Migrer de Java 8 à Java 11.
    • Migrer le WebUI d’AngularJS à ReactJS.
    • Aider à créer un modèle et la logique de calculs pour la rétrofacturation du service aux départements.
    • Permettre au système de supporter des bases de données avec des centaines de milliers de collections.
  • Kafka
    • Créer une commande qui vérifie qu’un cluster Kafka est dans l’état désiré sur tous ces sous-clusters: les topics, les permissions, les schemas dans le Schema Registry, …
    • Permettre au système de supporter des milliers de topics par équipe.
    • Améliorer la librairie pour permettre le cryptage pour supporter les Azure Keyvault
  • Redis
    • Préparer les requis pour ce prochain produit à intégrer.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.

Je continu de travailler sur les plateformes de gestion de produits pour les produits: MongoDB, Hadoop, Kafka et MQ.

Pour moi, cette année a été surtout sur le thème de mettre à jour et d’intégrer les différentes plateformes de gestion de produits avec d’autres systèmes internes:

  • Intégration avec le système interne de gestion de changements.
  • Intégration avec le système interne de permissions.
  • Ajouter une barrière supplémentaire pour l’accès direct aux données par des utilisateurs humains.
  • Mettre à jour les sous-couches: Tomcat 8, Java 11 RedHat 7.
  • Activer le cryptage en transit (HTTPS et TLS) à certains endroits qui ne l’avaient pas.

En même temps de faire ces tâches directement, j’ai beaucoup (environ 70% de mon temps) aidé les membres de mon équipe en tant que tech lead pour:

  • Faciliter le processus de développement à la mise en prod.
  • Guider l’architecture des diverses fonctionnalités qu’ils avaient à créer.
  • Aider à investiguer les problèmes.
  • Faire du transfert de connaissances pour les produits que je supportais dans le passé.

Autre:

  • Créer une librairie pour permettre le cryptage et la gestion des clés de cryptages des messages dans Kafka.
  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.

MongoDB:

  • Créer un script de tests de stress (ajouter le plus de documents possible rapidement)
  • Créer un mode de chaos avec élections fréquentes disponibles en non-prod (pour tester les applications avec une base de données instable)

Hadoop

  • Supporter la nouvelle version Cloudera Hadoop 6
  • Ajouter une fonctionnalité pour accéder aux bases de données Hive temporairement selon les permissions dans un système interne

Databricks

  • Créer un exemple de librairie personnalisée et documenter le flux de développement

MQ Admin

  • Créer un nouveau système libre-service pour gérer les queues de messages
  • Permettre d’importer toutes les queues et dépendances d’une Queue Manager existant
  • Gérer toutes les dépendances d’une Remote Queue en suivant une convention de nom

Kafka

  • Créer un nouveau système libre-service pour gérer les topics
  • Permettre de partager la gestion entre différentes équipes par préfixes de topics
  • Permettre de gérer les clusters Kafka et les topics avec un flot à la GitOps

Proof of Concept:

  • Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Gérer une stagiaire
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql.

MongoDB:

  • Créer un Agent qui configure les bases de données localement
  • Ajout de détails en temps réel à propos des différentes bases de données sur le site libre-service
  • Onglet pour permettre de mettre à jour la version de plusieurs bases de données en même temps

License Manager:

  • Finaliser le logiciel web pour qu’il soit prêt à être utilisé en production
  • Ajouter un moteur de règles pour automatiquement attacher des licences à des items qui consomment des licences

Hadoop

  • Intégration avec le License Manager

Proof of Concept:

  • Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Présenter nos outils libre-service de MongoDB dans des expositions internes
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql.

MongoDB:

  • Analyser et préparer un plan pour un site libre service et pour les intégrations dans l’environnement de Morgan Stanley pour gérer des bases de données en utilisant l’API de Ops Manager .
  • Créer un site web libre service pour gérer les clusters, les bases de données, les permissions, les collections, les indexes et le sharding.
  • Créer un API REST pour le site web et aussi pour un client en ligne de commande (CLI).
  • Créer un agent et le service d’orchestration pour gérer les configurations de tous les serveurs de MongoDB.

Proof of Concept:

  • Créer un projet pour tester le connecteur Spark pour Greenplum.
  • Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
Technologies: , , , , , , , , , , , , ,