logo

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.

Je continu de travailler sur les plateformes de gestion de produits pour les produits: MongoDB, Hadoop, Kafka et MQ.

Pour moi, cette année a été surtout sur le thème de mettre à jour et d’intégrer les différentes plateformes de gestion de produits avec d’autres systèmes internes:

  • Intégration avec le système interne de gestion de changements.
  • Intégration avec le système interne de permissions.
  • Ajouter une barrière supplémentaire pour l’accès direct aux données par des utilisateurs humains.
  • Mettre à jour les sous-couches: Tomcat 8, Java 11 RedHat 7.
  • Activer le cryptage en transit (HTTPS et TLS) à certains endroits qui ne l’avaient pas.

En même temps de faire ces tâches directement, j’ai beaucoup (environ 70% de mon temps) aidé les membres de mon équipe en tant que tech lead pour:

  • Faciliter le processus de développement à la mise en prod.
  • Guider l’architecture des diverses fonctionnalités qu’ils avaient à créer.
  • Aider à investiguer les problèmes.
  • Faire du transfert de connaissances pour les produits que je supportais dans le passé.

Autre:

  • Créer une librairie pour permettre le cryptage et la gestion des clés de cryptages des messages dans Kafka.
  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql et Messaging.

MongoDB:

  • Créer un script de tests de stress (ajouter le plus de documents possible rapidement)
  • Créer un mode de chaos avec élections fréquentes disponibles en non-prod (pour tester les applications avec une base de données instable)

Hadoop

  • Supporter la nouvelle version Cloudera Hadoop 6
  • Ajouter une fonctionnalité pour accéder aux bases de données Hive temporairement selon les permissions dans un système interne

Databricks

  • Créer un exemple de librairie personnalisée et documenter le flux de développement

MQ Admin

  • Créer un nouveau système libre-service pour gérer les queues de messages
  • Permettre d’importer toutes les queues et dépendances d’une Queue Manager existant
  • Gérer toutes les dépendances d’une Remote Queue en suivant une convention de nom

Kafka

  • Créer un nouveau système libre-service pour gérer les topics
  • Permettre de partager la gestion entre différentes équipes par préfixes de topics
  • Permettre de gérer les clusters Kafka et les topics avec un flot à la GitOps

Proof of Concept:

  • Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Gérer une stagiaire
  • Faire passer des entrevues
Technologies: , , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de Business Intelligence (BI).

Hadoop:

  • Pouvoir copier des fichiers entre utilisateurs et clusters selon les permissions de chacun.
  • Créer des exemples de projets utilisant Scala, Spark et Greenplum.
  • Pouvoir gérer les roles Sentry, les bases de données Hive et les permissions Sentry+Hive.

Support de WebIntel:

  • Créer une file sur le disque dur au lieu de garder les items en mémoire lorsque l’insertion à certaines bases de données est lente.
  • Créer des scripts pour aider à rejouer certains messages.

Service REST de métadonnées des bases de données:

  • Toute l’information utile pour gérer les bases de données (leur nom, emplacement physique, configuration, etc.) sont dans une base de données et j’ai créé un service REST pour exposer ces détails.
  • Créé en Python avec la librairie Flask.
  • Contient une interface Web en AngularJS pour naviguer entre les entités et faire des recherches.

MongoDB:

  • Analyser et préparer un plan pour un site libre service et pour les intégrations dans l’environnement de Morgan Stanley pour gérer des bases de données en utilisant l’API de Ops Manager .

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Créer une application web qui permet de chercher dans plusieurs fichiers logs en ordre chronologique entre ces fichiers. Cela permet de voir une action lancée par un service et l’exécution sur un autre.
Technologies: , , , , , , , , , , , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de Business Intelligence (BI).

Hadoop:

  • Permettre de gérer les utilisateurs dans les différents services: Cloudera Manager, Cloudera Navigator, Hue, etc.
  • Créer de la documentation pour expliquer comment utiliser Java avec Hadoop dans Morgan Stanley.
  • Créer des scripts pour tester l’état de chaque service disponible. (ex: exécuter une application yarn, exécuter des requêtes dans Impala et Hive, etc.)
  • Permettre de copier des données en utilisant « distcp » si l’utilisateur a la permission de toucher le répertoire source et celui de destination.

Business Object:

  • Créer un service web pour englober toutes les fonctionnalités de nos outils au lieu d’utiliser le SDK de BOXI dans tous ces outils.
  • Réécrire en Java un des outils qui publient les rapports générés en temps réel dans les différents clusters.

Data Security Exception:

  • Application web pour gérer des formulaires de demande d’exception pour différents services que notre équipe offre.
  • Gère le processus d’approbation en utilisant Activiti.
  • Envoie automatiquement des rappels lorsque l’exception va bientôt expirer.
  • Permet de renouveler une exception et voir tout l’historique. L’ID global de l’exception reste le même.

Support de WebIntel:

  • Application interne ressemblant à Google Analytics.
  • Créer une application web pour gérer les différentes facettes de la plate-forme.

Démarrer un nouveau service REST pour l’équipe de base de données:

  • Application Python utilisant Flask .
  • Connecte à Sybase .
  • Utilise Swagger pour documenter l’API .

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créé une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Faire des présentations techniques des différents projets.
  • M’occuper d’un stagiaire durant 6 mois
Technologies: , , , , , , , , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de Business Intelligence (BI).

Hadoop:

  • Application web libre service pour gérer des projets sur des distributions d’Hadoop Cloudera et MapR.
  • Permettre d’accepter ou refuser l’accès aux grappes aux différents projets.
  • Permettre aux utilisateurs de se créer un répertoire personnel.
  • Gérer les quotas et les permissions des répertoires.
  • Intégration avec des services REST utilisant SPNEGO
  • Créer des scripts pour vérifier l’état des différents services sur les grappes.
  • Créer des exemples de code pour Hive, Impala, HBase, …

Support de WebIntel:

  • Application interne ressemblant à Google Analytics.
  • Créer une application web qui permet de noter les visites vers des urls externes et rediriger vers ces urls.
  • Créer une suite de tests incluant des tests de charges.

Preuve de concept d’une application sur Hadoop:

  • Faire des milliers d’insertions de messages dans une table en format Parquet en utilisant Impala (via le pilote JDBC d’Hive).
  • Simuler les messages quotidiens en temps réel en plus de permettre d’augmenter la charge:
    • Télécharger les vrais messages envoyés les dernières journées et les conserver en format JSON compressés.
    • Générer une liste de messages pour l’heure présente en utilisant les messages conservés et en utilisant un multiplicateur.

Support des outils pour SAP Business Object:

  • Aider à résoudre quelques bogues.
  • Rendre une application Flex listant tous les répertoires et sous répertoires plus rapide en chargeant le contenu des sous-dossiers sur demande seulement.

Autre:

  • Faire passer des entrevues techniques.
  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créé une librairie Java commune avec plusieurs points d’intégrations sur les différents services chez Morgan Stanley.
  • M’occuper d’un stagiaire pour une réécriture d’un service utilisant Business Object. Le service passe de C# à Java.
  • Aider un autre stagiaire pour tester les performances d’une grappe Hadoop.
  • Participer à des foires de carrière.

 

Technologies: , , , , , , , , , , , , , , , , , , ,