logo

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de Business Intelligence (BI).

Hadoop:

  • Pouvoir copier des fichiers entre utilisateurs et clusters selon les permissions de chacun.
  • Créer des exemples de projets utilisant Scala, Spark et Greenplum.
  • Pouvoir gérer les roles Sentry, les bases de données Hive et les permissions Sentry+Hive.

Support de WebIntel:

  • Créer une file sur le disque dur au lieu de garder les items en mémoire lorsque l’insertion à certaines bases de données est lente.
  • Créer des scripts pour aider à rejouer certains messages.

Service REST de métadonnées des bases de données:

  • Toute l’information utile pour gérer les bases de données (leur nom, emplacement physique, configuration, etc.) sont dans une base de données et j’ai créé un service REST pour exposer ces détails.
  • Créé en Python avec la librairie Flask.
  • Contient une interface Web en AngularJS pour naviguer entre les entités et faire des recherches.

MongoDB:

  • Analyser et préparer un plan pour un site libre service et pour les intégrations dans l’environnement de Morgan Stanley pour gérer des bases de données en utilisant l’API de Ops Manager .

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Créer une application web qui permet de chercher dans plusieurs fichiers logs en ordre chronologique entre ces fichiers. Cela permet de voir une action lancée par un service et l’exécution sur un autre.
Technologies: , , , , , , , , , , , , , , , , , , , , , , ,

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de Business Intelligence (BI).

Hadoop:

  • Permettre de gérer les utilisateurs dans les différents services: Cloudera Manager, Cloudera Navigator, Hue, etc.
  • Créer de la documentation pour expliquer comment utiliser Java avec Hadoop dans Morgan Stanley.
  • Créer des scripts pour tester l’état de chaque service disponible. (ex: exécuter une application yarn, exécuter des requêtes dans Impala et Hive, etc.)
  • Permettre de copier des données en utilisant « distcp » si l’utilisateur a la permission de toucher le répertoire source et celui de destination.

Business Object:

  • Créer un service web pour englober toutes les fonctionnalités de nos outils au lieu d’utiliser le SDK de BOXI dans tous ces outils.
  • Réécrire en Java un des outils qui publient les rapports générés en temps réel dans les différents clusters.

Data Security Exception:

  • Application web pour gérer des formulaires de demande d’exception pour différents services que notre équipe offre.
  • Gère le processus d’approbation en utilisant Activiti.
  • Envoie automatiquement des rappels lorsque l’exception va bientôt expirer.
  • Permet de renouveler une exception et voir tout l’historique. L’ID global de l’exception reste le même.

Support de WebIntel:

  • Application interne ressemblant à Google Analytics.
  • Créer une application web pour gérer les différentes facettes de la plate-forme.

Démarrer un nouveau service REST pour l’équipe de base de données:

  • Application Python utilisant Flask .
  • Connecte à Sybase .
  • Utilise Swagger pour documenter l’API .

Autre:

  • Ajouter de la documentation dans tous les projets que j’ai participé.
  • Créé une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
  • Faire des présentations techniques des différents projets.
  • M’occuper d’un stagiaire durant 6 mois
Technologies: , , , , , , , , , , , , , , , , , , , ,

C’est la suite du logiciel Freenet Knowledge dans lequel j’ai ajouté plusieurs fonctionnalités importantes.

Freenet Knowledge est un logiciel Java qui permet de trouver tous les freesites sur les index et sur FMS pour ensuite pouvoir faire des recherches.

Spécificités:

  • Interface GUI en application web roulant sur Jetty au lieu de Java Swing.
  • Permets de chercher dans le contenu et aussi dans les URL.
  • Permets de voir les résultats qui sont des images directement en images dans la page de recherche.
Le projet est en source ouverte et disponible sur GitHub.
Technologies: , , , , , , , , , ,