Une application pour aider à configurer des bases de données.

Spécificités:

• Prends un fichier de configuration en format JSON avec toutes les informations sur l’état final désiré.
• Crée et efface les bases de données.
• Crée et efface les utilisateurs.
  • Peut en ignorer certains, tels ceux administratifs (root).
• Donne et enlève les permissions des utilisateurs sur les bases de données.
• Supporte MariaDB et MongoDB.
• Peut rouler continuellement et réappliquer l’état désiré périodiquement et lorsque le fichier de configuration change.

Disponibilité:

• GitHub
• Docker Hub

Technologies: Java, MariaDB, MongoDB

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql.

MongoDB:

• Créer un Agent qui configure les bases de données localement
• Ajout de détails en temps réel à propos des différentes bases de données sur le site libre-service
• Onglet pour permettre de mettre à jour la version de plusieurs bases de données en même temps

License Manager:

• Finaliser le logiciel web pour qu’il soit prêt à être utilisé en production
• Ajouter un moteur de règles pour automatiquement attacher des licences à des items qui consomment des licences

Hadoop

• Intégration avec le License Manager

Proof of Concept:

• Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

• Ajouter de la documentation dans tous les projets que j’ai participé.
• Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
• Présenter nos outils libre-service de MongoDB dans des expositions internes
• Faire passer des entrevues

Technologies: AngularJS, Bootstrap-css, CSS, Greenplum, HTML, Java, Java EE, JavaScript, jQuery, jUnit, Kafka, MongoDB, Spring

Cette application possède deux composantes:

• Le service central qui est un API REST qui reçoit les informations et qui génère des rapports
• Un agent qui s’exécute sur les machines sur lesquelles vérifier l’utilisation des ressources

Spécificités:

• Permet d’associer des ressources à des propriétaires
• Les ressources vérifiables:
  • L’utilisation des disques (par répertoire dans « /home/* »)
  • Des containers Dockers utilisés (l’espace disque)
  • La taille des courriels dans Apache James
• Envoi une mise à jour par heure ou lorsqu’il y a possiblement un gros changement

Disponibilité:

• GitHub

Technologies: Java, MongoDB

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de DataEng pour NoSql.

MongoDB:

• Analyser et préparer un plan pour un site libre service et pour les intégrations dans l’environnement de Morgan Stanley pour gérer des bases de données en utilisant l’API de Ops Manager .
• Créer un site web libre service pour gérer les clusters, les bases de données, les permissions, les collections, les indexes et le sharding.
• Créer un API REST pour le site web et aussi pour un client en ligne de commande (CLI).
• Créer un agent et le service d’orchestration pour gérer les configurations de tous les serveurs de MongoDB.

Proof of Concept:

• Créer un projet pour tester le connecteur Spark pour Greenplum.
• Créer un projet pour tester l’outil Kafka pour Greenplum.

Autre:

• Ajouter de la documentation dans tous les projets que j’ai participé.
• Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.

Technologies: AngularJS, Bootstrap-css, CSS, Greenplum, HTML, Java, Java EE, JavaScript, jQuery, jUnit, Kafka, MongoDB, Spark, Spring

Dans le cadre de mon travail chez Morgan Stanley, je m’occupe de plusieurs produits dans l’équipe de Business Intelligence (BI).

Hadoop:

• Pouvoir copier des fichiers entre utilisateurs et clusters selon les permissions de chacun.
• Créer des exemples de projets utilisant Scala, Spark et Greenplum.
• Pouvoir gérer les roles Sentry, les bases de données Hive et les permissions Sentry+Hive.

Support de WebIntel:

• Créer une file sur le disque dur au lieu de garder les items en mémoire lorsque l’insertion à certaines bases de données est lente.
• Créer des scripts pour aider à rejouer certains messages.

Service REST de métadonnées des bases de données:

• Toute l’information utile pour gérer les bases de données (leur nom, emplacement physique, configuration, etc.) sont dans une base de données et j’ai créé un service REST pour exposer ces détails.
• Créé en Python avec la librairie Flask.
• Contient une interface Web en AngularJS pour naviguer entre les entités et faire des recherches.

MongoDB:

• Analyser et préparer un plan pour un site libre service et pour les intégrations dans l’environnement de Morgan Stanley pour gérer des bases de données en utilisant l’API de Ops Manager .

Autre:

• Ajouter de la documentation dans tous les projets que j’ai participé.
• Créer une librairie Java commune avec plusieurs points d’intégration sur les différents services chez Morgan Stanley.
• Créer une application web qui permet de chercher dans plusieurs fichiers logs en ordre chronologique entre ces fichiers. Cela permet de voir une action lancée par un service et l’exécution sur un autre.

Technologies: AngularJS, Bootstrap-css, CSS, DB2, Flask, Greenplum, Hadoop, Hazelcast, Hibernate, Hive, HTML, Java, Java EE, JavaScript, Jetty, jQuery, jUnit, MongoDB, Python, Scala, Sentry, Spark, Spring, SyBase