Configuration d’Apache Kafka avec TIBCO AMX BusinessWorks-6.x

Dans ce tutoriel, nous aborderons l’intégration de TIBCO ActiveMatrix BusinessWorks Plug-in pour Apache Kafka dans TIBCO ActiveMatrix BusinessWorks.

Cet article traitera des composants nécessaires à la configuration, les étapes nécessaires à l’installation, puis à la configuration de l’environnement ainsi que les options suivantes en vue de créer et de déployer une application. Pour finir, il donnera lieu à un test de l’exécution du flux de message dans son intégralité.

Pour cela, il convient de respecter l’index ci-dessous:

1. Intégration pérenne

Grâce à TIBCO Software, vous pouvez intégrer en toute facilité pratiquement tous les terminaux de votre écosystème informatique par le biais de connecteurs commerciaux et conçus par la communauté pour les suites et plateformes commerciales ainsi que les technologies héritées. TIBCO propose plus de 200 connecteurs dont la prise en charge figure parmi les capacités d’intégration TIBCO Cloud

Le vaste portefeuille de connecteurs TIBCO vous permet de mieux vous focaliser sur l’élaboration d’une logique d’activités et moins sur les détails de connectivité.

1.1 Composants nécessaires à la configuration

• TIBCO ActiveMatrix BusinessWorks [Ver. 6.7.0/6.5.1] : Télécharger
• TIBCO ActiveMatrix BusinessWorks™ est la plateforme d’intégration leader de TIBCO. Elle permet aux organisations de créer, d’orchestrer des services, de capturer et de publier des événements à partir de technologies et d’applications internes et externes. Les développeurs peuvent rapidement concevoir et tester graphiquement les processus d’intégration dans un environnement de développement intégré (EDI) sans code et basé sur les normes. Ces processus sont ensuite déployés dans une architecture fiable, hautement disponible et échelonnable pour soutenir les applications essentielles à la mission.
• Apache Kafka [Ver. 2.6.0] : Télécharger : pour Mac une plateforme distribuée publiée par l’Apache Foundation (voir https://kafka.apache.org/)
• Plug-in TIBCO ActiveMatrix BusinessWorks pour Apache Kafka [Ver.6.4.1] Télécharger le plug-in TIBCO ActiveMatrix BusinessWorks pour Apache Kafka intègre Apache Kafka ^q TIBCO ActiveMatrix BusinessWorks. Il vient en réponse au besoin du client TIBCO ActiveMatrix BusinessWorks, qui souhaite disposer d’un moyen convivial de procéder à l’intégration avec Apache Kafka pour créer des producteurs, de consommateurs et réaliser des opérations d’envoi et de réception de messages.
• Référentiel de modèle de messagerie TIBCO pour Apache Kafka [Ver. 1.2.0] : Télécharger pour Mac : un composant de TIBCO(R) Messaging pour la gestion des modèles Apache Avro.

1.2 Palette de plug-ins Apache Kafka

Les activités contenues dans cette palette peuvent être utilisées pour créer des producteurs et des consommateurs, ainsi que pour envoyer et recevoir des messages.

• Activité d’envoi de message Kafka:

Cette activité est utilisée pour envoyer des messages au client Kafka. Elle fonctionne comme un producteur Kafka, qui envoie le message sur une rubrique spécifique ; les consommateurs peuvent récupérer le message à partir des rubriques en question.

• Activité de réception de message Kafka:

Cette activité démarre un processus lors de la réception d’un message Kafka.

• Registre de modèles Avro:

Le modèle Avro est utilisé avec ou sans le registre pour configurer les activités d’envoi et de réception en vue d’utiliser le modèle AVRO fourni comme format de message.

• Kafka Transactions:

Kafka Transactions est utilisé pour soutenir la sémantique « exactement une fois » et l’API Kafka Transaction.

• Activité de récupération de message Kafka:

Cette activité est utilisée pour consommer des messages à partir des rubriques Kafka. Cette activité vous permet également de définir le décalage de partition sur le début, la fin ou la valeur de décalage d’un client.

2. Présentation de l’architecture

Le diagramme suivant décrit la relation entre le serveur Apache Kafka, le plug-in TIBCO ActiveMatrix BusinessWorksTM pour Apache Kafka et TIBCO ActiveMatrix BusinessWorksTM

La liste suivante décrit la relation entre les différents produits :

• Le plug-in TIBCO ActiveMatrix BusinessWorksTM pour Apache Kafka communique avec l’instance de serveur Kafka.
• Le plug-in TIBCO ActiveMatrix BusinessWorksTM pour Apache Kafka s’intègre à TIBCO ActiveMatrix BusinessWorksTM et se connecte à une instance de serveur Kafka.
• TIBCO ActiveMatrix BusinessWorksTM est une suite de produits simple à utiliser destinée aux applications d’entreprise.
• TIBCO Business StudioTM est l’interface utilisateur graphique (GUI) utilisée par TIBCO ActiveMatrix BusinessWorksTM et le plug-in de conception de processus opérationnels ; il s’agit également du moteur de processus utilisé pour les exécuter.
• TIBCO Enterprise AdministratorTM fournit une interface administrative centralisée pour la gestion et le suivi des applications plug-in déployées dans une entreprise.

3. Aperçu de l’installation du plug-in TIBCO ActiveMatrix BusinessWorksTM

Cette section est destinée à aider les utilisateurs lors de leur mise en route avec le plug-in TIBCO ActiveMatrix BusinessWorks™ pour Apache Kafka dans TIBCO Business Studio. Vous pouvez installer le plug-in TIBCO ActiveMatrix BusinessWorks™ pour Apache Kafka en utilisant le programme d’installation universel TIBCO ou un site de mise à jour.

3.1 Installation à l’aide d’un site de mises à jour

Vous pouvez installer le plug-in à partir de TIBCO Business Studio™ en utilisant le site de mises à jour maintenu par TIBCO ou en utilisant un site de mises à jour local gérée par votre organisation.

• Exigences préalables à l’installation :

Le package logiciel doit être disponible sur le site de mises à jour :

http://update.tibco.com/eclipse/bw/version

* « version » à la fin de l’adresse doit refléter la version de BusinessWorks que vous utilisez

De manière générale, le nom du package est au format <nom_plug-in>_<version>_p2installer.zip.

• Procédure d’installation :

1.Démarre TIBCO Business Studio™ si ce n’est pas déjà fait.

• Sous Microsoft Windows, cliquer sur Start > All Programs > TIBCO > TIBCO_HOME > TIBCO Business Studio version_number > Studio for Designers (Démarrer > Tous les programmes > TIBCO > TIBCO_HOME > TIBCO Business Studio numéro_version > Studio pour les designers).
• Sous Linux ou Mac OS, exécuter le fichier exécutable TIBCO Business StudioTM situé dans le répertoire TIBCO_HOME/studio/version_number/eclipse.

2. À partir du menu, sélectionner Help > Install New Software (Aide > Installer un nouveau logiciel) pour ouvrir le gestionnaire de mise à jour Eclipse.

 

3. Dans la boîte de dialogue d’installation, saisir l’URL du site de mise à jour public, http://update.tibco.com/eclipse/bw/<version>, dans le champ « Work with » (Travailler avec).

6. ex. site de mises à jour TIBCO BusinessWorks : http://update.tibco.com/eclipse/bw/6.5/

Vous pouvez enregistrer l’URL en l’ajoutant à la liste de sites de logiciels disponibles à l’aide du menu TIBCO Business Studio™

Window > Preferences > Install/Update > Available Software Sites (Window > Préférences > Installer/Mettre à jour > Sites de logiciels disponibles).

4. À partir de la liste de plug-ins disponibles, sélectionner celui que vous voulez installer et cliquer sur Next (Suivant).

Vous pouvez sélectionner plus d’un plug-in à partir de la liste pour en installer plusieurs en même temps.

(Facultatif) Vous pouvez également trouver plus de logiciels en cliquant sur « Available Software Sites » (Sites de logiciels disponibles).

5. Dans la boîte de dialogue d’installation, sélectionner les composants que vous souhaitez installer. Cliquer sur Next (Suivant).

6. Cliquer sur Next (Suivant).

7. Dans la boîte de dialogue d’examen des licences, examiner les licences et cliquer sur I accept the terms of the license agreement (J’accepte les conditions de l’accord de licence).

8. Cliquer sur « Finish » (Terminer) pour terminer l’installation.

• Que faire ensuite:

Après l’installation du logiciel, il est nécessaire de redémarrer TIBCO Business Studio.

3.2 Utilisation du programme d’installation universel TIBCO

Plug-in TIBCO ActiveMatrix BusinessWorks™ pour Apache Kafka : la version Community Edition est disponible dès à présent.

• Le plug-in est actuellement pris en charge par
  TIBCO ActiveMatrix BusinessWorks™ 6.3.4 – 6.3.5 et
  TIBCO BusinessWorks™ Container Edition 2.2.x
• Il est possible de télécharger le plug-in ici
• Installer le plug-in dans un environnement d’installation existant où TIBCO ActiveMatrix BusinessWorks est déjà installé.
• L’environnement d’installation de TIBCO ActiveMatrix BusinessWorksTM est dénommé TIBCO_HOME.

Modes d’installation:

Vous pouvez exécuter le programme d’installation TIBCO en mode GUI, console ou silencieux.

Chaque mode est pris en charge sur toutes les plateformes.

• Mode GUI : (Nous aborderons uniquement cette option)

En mode GUI, le programme d’installation affiche les panneaux dans lesquels vous pouvez sélectionner un produit, l’emplacement du produit, etc. Faire double clic sur le fichier exécutable pour invoquer le programme d’installation en mode GUI.

• Mode console: (Exclus)

En mode console, vous pouvez exécuter le programme d’installation sur la ligne de commande. Il est utile si votre machine ne possède pas d’environnement GUI.

• Mode silencieux : (Exclus)

En mode silencieux, le programme d’installation installe le produit sans vous demander d’informations. Le programme d’installation utilise les réglages par défaut ou personnalisés enregistrés dans un fichier de réponse.

Installation en mode GUI:

En mode GUI, le programme d’installation vous demande des informations concernant l’environnement de production, le profil d’installation et d’autres informations relatives à l’installation.

Procédure d’installation:

1.Télécharger le package d’installation à partir du site TIBCO eDelivery,

https://edelivery.tibco.com

* Remarque : Un nom d’utilisateur et un mot de passe sont nécessaires pour accéder à ce site.

2. Extraire le contenu du package d’installation dans un répertoire temporaire.

Utiliser le package extrait pour démarre l’installation de l’une des manières suivantes :

• Sous Windows, faire double clic sur TIBCOUniversalInstaller-x86-64.exe.
• Sous Linux, exécuter TIBCOUniversalInstaller-platform_acronym.bin.
• Sous Mac, faire double clic sur TIBCOUniversalInstaller-mac.command.

3. Dans l’écran « Welcome » (Accueil), cliquer sur Next (Suivant).

4. Dans l’écran « License Agreement » (accord de licence), parcourir l’accord de licence et cliquer sur

« I accept the terms of the license agreement » (J’accepte les conditions de l’accord de licence) et cliquer sur Next (Suivant).

5. Dans l’écran « TIBCO Installation Home » (Accueil d’installation TIBCO), cliquer sur « Use an existing TIBCO_HOME » (Utiliser un TIBCO_HOME existant) pour sélectionner un environnement d’installation existant où TIBCO ActiveMatrix BusinessWorks est installé. Cliquer sur Next (Suivant).

6. Dans l’écran « Installation Profile Selection » (Sélection du profil d’installation), sélectionner un profil d’installation pour indiquer les composants d’installation à installer. Vérifier que les options Apache Kafka Design & Runtime ont bien été sélectionnées.

Sinon, cochez la case d’installation personnalisée pour sélectionner manuellement les composants d’installation. Cliquer sur Next (Suivant).

7. Dans l’écran « Pre-Install Summary » (Aperçu préalable à l’installation), examiner la liste des produits sélectionnés à installer. Cliquer sur Next (Suivant) et Install (Installer).

8. Dans l’écran « Post Install Summary » (Aperçu post-installation), examiner la liste des informations d’installation.

9. Cliquer sur Finish (Terminer) pour terminer le processus d’installation et quitter l’installateur.

Journalisation de l’installation :

Si vous rencontrez des problèmes avec l’installation, commencer par vérifier que votre système répond à toutes les exigences. Ensuite, vérifier l’absence de problèmes potentiels dans le journal du programme d’installation.

Le fichier journal de l’installation, intitulé tibco_universal_installer.identifiant_install.log, est disponible aux emplacements suivants :

• Sur Microsoft Windows : C:\Users\username\.TIBCO\install_timestamp
• Sur Linux : user_home_dir/.TIBCO/install_timestamp
• Sur Mac OS : Users/user_home_dir/.TIBCO/install_timestamp

Le fichier journal du programme d’installation capture les informations suivantes :

• Les informations détaillées concernant l’utilisateur qui a invoqué le programme d’installation, nom de l’hôte, détails concernant le système d’exploitation et la liste des assemblies installés
• Pour changer l’emplacement du fichier journal de l’installation, indiquer l’option -V logFile=”myLogFile” lorsque vous exécutez le programme d’installation.

3.3 Processus bout en bout

1. Créer un projet:

• Ouvrir TIBCO Businessworks Studio et cliquer sur New > BusinessWorks Application Module (Nouveau > Module d’application BusinessWorks)

2. Créer un processus:

Créer un processus à l’aide des activités Kafka contenues dans la palette comme indiqué

3. Créer une ressource de connexion Kafka :

• Compléter les détails concernant les serveurs d’amorce dans la ressource partagée Kafka et cliquer sur « Validate Bootstrap Servers » (Valider les serveurs d’amorce) pour confirmer que la connexion avec le serveur de broker Kafka est bien établie.

Remarque : Vérifier que le serveur de broker et ZooKeeper Kafka fonctionnent dans les consoles en arrière-plan.

4. Configurer une ressource d’activité de publication :

• Pour finir, vérifier que les activités Kafka font référence à la même « Kafka shared resource » (ressource partagée Kafka), à savoir celle que vous avez configurée à l’étape précédente.
• Dans l’activité d’envoi de message Kafka, compléter le champ de rubrique par « test » et saisir le message « Hello Kafka World!! »

5. Configurer une ressource d’activité d’abonnement:

6. Configurer une activité de journal:

• Ensuite, intégrer le message entrant provenant de l’activité de récupération de message Kafka dans le journal.

3.4 Instructions pour le test du processus de bout en bout

Voici les étapes à suivre :

1. Exécuter le projet BW :

• Lancer le processus en mode débogage

2. Publier un message :

• L’activité d’envoi de message Kafka publie un message sur la rubrique « test »,

3. S’abonner à un message :

• L’activité de récupération de message Kafka consomme le même message, qui finit par être stocké dans le journal de la console à l’aide de l’activité de journalisation,
• De plus, le message publié sur le serveur Kafka peut être consulté en exécutant la commande suivante,

“bin/kafka-console-consumer.sh –bootstrap-server localhost:9092 –topic test —  from-beginning”

17:43:04.553 INFO  [main] com.tibco.thor.frwk - TIBCO ActiveMatrix BusinessWorks version 6.5.1, build V9, 2019-02-06
17:43:18.638 INFO  [main] com.tibco.bw.frwk.engine.BWEngine - TIBCO-BW-FRWK-300002: BW Engine [Main] started successfully.
17:43:18.725 INFO  [Framework Event Dispatcher: Equinox Container: a0e5d296-d967-001b-10f5-bf94366cd4af] com.tibco.thor.frwk.Deployer - TIBCO-THOR-FRWK-300001: Started OSGi Framework of AppNode [BWEclipseAppNode] in AppSpace [BWEclipseAppSpace] of Domain [BWEclipseDomain]
17:43:18.891 INFO  [Framework Event Dispatcher: Equinox Container: a0e5d296-d967-001b-10f5-bf94366cd4af] com.tibco.thor.frwk.Application - TIBCO-THOR-FRWK-300018: Deploying BW Application [Kafka_GeneralSample.application:1.0].
17:43:22.046 INFO  [Job_Executor0] com.tibco.thor.frwk.Application - TIBCO-THOR-FRWK-300021: All Application dependencies are resolved for Application [Kafka_GeneralSample.application:1.0]
log4j:WARN No appenders could be found for logger (org.apache.kafka.clients.CommonClientConfigs).
log4j:WARN See http://logging.apache.org/log4j/1.2/faq.html#noconfig for more info.
17:43:25.020 INFO  [Thread-18] com.tibco.thor.frwk.Application - TIBCO-THOR-FRWK-300006: Started BW Application [Kafka_GeneralSample.application:1.0]
17:43:45.873 INFO  [bwEngThread:In-Memory Process Worker-3]- Received message from GetMessage Activity : <?xml version="1.0" encoding="UTF-8"?><ns0:KafkaGetMessagesOutput xmlns:ns0="http://www.tibco.com/namespaces/tnt/plugins/getmessages+-bc77-+KafkaGetMessagesOutput"><Records><topic>getmessage</topic><partition>0</partition><offset>0</offset><message>Hello Kafka World!!</message></Records></ns0:KafkaGetMessagesOutput>

4. Conclusions concernant Apache Kafka avec TIBCO AMX BW6.x

Dans le cadre de cet article, vous avez :

• installé et configuré le plug-in TIBCO BW Kafka avec TIBCO AMX BW6.x
• élaboré un processus BW pour publier et s’abonner à un message sur le rubrique Kafka intitulé « test »
• configuré un client consommateur à l’écoute d’une rubrique Apache Kafka donnée
• exécuté un processus BW qui a publié pour la première fois un message sur le rubrique Kafka (« test ») à l’aide d’une activité de publication de message Kafka
• reçu le même message sur un client Kafka, qui était à l’écoute de la même rubrique « test »