In einer modernen IT-Architektur, in der Ereignisse in Echtzeit verarbeitet und zuverlässig verteilt werden müssen, greifen Unternehmen zunehmend auf Apache Kafka zurück – oder dessen kommerzielle Variante Confluent Kafka.

Ein Beispiel: Ein global agierender Konzern möchte Statusinformationen aus einem System nahezu verzögerungsfrei an mehrere Microservices verteilen – inklusive Validierung der Datenformate via Schema Registry. Der Clou: Die Daten sollen direkt über Automic Automation verarbeitet und versendet werden.

Was in der Theorie simpel klingt, bringt in der Praxis einige Herausforderungen mit sich – insbesondere bei der Anbindung an Confluent Cloud.

Kafka wurde ursprünglich von LinkedIn entwickelt und 2012 an die Apache Software Foundation übergeben und ist eine real time messaging Plattform.

Die ursprünglichen Entwickler gründeten später Confluent, einen kommerziellen Anbieter, der auf Kafka aufbaut und es um zahlreiche Funktionen erweitert – darunter

• Einfaches Cloud-Deployment
• Intuitive Weboberfläche
• Erweiterte Authentifizierung (z. B. OAuth über Microsoft Entra ID)
• Schema Registry für AVRO-Serialisierung

Diese Features machen Confluent Kafka insbesondere für regulierte und verteilte Umgebungen attraktiv.

• Kafka Variante: Confluent Kafka
• Authentifizierung
  • Topic Inhalt: OAUTH Microsoft Entra ID (ServicePrincipal)
  • Schema Registry: BasicAuth Confluent Kafka
• Schema Registry: AVRO (Pflicht)

Der native Kafka-Agent von Automic Automation unterstützt derzeit nicht die erweiterten Features der Confluent Cloud, insbesondere Schema Registry mit AVRO.

Die Lösung: Ein individuell entwickelter Kafka Producer auf Basis von Python, der über Automic Automation gesteuert wird.

Die finale Integration wurde vollständig über den Unix-Agenten von Automic Automation realisiert.
Der Ablauf gliedert sich in folgende Schritte:

• Confluent Kafka Bibliothek inkl. Abhängigkeiten auf den Automic Automation Unix Agenten installieren
• Python Module auf den Automic Automation Unix Agenten installieren
• Python Skript – generisch erzeugt
• Automic Automation Job – Dieser erzeugt den Python Skript generisch und ruft diesen auf

Installation der Confluent Kafka-Bibliotheken und Abhängigkeiten auf dem Unix-Agenten:

yum install -y python3 python3-pip python3-devel gcc make cyrus-sasl-gssapi librdkafka-devel

Im Anschluss müssen die notwendigen Python Module ebenfalls auf den Automic Automation Agenten installiert werden.
Hier wurde in Automic Automationen einen separaten Jobplan erstellt, der diese automatisiert auf alle aktiven Agenten der entsprechenden Automic Automation Hostgruppe installiert.

Hinweis: Die Installation der Python Module kann in den Userspace des ausführenden Benutzer Accounts installiert werden – z.B. im Regelfall notwendig, wenn diese automatisiert durch Automic Automation Jobplan installiert werden.

• requirements Datei erzeugen z.B. (/tmp/kafka_python_requirements.txt).
  • cat <<< 'confluent-kafka == 2.4.0
fastavro
pydantic
pydantic_avro' >/tmp/kafka_python_requirements.txt
• Installation der Module
  • Allgemeine Installation:
    pip3 install -r /tmp/kafka_python_requirements.txt
  • Installation innerhalb des aktuellen Userspace:
    pip3 install -r /tmp/kafka_python_requirements.txt --user

Hier wird ein generischer Python Skript durch Automic Automation erzeugt – inkl. aller Parameter.
Wichtige Ausnahme: Bitte keine Passwörter in das Skript übergeben, diese werden im Aufruf als Parameter übermittelt.

Hinweis: Einen Beispiel Producer für Confluent Kafka finden Sie weiter unten.

Generierung eines individuellen Python-Producers durch einen Automic Automation Job, inklusive dynamischer Übergabe aller Parameter.
Die sensiblen Daten (z. B. Passwörter) werden in geschützten Automic Automation Objekten verwaltet und zur Laufzeit sicher übergeben.

Der Aufruf des Skripts erfolgt über den „UC4 JOBMELDER“-Mechanismus. Dieser stellt sicher, dass die sensiblen Passwörter geschützt bleiben.

Wie ein Producer Skript für Confluent Kafka aussehen kann, ist im angefügten Beispiel Skript ersichtlich.
In der beiliegenden Readme ist die Verwendung beschrieben.

Producer Details:

• Authentifizierung Kafka Topic: OAuth über Microsoft Entra ID
• Authentifizierung Schema Registry: Zugriff mit BasicAuth Confluent Cloud
• Schema Registry: Definition der Datenstruktur via AVRO-Schema

Diese Lösung zeigt, wie maßgeschneiderte Integration zwischen kommerziellen Plattformen wie Confluent Kafka und etablierten Automatisierungswerkzeugen wie Automic Automation möglich ist – auch wenn der native Agent an funktionale Grenzen stößt.

Durch den Einsatz von Python und moderner Authentifizierung wurde eine robuste und erweiterbare Schnittstelle geschaffen, die nicht nur technisch sauber, sondern auch sicher betreibbar ist.