Kafka-Überwachung mit Site24x7-Plug-ins

Verwenden Sie Site24x7-Plug-ins zur Überwachung der Leistungskennzahlen Ihres Apache Kafka-Servers.

Installieren und konfigurieren Sie das Kafka-Plug-in zur Überwachung der fehlertoleranten, hochleistungsfähigen Messaging-Middleware Kafka. Treffen Sie fundierte Entscheidungen zur Fehlerbehebung, indem Sie wichtige Kennzahlen wie Verbindungszahl, Rate eingehender und ausgehender Bytes und vieles mehr verfolgen.

In diesem Dokument werden die Konfiguration des Apache Kafka-Plug-ins und die Überwachungskennzahlen beschrieben, um detaillierte Einblicke in die Leistung, Verfügbarkeit und Nutzungsstatistiken von Kafka-Servern zu erhalten.

Kennzahlen für die Leistungsüberwachung von Apache-Kafka:

Nutzen Sie unser breites Spektrum an Kennzahlen und lassen Sie sich über gefährliche Fehler informieren, die Ihre Aufmerksamkeit erfordern. Verfolgen Sie unerwartete Trends mithilfe unserer metrischen Diagramme und führen Sie so schnell wie möglich eine Fehlerbehebung durch. Die verschiedenen sofort nutzbaren Kennzahlen, die wir unterstützen, lauten wie folgt:

Anzahl der Verbindungen

"connection_count" gibt die aktuelle Anzahl der aktiven Verbindungen mit dem Kafka-Cluster an.

Rate eingehender/ausgehender Bytes

Die Werte "incoming_byte_rate" und "outgoing_byte_rate" geben die durchschnittliche Anzahl der empfangenen und ausgehenden Bytes pro Sekunde an.

Durchschnittliche Anforderungslatenz

Als "avg_request_latency" wird die Zeitspanne zwischen einer vom Producer gesendeten Anforderung und einer vom Broker erhaltenen Antwort bezeichnet.

Anzahl der Netzwerkoperationen

Die durchschnittliche Anzahl der Netzwerkvorgänge (Lesen oder Schreiben) auf allen Verbindungen pro Sekunde wird als network_io_rate angegeben.

Anfragerate

Die Rate, mit der Producer Daten an Broker senden, wird durch die Metrik "request_rate" berechnet.

Antwortrate

"response_rate" zeigt die Antwortrate an, die von den Brokern erhalten wurde.

Zeit, die der Eingabe-/Ausgabethread benötigt

"io_time_ns_avg" gibt die durchschnittliche Zeit an, die der Eingabe-/Ausgabethread mit dem Warten auf einen Socket verbringt (in ns).

Wie es funktioniert?

Voraussetzungen:

  • Download the file from https://pypi.python.org/pypi/kafka-python sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa
  • Extract the file sudo tar -xvzf kafka-python-1.3.1.tar.gz
  • Go to the directory where the file is extracted cd kafka-python-1.3.1/
  • Installieren Sie das Modul.
  • sudo python setup.py build
    sudo python setup.py install

Installation des Kafka-Plug-ins:

  • Create a directory with the name "kafka_producer", under Site24x7 Linux agent plugin directory - /opt/site24x7/monagent/plugins/
    sudo mkdir kafka_producer
  • Laden Sie die Datei "kafka_producer.py" aus unserem GitHub-Repository herunter und platzieren Sie sie im Verzeichnis "kafka_producer".
  • The default python path given in the plugin script is #!/usr/bin/python. If you wish to provide an alternate python path, replace the existing one preceded by the shebang character "#!".
    Beispiel: #!/usr/local/bin/python3
  • Ändern Sie die Werte von BROKER_NAME und PORT entsprechend Ihrer Konfiguration.
  • The server agent will report stats on the performance of Kafka under the Plugins tab in the Site24x7 web client. In case the plugin is not listed in the Site24x7 web client, restart the agent.
    sudo /etc/init.d/site24x7monagent restart