Surveillance de Kafka avec des plug-ins Site24x7

Utilisez les plug-ins Site24x7 pour surveiller les indicateurs de performance de votre serveur Apache Kafka.

Installez et configurez le plug-in Kafka pour surveiller le middleware de messagerie tolérant aux pannes et à haute capacité Kafka. Prenez des décisions éclairées en matière de dépannage en effectuant un suivi des indicateurs critiques telles que le nombre de connexions, le taux d'octets entrants et sortants et bien plus encore.

Ce document explique en détail comment configurer le plug-in Apache Kafka et les paramètres de surveillance pour fournir une visibilité approfondie des performances, de la disponibilité et des statistiques d'utilisation des serveurs Kafka.

Indicateurs de surveillance des performances Apache Kafka :

Utilisez notre large éventail d'indicateurs et soyez informé des erreurs dangereuses qui requièrent votre attention. Suivez les tendances inattendues grâce à nos graphiques d'indicateurs et résolvez les problèmes aussi rapidement que possible. Les différents indicateurs prêts à l'emploi que nous prenons en charge sont les suivants :

Nombre de connexions

La valeur connection_count indique le nombre actuel de connexions actives avec le cluster kafka

Taux d'octets entrants/sortants

Les valeurs incoming_byte_rate et outgoing_byte_rate indiquent respectivement le nombre moyen d'octets entrants reçus par seconde et d'octets sortants envoyés par seconde

Latence moyenne des demandes

La mesure du temps entre une demande envoyée par le producteur et une réponse reçue du courtier est appelée avg_request_latency

Nombre d'opérations réseau

Le nombre moyen d'opérations réseau (lecture ou écriture) sur toutes les connexions par seconde est donné en tant que network_io_rate

Taux de la demande

La vitesse à laquelle les producteurs envoient des données aux courtiers est calculée par l'indicateur request_rate

Taux de réponse

Le taux de réponse indique le taux de réponse reçu des courtiers

Temps passé par le thread d'entrée/de sortie

io_time_ns_avg indique la durée moyenne que le thread d'entrée/sortie passe en attente d'un socket (en ns)

Comment cela fonctionne-t-il ?

  • Connectez-vous à votre compte Site24x7. Inscrivez-vous ici si vous n'en avez pas.
  • Téléchargez et installez la dernière version de l'agent Linux de Site24x7
  • Installer le plug-in Kafka
  • L'agent exécutera le plug-in Kafka et enverra les données sur le serveur Site24x7.

Conditions préalables :

  • Download the file from https://pypi.python.org/pypi/kafka-python sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa
  • Extract the file sudo tar -xvzf kafka-python-1.3.1.tar.gz
  • Go to the directory where the file is extracted cd kafka-python-1.3.1/
  • Installer le module
  • sudo python setup.py build
    sudo python setup.py install

Installation du plug-in Kafka :

  • Create a directory with the name "kafka_producer", under Site24x7 Linux agent plugin directory - /opt/site24x7/monagent/plugins/
    sudo mkdir kafka_producer
  • Téléchargez le fichier « kafka_producer.py » à partir de notre référentiel GitHub et placez-le dans le répertoire « kafka_producer »
  • The default python path given in the plugin script is #!/usr/bin/python. If you wish to provide an alternate python path, replace the existing one preceded by the shebang character "#!".
    Exemple : #!/usr/local/bin/python3
  • Modifiez les valeurs BROKER_NAME et PORT en fonction de votre configuration
  • The server agent will report stats on the performance of Kafka under the Plugins tab in the Site24x7 web client. In case the plugin is not listed in the Site24x7 web client, restart the agent.
    sudo /etc/init.d/site24x7monagent restart