Monitoramento do Kafka com plug-ins do Site24x7

Use plug-ins do Site24x7 para monitorar as métricas de desempenho do servidor Apache Kafka

Instale e configure o plug-in Kafka para monitorar o middleware de mensagens Kafka tolerante a falhas e de alta capacidade. Tome decisões informadas sobre solução de problemas, mantendo o controle das métricas essenciais, como contagem de conexões, taxa de bytes de entrada e saída, entre outros.

Este documento detalha como configurar o plug-in do Apache Kafka e as métricas de monitoramento para fornecer visibilidade detalhada das estatísticas de desempenho, disponibilidade e uso dos servidores do Kafka.

Métricas de monitoramento de desempenho do Apache Kafka:

Use nossa ampla variedade de métricas e receba notificações sobre erros perigosos que exigem sua atenção. Acompanhe tendências inesperadas por meio dos nossos gráficos de métricas e solucione problemas o mais rapidamente possível. As várias métricas prontas para uso para as quais oferecemos suporte são:

Contagem de conexões

A connection_count informa o número atual de conexões ativas com o cluster kafka

Taxa de bytes de entrada/saída

As métricas incoming_byte_rate e outgoing_byte_rate informam o número médio de bytes de entrada recebidos por segundo e de saída enviados por segundo, respectivamente

Latência média de solicitação

Uma medida de tempo entre uma solicitação enviada pelo produtor até que uma resposta recebida do intermediário seja tomada como avg_request_latency

Número de operações de rede

O número médio de operações de rede (leitura ou gravação) em todas as conexões por segundo é dado como network_io_rate

Taxa de solicitação

A taxa em que os produtores enviam dados aos intermediários é calculada pela métrica request_rate

Taxa de resposta

A response_rate mostra a taxa de resposta recebida dos intermediários

Tempo gasto pelo thread de entrada/saída

A métrica io_time_ns_avg informa o tempo médio que o thread de entrada/saída gasta aguardando um socket (em ns)

Como funciona?

  • Faça login na conta do Site24x7. Inscreva-se aqui se não tiver uma conta.
  • Baixe e instale a versão mais recente do agente Linux no Site24x7
  • Instale o plug-in Kafka
  • O agente executará o plug-in Kafka e enviará os dados para o servidor do Site24x7

Pré-requisitos:

  • Download the file from https://pypi.python.org/pypi/kafka-python sudo wget https://pypi.python.org/packages/81/94/f9151888b40339f2624759df8241080020acafed49d3a4369ceedd72c096/kafka-python-1.3.1.tar.gz#md5=2494d82f096d21af7a72b3c5bd26bdfa
  • Extract the file sudo tar -xvzf kafka-python-1.3.1.tar.gz
  • Go to the directory where the file is extracted cd kafka-python-1.3.1/
  • Instale o módulo
  • build do setup.py do sudo python
    instalação do setup.py do sudo python

Instalação do plug-in Kafka:

  • Create a directory with the name "kafka_producer", under Site24x7 Linux agent plugin directory - /opt/site24x7/monagent/plugins/
    sudo mkdir kafka_producer
  • Baixe o arquivo "kafka_Producer.py" do nosso repositório do GitHub e coloque-o no diretório "kafka_producer"
  • The default python path given in the plugin script is #!/usr/bin/python. If you wish to provide an alternate python path, replace the existing one preceded by the shebang character "#!".
    Por exemplo: #!/usr/local/bin/python3
  • Altere os valores de BROKER_NAME e PORT para corresponder à sua configuração
  • The server agent will report stats on the performance of Kafka under the Plugins tab in the Site24x7 web client. In case the plugin is not listed in the Site24x7 web client, restart the agent.
    sudo /etc/init.d/site24x7monagent restart