Cómo iniciar sesión y analizar mensajes de MQTT
¿Con el ELK Stack?

Introducción

ElELK Stack(Investigación elástica, Logstash y Kibana) es un poderoso opensource plataforma de gestión de registros y análisis.Elasticsearch, su núcleo componente, soportesreplicación, permitiendo que los datos sean copiados a través de múltiples nodos. Esto garantizaalta disponibilidadmediante la prevención de la pérdida de datos en caso de nodos fracasos.

Replicación en Elasticsearch mejoraQuery performancepor distribución de búsqueda peticiones a través de réplicas. También aumentaescalabilidad, permitiendo sistemas a manejar más consultas eficientemente. Por defecto, Elasticsearch creauno réplica por Shard, pero esto se puede ajustar en función de los requisitos. Estrategias de reproducción adecuadas ayuda enbalanceo de carga, tolerancia a la falla y fiabilidad general del sistema.

Elasticsearch

Elasticsearch es unmotor de búsqueda y análisisdiseñado para manejar grandes volúmenes de datos en tiempo real. Almacena datos en unNoSQLformato utilizando JSON documentos y proporciona rápidabúsqueda de texto completocapacidades. Los datos se indexan usando uníndice indio, permitiendo una recuperación rápida y análisis. Elasticsearch esescalable, soporte horizontal escalada agregando más nodos a un cluster. Ofrecereplicación y persistencia, asegurando datos redundancia y redundanciaAlto. disponibilidad. Común casos de uso incluyenanálisis de registros, monitoreo de seguridad y negocios Inteligencia.

Logstash

Logstash es untramitación de datosque recoge, transforma, y envía datos a varios destinos, incluyendo Elasticsearch. Puede ingerir datos demúltiples fuentescomo registros, métricas, bases de datos y colas de mensajes. Logstash procesa datos usando un poderosofiltrado sistema, permitiendo la transformación, el enriquecimiento y la perspicacia. Soporta varios plugins para manejar diferentes formatos de datos, incluyendo JSON, CSV y syslog. Logstash se utiliza a menudo pararecopilación de registros, transformación de datos, y procesamiento de datos en tiempo realantes del almacenamiento.

Kibana

Kibana es unherramienta de visualización y análisisdiseñado para interactuar con datos almacenados en Elasticsearch. Proporciona un intuitivointerface de panelpara crear visualizaciones como gráficos, gráficos, y mapas. Kibana permite la exploración de datos en tiempo real, por lo que es fácil analizar registros y monitorear rendimiento del sistema. Incluye características comomachine learning, security monitorización y alerta.Los usuarios pueden construir paneles interactivos y establecer alertas para anomalías en los datos. Kibana es ampliamente utilizado paraanálisis de registros, monitoreo de eventos de seguridad y negocios informes de inteligencia.

Antes de comenzar, asegúrese de que tiene:

• AServidor Linux(Ubuntu 20.04 recomendado)
• MQTTRouteinstalados y en funcionamiento
• Java 8 o más tarde(requerido para ELK y Kafka)
• Búsqueda elástica, Logstash y Kibana (ELK Stack)instalado

Paso 1: Instalar Java 8 para ELK

• Actualizar la lista de paquetes :sudo apt update
• Instalar OpenJDK 8 :sudo apt install -y openjdk-8-jdk
• Verificar la instalación :java -versión
• A orientación de que la salida muestra java8 instalado.

Si Java está instalado en la máquina, se mostrará la siguiente salida:

Paso 2: Instalar y Configurar el ELK Stack

• Instalar Elasticsearch :

Compruebe el estado para ver si Elasticsearch está funcionando correctamente; el resultado debe aparecer como se muestra a continuación:

• elasticsearch.service - Elasticsearch

Generar contraseña para la búsqueda elástica. Por defecto el nombre de usuario y contraseña es necesario para conectar la versión 8.17.3

Utilice el siguiente comando para generar la contraseña de Elasticsearch:

Verificar la instalación:

Después de que la contraseña se genere con éxito, ejecute el siguiente comando para verificarlo:

Si la búsqueda elástica ha configurado correctamente los resultados siguientes existe:

Configuración TLS/SSL en búsqueda elástica 8.17.3 :

Elasticsearch 8.17.3 incluye seguridad integrada y requiere TLS/SSL para la comunicación. Siga estos pasos para configurar TLS/SSL tanto para HTTP como para capas de transporte.

• Generar certificado SSL :

Elasticsearch incluye una herramienta integrada para generar certificados. Utilice el siguiente comando para generar un certificado:

Extraer los certificados :

2. Configurar la búsqueda elástica de TLS/SSL:

Editar el archivo de configuración de elasticsearch usando el siguiente comando:

Agregar o actualizar la configuración:

Si las características a continuación no están presentes en elasticsearch.yml, agréguelas. Si ya existen, establecen o permiten que sean verdaderos.

# Capacidad de seguridad
xpack.security.enabled: true
xpack.security.enrollment.enabled: true

# Enable cifrado y autenticación mutua entre los nodos de racimo
xpack.security.transport.ssl:
habilitado: verdadero
verificación_mode: certificado
keystore.path: certs/transport.p12
truststore.path: certs/transport.p12

# Crear un nuevo cluster con el nodo actual
# Nodos adicionales todavía pueden unirse al clúster más tarde
cluster.initial_master_nodes: ["hostname"]

# Permitir conexiones HTTP API desde cualquier lugar
# Las conexiones están encriptadas y requieren autenticación del usuario
http.host: 0.0.0.0

# Permitir a otros nodos unirse al clúster desde cualquier lugar
# Las conexiones se encriptan y se autentican mutuamente
#transport.host: 0.0.0.0

Restart Elasticsearch :

Reinicie la búsqueda elástica para aplicar los cambios :

Después, compruebe si Elasticsearch está funcionando el siguiente comando: :

Verify Elasticsearch TLS/SSL Configuration :

Por defecto nuestro certificado existe en el directorio siguiente

establecer el siguiente comando para verificar la instalación TLS/SSL:

Cuando Elasticsearch está configurado correctamente para TLS/SSL, el resultado aparece como se muestra a continuación:

Instalar Logstash :

Descargar Logstash 8.17.3

Instalar Logstash 8.17.3

Verificar la instalación Logstash :

Compruebe si la versión 8.17.3 de Logstash se instala utilizando el comando de abajo. Si la versión se muestra, Significa que Logstash está instalado correctamente en nuestra máquina.

El resultado parece:

Inicio y Activar logstash :

Corre el estado de la instalación de Logstash :

El producto es el siguiente:

Iniciar sesión Registro Iniciar sesión Registro

1. Logstash escribe registros a /var/log/logstash/logstash-plain.log. Ver registros utilizando:

2. Para comprobar Logstash logs está usando journalctl

Descargar Kibana 8.17.3

Para descargar Kibana 8.17.3, repartir el siguiente comando:

Instala Kibana 8.17.3 :

Configure kibana 8.17.3 :

Siga los pasos siguientes para administrar Kibana
Paso-1:

Paso-2:
Descomiendo y modificando el siguiente ajuste:

Después de modificar la configuración, guardar y salir de la configuración.

Inicio y Activar Kibana:

Para comprobar si Kibana está configurada correctamente, los resultados aparecen como se muestra infra:

• kibana.service - Kibana

Kibana abierta en el navegador :

Una vez que Kibana esté configurado correctamente, abranlo utilizando la siguiente URL:

http:// detectserver_ip confidencial:5601

Por ejemplo:http://localhost:5601

Configure kibana 8.17.3 con TLS/SSL:

Si Elasticsearch ya está configuradoTLS/SSL (HTTPS), necesitaKibana se comunica de forma seguraCon él.

Mira cómo administrar Kibana con TLS/SSL:

Paso-1:

Paso-2:
Copiar el certificado del directorio certs de la búsqueda elástica el directorio kibana certs :

Establecer los permisos correctores para certificados :

chown kibana:kibana /etc/kibana/elastic-stack-ca.crt

chmod 600 /etc/kibana/elastic-stack-ca.crt

Verifique la propiedad del archivo y permisos :

ls -l /etc/kibana/elastic-stack-ca.crt

El producto aparece como sigue:
-rwxr-x--- 1 kibana kibana 1915 Mar 25 13:56 /etc/kibana/elastic-stack-ca.crt

Paso-3:
Descomiendo y modificando el siguiente ajuste:

server.port: 5601
servidor.host : "localhost"
elasticsearch.hosts: ["https://localhost:9200"]
elasticsearch.username: "kibana_system"
elasticsearch.password: "password"
elasticsearch.maxSockets: 1024
elasticsearch.ssl.certificateAuthorities: [/etc/kibana/http_ca.crt]

Finalmente guardar y salir de las configuraciones de kibana.

Siacceso Kibana sobre HTTPSen lugar de http://localhost:5601, configure TLS en kibana.yml:

Agregar estos ajustes:

server.ssl.enabled: true
server.ssl.certificate: "/etc/kibana/kibana.crt"
server.ssl.key: "/etc/kibana/kibana.key"

Paso-4:
Reinicie el Kibana para obtener los cambios aplicados:

Si no tiene el usuario de Elasticsearch, utilizar el comando de abajo manualmente restablecer la contraseña.

Configurar manualmente contraseña para el usuario

Utilice el siguiente comando en su terminal:

paso-4: Intenta acceder a Kibana

Si usasKibana HTTPS, uso:

https://localhost:5601

SiKibana SSL está deshabilitada, uso:

http://localhost:5601

Si Kibana está corriendo en unaservidor, reemplazar localhost por IP del servidor:

http://your-server-ip:5601

Descargar MQTT Brokery corriendo en nuestra máquina y parece

Configuración del conjunto de investigación elástica

ElElasticsearch Connectoren CrystalMQ permite recuperación de datos sin costuras del corredor e indexación eficiente en Elasticsearch. Garantiza autenticación segura, comunicación encriptada y almacenamiento de datos fiable, lo que lo convierte en un componente esencial para gestionar y analizar los datos de IoT.

• Host:Introduzca el nombre de host o dirección IP de la búsqueda elástica servidor.
• Puerto:Especifique el puerto en el que el servidor de Elasticsearch es escuchar (por defecto:9200).
• ÍndiceIntroduzca el nombre del índice Elasticsearch para almacenar o Recuperando datos.
• Autenticación:Seleccione el método de autenticación:
  Auth basic:Autentizar usando un nombre de usuario y contraseña.
  PKI Auth:Authenticate utilizando Infraestructura de Claves Públicas (PKI) con cliente certificados.
  JWT Auth:Autentice usando un Token Web JSON (JWT).
• Access Token:Si usasJWT autenticación,ingrese una ficha válida de acceso JWT.
• SSL:HabilitaciónSSL/TLSpara una conexión segura. Si está habilitado, proporcione los archivos de certificado requeridos.
• Certificado CA:Subir elCertificado Certificado de autoridad (CA)si utiliza un certificado auto-firmado.
• Certificado de cliente:Si usasautenticación PKI,subir la carga necesariacertificado cliente y clave cliente

1. Autenticación en Elasticsearch Conector

Elasticsearch admite múltiples métodos de autenticación para asegurar acceso.

Autenticación básica

Por defecto, Elasticsearch requiere unnombre de usuario y contraseñapara la autenticación. Sin credenciales válidas, la conexión fallará, conduce a errores de autenticación. Este método es simple y ampliamente utilizado para asegurar el acceso.

Autenticación de PKI (Infraestructura de clave pública)

Usos de autenticación PKIcertificados digitalesen lugar de contraseñas para acceso seguro. En este enfoque:

• ACertificado de clienteyCliente Claveestán obligados a establecer una conexión confiable con Elasticsearch.
• El servidor verifica el certificado contra una confianzaCertificado Autoridad (CA)para asegurar la autenticidad.
• Este método mejora la seguridad eliminando la necesidad de contraseñas y garantizando al mismo tiempo cifrado y comunicación autenticada.

JWT (JSON Web Token) Autenticación

La autenticación JWT proporcionaacceso basado en token control,donde unAcceso Tokense utiliza en lugar de credenciales tradicionales.

• Los proveedores de autenticación comoGoogle o Keycloakgenerar un acceso token para usuarios.
• Elasticsearch valida la ficha usando unclave secretaalmacenados en su configuración.
• Este método permiteseñalización única (SSO)seguro, escalable autenticación.

2. Encryption: SSL/TLS en Elasticsearch

Para proteger los datos en tránsito, Elasticsearch admiteCifrado SSL/TLS,garantizar la comunicación entre los clientes y el servidor sigue siendo privado y seguro.

Configuración de cifrado SSL/TLS

• OpenSSLse utiliza para generar certificados de seguridad necesarios comunicación encriptada.
• Elasticsearch requiere certificados específicos:

  1. Certificado- Una autoridad de certificado de confianza firma otros certificados.

  2. Certificado de cliente- Identificación al cliente Elasticsearch.

  3. Clave del cliente- Una llave privada usada para autenticar certificado de cliente.

Configurando correctamente la autenticación y encriptación, la búsqueda elástica El conector en CrystalMQ proporciona unseguro, escalable y eficientesolución para la gestión de datos IoT.

En el conector Elasticsearch, autenticación básica (nombre de usuario y contraseña) es necesario, por lo que puede configurarse como el predeterminado.

Introduzca las configuraciones en el conector Elasticsearch, incluyendo el índice Elasticsearch, para establecer la conexión.

Una vez completados todos los campos de configuración, seleccione 'Guardar' para guardar las configuraciones en la base de datos.

Si el conector Elasticsearch está conectado con éxito, el botón Activar/Deshabilitar se mostrará verde. Si hay un problema con el conector, el botón se mostrará en rojo.

En la configuración anterior, sólo se utiliza la autenticación básica, sin habilitar el cifrado TLS/SSL.

Use Logstash para ver los datos de Elasticsearch. Veamos cómo podemos utilizar el oleoducto Logstash para capturar estos datos.

Logstash ofrece varios métodos para producir datos, dependiendo de cómo desea almacenar, visualizar o reenvíarlo. Algunas opciones comunes de salida incluyen:

• Elasticsearch
• Archivo
• Producto estándar
• Kafka
• Redis
• AWS S3 / Google Cloud Storage
• InfluxDB
• Email
• TCP / UDP
• Htp
• Gráfico
• WebSocket
• Google BigQuery

Paso -1 :

Configure Logstash para recuperar datos de Elasticsearch:

• Crear un archivo de configuración Logstash
  Crear un archivo llamadoelasticsearch_logstash.confen el Logstash
  directorio de configuración

• Editar el archivo de configuración
  Abiertoelasticsearch_logstash.confy añadir lo siguiente configuración:
  

Corre Logstash

Iniciar Logstash usando el siguiente comando:

En caso de que Logstash haya sido instalado a través de un gestor de paquetes:

Por ejemplo: sudo /usr/share/logstash/bin/logstash -f

~/Documentos/elásticosearch_logstash.conf

Después de configurar Logstash, utilice el siguiente comando para verificar que la configuración se ha aplicado correctamente.

Si la configuración es correcta, la salida es la siguiente:

Compruebe los registros de Logstash usando el comando de abajo para verificar que los datos se están recuperando de Elasticsearch y se muestra en Logstash.

El log Logstash aparece como se muestra a continuación:

Utilizando el JDK incluido: /usr/share/logstash/jdk

Utilice Kibana para visualizar los datos una vez que Elasticsearch lo haya recibido del CrystalMQ Elasticsearch Connector.

Paso-1:

Abra la url del navegador comohttp:// detecthost_ipilo:5601

Paso-2:Crear un patrón de índice

Antes de visualizar datos, necesita definir un patrón de índice para acceder a su Bitácoras MQTT.

• Vaya a "Stack Management" → "Index Patterns".
• Haga clic en "Crear patrón de índice".
• Introduzca su nombre de índice (por ejemplo, offset_mqt-*).
• Seleccione el campo timetamp (@timestamp si está disponible).
• Haga clic en "Crear patrón de índice".

Paso-3:Gráfico para Mensajes MQTT con el tiempo

Antes de visualizar datos, necesita definir un patrón de índice para acceder a su Bitácoras MQTT.

• Ve."Visualize Library"→"Crear visualización".
• Seleccione"Line Chart".
• Elija su patrón de índice (offset_mqtt-*).
• Configure:
  Eje X: Seleccione @timestamp y intervalo de configuración (por ejemplo, 1m, 1h).
  Eje Y: Seleccione Cuenta para contar mensajes MQTT.
• Haga clic"Save"y nombre su visualización.

Paso-4: El gráfico se ve como sigue:

Gráfico de barras :

Pie-chart :

Vista de la tabla :

Ahora, utilizaremos Elasticsearch con encriptación TLS/SSL para establecer una conexión y enviar mensajes a través de Data Connectors en CrystalMQ:

Paso-1 : Verifique que todas las rutas de certificado en la configuración de Elasticsearch se proporcionan correctamente. Si se hacen cambios, reinicie Elasticsearch para aplicarlos.

Paso-2 : Abra el archivo de configuración de Kibana y verifique que todos los ajustes estén correctamente configurados para TLS/SSL.

Paso-3 : Run Crystal MQ y utilizar el conector Elasticsearch en Data Connectors para conectarse a Elasticsearch con el cifrado SSL/TLS.

Paso-4 : Para la encriptación SSL/TLS, se requiere el certificado de raíz de CA para conectarse a Elasticsearch. El certificado de cliente y la clave del cliente son opcionales: cargar sólo el certificado raíz de CA es suficiente para establecer la conexión.

Paso-5: Después de subir todos los certificados, guardar la configuración y activar el conector con el botón Activar/Deshabilitar para mover.

Paso-6 : El conector Elasticsearch con encriptación TLS/SSL ha sido conectado con éxito en CrystalMQ.

Use Logstash para ver los registros desde el conector Elasticsearch:

Configure Logstash para recuperar datos de Elasticsearch:

• Crear un archivo de configuración Logstash
  Crear un archivo llamadoelasticsearch_logstash.confen el Logstash
  directorio de configuración
• Editar el archivo de configuración
  Abiertoelasticsearch_logstash.confy añadir lo siguiente configuración:

Guardar la configuración y utilizar el siguiente comando para verificar si se ha establecido correctamente:

Use Logstash para capturar los datos de la búsqueda elástica con TLS/SSL :

Si ha instalado Logstash a través de un gestor de paquetes:

Por ejemplo: sudo /usr/share/logstash/bin/logstash -f
~/Documentos/elásticosearch_logstash.conf

Ahora Configure el Kibana con la búsqueda elástica TLS/SSL:

Consulte los pasos anteriores para configurar kibana.yml para Elasticsearch con encriptación TLS/SSL.

Abra el navegador en https:// detecthost_ipilo:5601 y visualizar los datos en Kibana utilizando las instrucciones anteriores, con opciones como gráficos de barras, gráficos de tarta y vistas a los datos.

En Elasticsearch versión 8.17.3, estamos utilizando la licencia básica, por lo que PKI y JWT no pueden utilizarse para establecer la conexión.

Para utilizar la autenticación JWT y PKI, se requiere una actualización de la licencia Platinum.

Utilizando la autenticación PKI en CrystalMQ:

En la autenticación PKI se requiere el certificado de cliente y la clave del cliente, mientras que el certificado de raíz CA es opcional.

Guarda la configuración y habilita el botón de conmutación del conector para conectarse a Elasticsearch utilizando la autenticación PKI.

Elasticsearch está ahora configurado con autenticación PKI.

Si queremos cifrar los datos, podemos utilizar SSL/TLS con autenticación PKI.

Para cifrar los datos, SSL/TLS se puede utilizar junto con la autenticación PKI.

En la autenticación PKI con SSL/TLS, el certificado cliente y la clave cliente son necesarios, mientras que para las conexiones SSL-sólo, sólo se necesita el certificado raíz CA para conectarse a Elasticsearch.

Utilizando la autenticación JWT en CrystalMQ:

En la autenticación JWT (JSON Web Tokens), el token de acceso se utiliza para conectarse a Elasticsearch.

Utilice un proveedor de autenticación, como Keycloak o Google Console, para obtener la clave de acceso.

Ahora, utilice la tecla de acceso con el comando de abajo para obtener la ficha de acceso:

En este comando, el proveedor de autenticación Keycloak se utiliza para obtener la ficha de autentificación.

Después de obtener la ficha de acceso, utilizarla en el conector de datos Elasticsearch para conectarse a Elasticsearch utilizando la autenticación JWT.

Si queremos cifrar los datos, podemos utilizar SSL/TLS con autenticación PKI.

Al utilizar SSL/TLS con JWT, simplemente suba el certificado raíz de CA para conectarse a Elasticsearch.