韓誥傭痔

Table of Contents

2 D谷tails du pr谷traitement

2 D谷tails du pr谷traitement

Aper?u

Cette section fournit des d谷tails sur le pr谷traitement de la valeur de l'谷l谷ment. Le pr谷traitement des valeurs d'谷l谷ments permet de d谷finir et d'ex谷cuter des r豕gles de transformation pour les valeurs d'谷l谷ments re?ues.

Le pr谷traitement est g谷r谷 par un processus de gestionnaire de pr谷traitement, qui a 谷t谷 ajout谷 dans 韓誥傭痔 3.4, ainsi que par des agents de pr谷traitement qui ex谷cutent les 谷tapes de pr谷traitement. Toutes les valeurs (avec ou sans pr谷traitement) des diff谷rents collecteurs de donn谷es passent par le gestionnaire de pr谷traitement avant d'那tre ajout谷es au cache de l'historique. La communication IPC bas谷e sur les sockets est utilis谷e entre les collecteurs de donn谷es (pollers, trappers, etc.) et le processus de pr谷traitement. Le serveur 韓誥傭痔 ou le proxy 韓誥傭痔 (pour les 谷l谷ments surveill谷s par le proxy) effectue des 谷tapes de pr谷traitement.

Traitement de la valeur de l'谷l谷ment

Pour visualiser le flux de donn谷es de la source de donn谷es vers la base de donn谷es 韓誥傭痔, nous pouvons utiliser le sch谷ma simplifi谷 suivant :

Le diagramme ci-dessus montre uniquement les processus, les objets et les actions li谷s au traitement de la valeur de l'谷l谷ment sous une forme 莽勳鳥梯梭勳款勳谷梗. Le diagramme ne montre pas les changements de direction conditionnels, la gestion des erreurs ou les boucles. Le cache de donn谷es local du gestionnaire de pr谷traitement n'est pas affich谷 non plus car il n'affecte pas directement le flux de donn谷es. L'objectif de ce diagramme est de montrer les processus impliqu谷s dans le traitement de la valeur des 谷l谷ments et la fa?on dont ils interagissent.

La collecte de donn谷es commence par des donn谷es brutes provenant d'une source de donn谷es. ? ce stade, les donn谷es ne contiennent que l'ID, l'horodatage et la valeur (il peut 谷galement s'agir de plusieurs valeurs)
Quel que soit le type de collecteur de donn谷es utilis谷, l'id谷e est la m那me pour les v谷rifications actives ou passives, pour les 谷l谷ments de trappeur, etc., car cela ne modifie que le format des donn谷es et le d谷marreur de communication (soit le collecteur de donn谷es attend une connexion et des donn谷es, ou le collecteur de donn谷es initie la communication et demande les donn谷es). Les donn谷es brutes sont valid谷es, la configuration des 谷l谷ments est extraite du cache de configuration (les donn谷es sont enrichies avec les donn谷es de configuration).
Le m谷canisme IPC bas谷 sur les sockets est utilis谷 pour transmettre les donn谷es des collecteurs de donn谷es au gestionnaire de pr谷traitement. ? ce stade, le collecteur de donn谷es continue de collecter des donn谷es sans attendre la r谷ponse du gestionnaire de pr谷traitement.
Un pr谷traitement des donn谷es est effectu谷. Cela inclut l'ex谷cution des 谷tapes de pr谷traitement et le traitement des 谷l谷ments d谷pendants.

L'谷l谷ment peut changer son 谷tat en NON SUPPORT? pendant le pr谷traitement si l'une des 谷tapes de pr谷traitement 谷choue.

Les donn谷es d'historique du cache de donn谷es local du gestionnaire de pr谷traitement sont vid谷es dans le cache d'historique.
? ce stade, le flux de donn谷es s'arr那te jusqu'角 la prochaine synchronisation du cache de l'historique (lorsque le processus de synchronisation de l'historique effectue la synchronisation des donn谷es).
Le processus de synchronisation commence par la normalisation des donn谷es en stockant les donn谷es dans la base de donn谷es 韓誥傭痔. La normalisation des donn谷es effectue des conversions vers le type d'谷l谷ment souhait谷 (type d谷fini dans la configuration de l'谷l谷ment), y compris la troncature des donn谷es textuelles en fonction des tailles pr谷d谷finies autoris谷es pour ces types (HISTORY_STR_VALUE_LEN pour la cha?ne, HISTORY_TEXT_VALUE_LEN pour le texte et HISTORY_LOG_VALUE_LEN pour les valeurs de journal). Les donn谷es sont envoy谷es 角 la base de donn谷es 韓誥傭痔 apr豕s la normalisation.

L'谷l谷ment peut changer son 谷tat en NON SUPPORT? si la normalisation des donn谷es 谷choue (par exemple, lorsque la valeur textuelle ne peut pas 那tre convertie en nombre).

Les donn谷es collect谷es sont en cours de traitement - les d谷clencheurs sont v谷rifi谷s, la configuration de l'谷l谷ment est mise 角 jour si l'谷l谷ment devient NON SUPPORT?, etc.
Ceci est consid谷r谷 comme la fin du flux de donn谷es du point de vue du traitement de la valeur de l'谷l谷ment.

Pr谷traitement de la valeur de l'谷l谷ment

Pour visualiser le processus de pr谷traitement des donn谷es, nous pouvons utiliser le sch谷ma simplifi谷 suivant :

Le diagramme ci-dessus montre uniquement les processus, les objets et les actions principales li谷s au pr谷traitement de la valeur de l'谷l谷ment sous une forme 莽勳鳥梯梭勳款勳谷梗. Le diagramme ne montre pas les changements de direction conditionnels, la gestion des erreurs ou les boucles. Un seul agent de pr谷traitement est affich谷 sur ce diagramme (plusieurs agents de pr谷traitement peuvent 那tre utilis谷s dans des sc谷narios r谷els), une seule valeur d'谷l谷ment est en cours de traitement et nous supposons que cet 谷l谷ment n谷cessite l'ex谷cution d'au moins une 谷tape de pr谷traitement. Le but de ce diagramme est de montrer l'id谷e derri豕re le pipeline de pr谷traitement de la valeur de l'谷l谷ment.

Les donn谷es d'谷l谷ment et la valeur de l'谷l谷ment sont transmises au gestionnaire de pr谷traitement 角 l'aide du m谷canisme IPC bas谷 sur les sockets.
L'谷l谷ment est plac谷 dans la file d'attente de pr谷traitement.

L'谷l谷ment peut 那tre plac谷角 la fin ou au d谷but de la file d'attente de pr谷traitement. Les 谷l谷ments internes de 韓誥傭痔 sont toujours plac谷s au d谷but de la file d'attente de pr谷traitement, tandis que les autres types d'谷l谷ments sont mis en file d'attente 角 la fin.

? ce stade, le flux de donn谷es s'arr那te jusqu'角 ce qu'il y ait au moins un agent de pr谷traitement inoccup谷 (qui n'ex谷cute aucune t?che).
Lorsque le worker de pr谷traitement est disponible, la t?che de pr谷traitement lui est envoy谷e.
Une fois le pr谷traitement termin谷 (谷chec et ex谷cution r谷ussie des 谷tapes de pr谷traitement), la valeur pr谷trait谷e est renvoy谷e au gestionnaire de pr谷traitement.
Le gestionnaire de pr谷traitement convertit le r谷sultat au format souhait谷 (d谷fini par le type de valeur d'谷l谷ment) et place le r谷sultat dans la file d'attente de pr谷traitement. S'il existe des 谷l谷ments d谷pendants pour l'谷l谷ment actuel, les 谷l谷ments d谷pendants sont 谷galement ajout谷s 角 la file d'attente de pr谷traitement. Les 谷l谷ments d谷pendants sont mis en file d'attente dans la file d'attente de pr谷traitement juste apr豕s l'谷l谷ment principal, mais uniquement pour les 谷l谷ments principaux avec une valeur d谷finie et non dans l'谷tat NON SUPPORT?.

File d'attente de pr谷traitement

La file d'attente de pr谷traitement est une structure de donn谷es FIFO qui stocke les valeurs en pr谷servant l'ordre dans lequel les valeurs sont r谷cup谷r谷es par le gestionnaire de pr谷traitement. Il existe plusieurs exceptions 角 la logique FIFO :

Les 谷l谷ments internes sont mis en file d'attente au d谷but de la file d'attente
Les 谷l谷ments d谷pendants sont toujours mis en file d'attente apr豕s l'谷l谷ment principal

Pour visualiser la logique de la file d'attente de pr谷traitement, nous pouvons utiliser le sch谷ma suivant :

Les valeurs de la file d'attente de pr谷traitement sont vid谷es du d谷but de la file d'attente 角 la premi豕re valeur non trait谷e. Ainsi, par exemple, le gestionnaire de pr谷traitement videra les valeurs 1, 2 et 3, mais ne videra pas la valeur 5 car la valeur 4 n'est pas encore trait谷e :

Seules deux valeurs seront laiss谷es dans la file d'attente (4 et 5) apr豕s le vidage, les valeurs sont ajout谷es au cache de donn谷es local du gestionnaire de pr谷traitement, puis les valeurs sont transf谷r谷es du cache local au cache d'historique. Le gestionnaire de pr谷traitement peut vider les valeurs du cache de donn谷es local en mode 谷l谷ment unique ou en mode bloc (utilis谷 pour les 谷l谷ments d谷pendants et les valeurs re?ues en bloc).

Preprocessing caching

Preprocessing caching was introduced to improve the preprocessing performance for multiple dependent items having similar preprocessing steps (which is a common LLD outcome).

Caching is done by preprocessing one dependent item and reusing some of the internal preprocessing data for the rest of the dependent items. The preprocessing cache is supported only for the first preprocessing step of the following types:

Prometheus pattern (indexes input by metrics)
JSONPath (parses the data into object tree and indexes the first expression [?(@.path == "value")])

Processus de travail de pr谷traitement

Le fichier de configuration du serveur 韓誥傭痔 permet aux utilisateurs de d谷finir le nombre de processus de travail de pr谷traitement. Le param豕tre de configuration StartPreprocessors doit 那tre utilis谷 pour d谷finir le nombre d'instances pr谷-fork谷es de processus de travail de pr谷traitement. Le nombre optimal de processus de travail de pr谷traitement peut 那tre d谷termin谷 par de nombreux facteurs, y compris le nombre d'谷l谷ments "pr谷traitables" (谷l谷ments qui n谷cessitent d'ex谷cuter des 谷tapes de pr谷traitement), le nombre de processus de collecte de donn谷es, le nombre moyen d'谷tapes pour le pr谷traitement des 谷l谷ments, etc.

Mais en supposant qu'il n'y a pas d'op谷rations de pr谷traitement lourdes comme l'analyse de gros morceaux XML / JSON, le nombre de processus de travail de pr谷traitement peut correspondre au nombre total de collecteurs de donn谷es. De cette fa?on, il y aura la plupart du temps (sauf dans les cas o迄 les donn谷es du collecteur arrivent en masse) au moins un agent de pr谷traitement inoccup谷 pour les donn谷es collect谷es.

Trop de processus de collecte de donn谷es (pollers, pollers d'inaccessibilit谷, pollers ODBC, pollers HTTP, pollers Java, pingers, trappeurs, proxypollers) associ谷s au gestionnaire IPMI, au trappeur SNMP et aux agents de pr谷traitement peuvent 谷puiser la limite de descripteur de fichier par processus pour le gestionnaire de pr谷traitement. Cela entra?nera l'arr那t du serveur 韓誥傭痔 (g谷n谷ralement peu de temps apr豕s le d谷marrage, mais parfois cela peut prendre plus de temps). Le fichier de configuration doit 那tre r谷vis谷 ou la limite doit 那tre augment谷e pour 谷viter cette situation.

Pipeline de traitement de la valeur

Le traitement de la valeur de l'谷l谷ment est ex谷cut谷 en plusieurs 谷tapes (ou phases) par plusieurs processus. Cela peut entra?ner :

L'谷l谷ment d谷pendant peut recevoir des valeurs, contrairement 角 LA valeur principale. Ceci peut 那tre r谷alis谷 en utilisant le cas d'usage suivant :
- L'谷l谷ment principal a le type de valeur UINT (l'谷l谷ment trappeur peut 那tre utilis谷), l'谷l谷ment d谷pendant a le type de valeur TEXT.
- Aucune 谷tape de pr谷traitement n'est requise pour les 谷l谷ments principaux et d谷pendants.
- La valeur textuelle (comme "abc") doit 那tre transmise 角 l'谷l谷ment principal.
- Comme il n'y a pas d'谷tapes de pr谷traitement 角 ex谷cuter, le gestionnaire de pr谷traitement v谷rifie si l'谷l谷ment principal n'est pas dans l'谷tat NON SUPPORT? et si la valeur est d谷finie (les deux sont vrais) et met en file d'attente l'谷l谷ment d谷pendant avec la m那me valeur que l'谷l谷ment principal (car il n'y a pas d'谷tape de pr谷traitement) .
- Lorsque les 谷l谷ments principaux et d谷pendants atteignent la phase de synchronisation de l'historique, l'谷l谷ment principal devient NON SUPPORT?, en raison de l'erreur de conversion de valeur (les donn谷es textuelles ne peuvent pas 那tre converties en entier non sign谷).

Par cons谷quent, l'谷l谷ment d谷pendant re?oit une valeur, tandis que l'谷l谷ment principal change son 谷tat en NON SUPPORT?.

L'谷l谷ment d谷pendant re?oit une valeur qui n'est pas pr谷sente dans l'historique de l'谷l谷ment principal. Le cas d'usage est tr豕s similaire au pr谷c谷dent, 角 l'exception du type d'谷l谷ment principal. Par exemple, si le type CHAR est utilis谷 pour l'谷l谷ment principal, la valeur de l'谷l谷ment principal sera tronqu谷e lors de la phase de synchronisation de l'historique, tandis que les 谷l谷ments d谷pendants recevront leur valeur 角 partir de la valeur initiale (non tronqu谷e) de l'谷l谷ment principal.