Cette page présente les contrôles de simultanéité des flux, tels que le nombre maximal de pods le nombre de tâches simultanées de capture des données modifiées (CDC, Change Data Capture) et de remplissage. Vous pouvez les performances du flux de contrôle en augmentant ou en diminuant les valeurs de ces paramètres.
Présentation des contrôles de simultanéité
Grâce aux contrôles de simultanéité, vous pouvez obtenir un remplissage et une CDC plus rapides, ou équilibrer la charge sur la base de données source. Si vous avez besoin de débits plus élevés, et peut supporter une charge plus élevée sur la base de données, vous pouvez augmenter la simultanéité des tâches de CDC et de remplissage. À l'inverse, si votre base de données connaît et que vous voulez éviter qu'elle ne soit surchargée, vous pouvez réduire les valeurs de ces paramètres.
Nombre maximal de tâches CDC
Le paramètre maxConcurrentCdcTasks
vous permet de contrôler le nombre de CDC.
qu'un flux s'exécute en parallèle. Pour étendre le débit de la CDC, augmentez la valeur
de ce paramètre et permettre à Datastream de traiter davantage de fichiers journaux CDC.
en même temps.
Les principales caractéristiques du paramètre sont les suivantes:
- La valeur par défaut est
5
. Vous pouvez définir ce paramètre sur n'importe quelle valeur comprise entre1
et50
, inclus. - Ce paramètre ne s'applique qu'aux sources Oracle et MySQL.
- Le paramètre n'a d'impact que si d'autres fichiers journaux de base de données sont disponibles qu'il n'y a de tâches CDC. Les paramètres des fichiers journaux sont contrôlés par les paramètres de configuration de la base de données source: la taille maximale du fichier journal et l'intervalle de temps maximal de rotation des journaux. Pour en savoir plus sur ces , reportez-vous à la documentation Oracle et MySQL.
- Si vous réduisez le nombre de tâches CDC simultanées, Datastream peut du retard par rapport aux journaux de la base de données, ce qui peut à terme entraîner une perte de position logarithmique et les échecs de flux.
Nombre maximal de tâches de remplissage
Le paramètre maxConcurrentBackfillTasks
vous permet de contrôler le nombre de remplissages.
qu'un flux peut exécuter en parallèle. Vous pouvez augmenter ou diminuer cette valeur
pour contrôler le débit du remplissage.
Les principales caractéristiques du paramètre sont les suivantes:
- La valeur par défaut est
15
. Vous pouvez définir ce paramètre sur n'importe quelle valeur comprise entre1
et50
, inclus. - L'augmentation de la simultanéité du remplissage présente un risque élevé,
car les tâches de remplissage ont un impact significatif sur les performances de la base de données.
Chaque tâche de remplissage exécute une requête
SELECT
non filtrée sur une table, et pour grandes tables, de telles requêtes renvoient un grand nombre de lignes. - Si vous réduisez la simultanéité du remplissage, cela n'a aucun impact négatif sur la base de données source, à l'exception du remplissage qui prend plus de temps.
Modifier les valeurs des contrôles de simultanéité
Vous pouvez modifier les valeurs des paramètres de contrôle de simultanéité à l'aide de la méthode API Datastream.
- Pour savoir comment augmenter ou réduire le nombre de tâches CDC simultanées, consultez Modifiez le nombre maximal de tâches CDC simultanées.
- Pour savoir comment augmenter ou réduire le nombre de tâches de remplissage simultanées, consultez Modifier le nombre maximal de tâches de remplissage simultanées
Étape suivante
- Consultez la section Gérer les flux pour en savoir plus sur comment utiliser l'API Datastream.
- Consultez la documentation de référence de l'API Datastream
pour en savoir plus sur la ressource
Stream
.