Articles of apache kafka

Exception de consommateur Kafka CommitFailedException

Après avoir créé plusieurs consommateurs (à l’aide de l’API java Kafka 0.9) et que chaque thread a démarré, l’exception suivante s’affiche. Consumer has failed with exception: org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance class com.messagehub.consumer.Consumer is shutting down. org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed due to group rebalance at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator$OffsetCommitResponseHandler.handle(ConsumerCoordinator.java:546) at org.apache.kafka.clients.consumer.internals.ConsumerCoordinator$OffsetCommitResponseHandler.handle(ConsumerCoordinator.java:487) at org.apache.kafka.clients.consumer.internals.AbstractCoordinator$CoordinatorResponseHandler.onSuccess(AbstractCoordinator.java:681) […]

Erreurs d’implémentation de Kafka Connect

Je parcourais le tutoriel ici: http://kafka.apache.org/documentation.html#introduction Lorsque j’arrive à “Étape 7: J’utilise Kafka Connect pour importer / exporter des données” et que je tente de démarrer deux connecteurs, les erreurs suivantes apparaissent: ERROR Failed to flush WorkerSourceTask{id=local-file-source-0}, timed out while waiting for producer to flush outstanding messages, 1 left ERROR Failed to commit offsets for […]

Kafka Avro Consumer avec des problèmes de décodeur

Lorsque j’ai essayé d’exécuter Kafka Consumer avec Avro sur les données de mon schéma respectif, une erreur “AvroRuntimeException: données mal formées a été générée. La longueur est négative: -40”. Je vois que d’autres ont eu des problèmes similaires en convertissant un tableau d’octets en json , Avro en écriture et en lecture et un codeur […]

Apache Kafka – KafkaStream sur le sujet / la partition

J’écris Kafka Consumer pour une application dissortingbuée à haut volume et à grande vitesse. Je n’ai qu’un sujet, mais noter les messages entrants est très élevé. Avoir plusieurs partitions qui servent plus de consommateurs serait approprié pour ce cas d’utilisation. La meilleure façon de consumr est d’avoir plusieurs lecteurs de stream. Selon la documentation ou […]

Kafka Topic vs Partition topic

Je voudrais savoir quelle est la différence entre un sujet simple et un sujet de partition.Selon ma compréhension d’équilibrer la charge, le sujet a été partitionné, chaque message aura un décalage et le consommateur le confirmera pour s’assurer que les messages précédents ont été consommés.Au cas le déséquilibre effectué par kafka est-il géré efficacement? Si […]

Samza / Kafka n’a pas réussi à mettre à jour les métadonnées

Je travaille actuellement sur l’écriture d’un script Samza qui ne prendra que les données d’un sujet Kafka et les affichera dans un autre sujet Kafka. J’ai écrit une StreamTask très basique mais lors de l’exécution, je rencontre une erreur. L’erreur est ci-dessous: Exception in thread “main” org.apache.samza.SamzaException: org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 193 ms. […]

Kafka Java SimpleConsumer étrange encodage

J’essaie d’utiliser SimpleConsumer dans Kafka 9 pour permettre aux utilisateurs de rejouer des événements à partir d’un décalage temporel – mais les messages que je reçois en retour de Kafka sont dans un encodage très étrange: 7icf-test-testEvent.ebebf1a4.2911.431d.a138.f5d6db4647d7\ W>8 {“namespace”:”test”,”type”:”testEvent.ebebf1a4.2911.431d.a138.f5d6db4647d7″,”received”:1464819330373,”context”:{“userid”:0,”username”:”testUser”}} !} a {“namespace”:”test”,”type”:”testEvent.ebebf1a4.2911.431d.a138.f5d6db4647d7″,”received”:1464819331637,”context”:{“userid”:1,”username”:”testUser”}} r {“namespace”:”test”,”type”:”testEvent.ebebf1a4.2911.431d.a138.f5d6db4647d7″,”received”:1464819332754,”context”:{“userid”:2,”username”:”testUser”}} {“namespace”:”test”,”type”:”testEvent.ebebf1a4.2911.431d.a138.f5d6db4647d7″,”received”:1464819333868,”context”:{“userid”:3,”username”:”testUser”}} p= {“namespace”:”test”,”type”:”testEvent.ebebf1a4.2911.431d.a138.f5d6db4647d7″,”received”:1464819334997,”context”:{“userid”:4,”username” En utilisant KafkaConsumer, ces messages s’parsingnt parfaitement. Voici […]

Comment peut-on éviter les limitations de Kafka?

Nous essayons de mettre en place un système de BI qui collectera de très grandes quantités de données qui devraient être traitées par d’autres composants. Nous avons décidé que ce serait une bonne idée d’avoir une couche intermédiaire pour collecter, stocker et dissortingbuer les données. Les données sont représentées par un grand ensemble de messages […]

Connexion dynamic d’un stream d’entrée Kafka à plusieurs stream de sortie

Kafka Streams intègre-t-il une fonctionnalité permettant de connecter dynamicment un seul stream d’entrée à plusieurs stream de sortie? KStream.branch autorise la KStream.branch twigs sur la base de prédicats vrais / faux, mais ce n’est pas tout à fait ce que je veux. J’aimerais que chaque journal entrant détermine le sujet sur {“date”: “2017-01-01”} il sera […]

Comment réaliser la multi-location dans le contexte de Kafka et de la tempête?

Quelles sont les meilleures pratiques pour créer une application multi-locataires dans le contexte de Kafka et de storm? Par exemple: créer un sujet pour chaque client hébergé et utiliser un bec multi-sujets (en utilisant un caractère générique).