Невозможно переназначить раздел темы кафки

Версия kafka — kafka_2.12-2.2.0, zookeeper — 3.5.4-beta.

1.стартовый брокер 0

./bin/kafka-server-start.sh -daemon config/server.properties

2.создайте тему под названием test

./bin/kafka-topics.sh --zookeeper 192.168.18.128:2181/kafka --topic test --create --partitions 2 --replication-factor 1

описание темы тест

./bin/kafka-topics.sh --zookeeper 192.168.18.128:2181/kafka --topic test --describe
Topic:test  PartitionCount:2    ReplicationFactor:1 Configs:
Topic: test Partition: 0    Leader: 0   Replicas: 0 Isr: 0
Topic: test Partition: 1    Leader: 0   Replicas: 0 Isr: 0

3. теперь я запускаю брокера 1 и хочу переместить раздел-1 теста темы на брокера 1. Затем я создаю файл json с именем reassign.json, содержимое reassign.json

{
    "version": 1, 
    "partitions": [
        {
            "topic": "test", 
            "partition": 1, 
            "replicas": [
                1
            ], 
            "log_dirs": [
                "any"
            ]
        }
    ]
}

Затем я выполняю команду для перемещения раздела-1

./bin/kafka-reassign-partitions.sh --zookeeper 192.168.18.128:2181/kafka --reassignment-json-file json/reassign.json --execute

4. Через несколько секунд я выполняю команду, чтобы показать результат предыдущей команды.

./bin/kafka-reassign-partitions.sh --zookeeper 192.168.18.128:2181/kafka --verify --reassignment-json-file json/reassign.json
Status of partition reassignment: 
Reassignment of partition test-1 is still in progress

Я повторяю попытку 2 раза, ошибка переназначения раздела все еще продолжается.

5. Затем я получаю следующий журнал ошибок в server.log.

[2019-09-13 15:37:04,696] ERROR [KafkaApi-0] Error when handling request: clientId=0, correlationId=6, api=UPDATE_METADATA, body={controller_id=0,controller_epoch=1,broker_epoch=62,topic_states=[{topic=test,partition_states=[{partition=1,controller_epoch=1,leader=0,leader_epoch=0,isr=[0],zk_version=0,replicas=[1,0],offline_replicas=[]}]}],live_brokers=[{id=0,end_points=[{port=9092,host=ubuntu,listener_name=PLAINTEXT,security_protocol_type=0}],rack=null},{id=1,end_points=[{port=9092,host=ubuntu,listener_name=PLAINTEXT,security_protocol_type=0}],rack=null}]} (kafka.server.KafkaApis)
java.lang.IllegalStateException: Epoch 62 larger than current broker epoch 28
        at kafka.server.KafkaApis.isBrokerEpochStale(KafkaApis.scala:2414)
        at kafka.server.KafkaApis.handleUpdateMetadataRequest(KafkaApis.scala:236)
        at kafka.server.KafkaApis.handle(KafkaApis.scala:114)
        at kafka.server.KafkaRequestHandler.run(KafkaRequestHandler.scala:69)
        at java.lang.Thread.run(Thread.java:748)

Кто-нибудь решал такую ​​же проблему? Не могли бы вы поделиться своими вариантами? Спасибо.


apache-kafka
person James Peng    schedule 13.09.2019    source источник

Ответы (1)


arrow_upward
0
arrow_downward

Я попробовал ваши конфиги, и у меня все работало хорошо. Из ошибки под номером 5 я вижу, что реплики вашего partition-1 равны [1,0], а у вас коэффициент репликации равен 1.

Основано здесь (проверьте реплики):

[2019-09-13 15:37:04,696] ERROR [KafkaApi-0] Error when handling request: clientId=0, correlationId=6, api=UPDATE_METADATA, body={controller_id=0,controller_epoch=1,broker_epoch=62,topic_states=[{topic=test,partition_states=[{partition=1,controller_epoch=1,leader=0,leader_epoch=0,isr=[0],zk_version=0,replicas=[1,0],offline_replicas=[]}]}],live_brokers=[{id=0,end_points=[{port=9092,host=ubuntu,listener_name=PLAINTEXT,security_protocol_type=0}],rack=null},{id=1,end_points=[{port=9092,host=ubuntu,listener_name=PLAINTEXT,security_protocol_type=0}],rack=null}]} (kafka.server.KafkaApis)

Проверьте, не добавили ли вы где-нибудь дополнительный шаг, добавляющий broker-1 в качестве реплики для partition-1.

person Ergi Nushi    schedule 13.09.2019
comment
ErgiNushi, спасибо за ответ. Причина в том, что я допустил ошибку. У меня есть две vms, оба имени хоста - ubuntu. И в server.properties кафки значение свойства listeners по умолчанию, #listeners=PLAINTEXT://:9092. В результате брокер-0 и брокер-1 имеют то же самое конечные точки."endpoints":["PLAINTEXT://ubuntu:9092"]. Я изменяю имя хоста node0 как node0, node1 как node1 и устанавливаю listeners=PLAINTEXT://node0IP:9092 брокера-0, устанавливаю listeners=PLAINTEXT://node1IP:9092 брокера-1. Затем это сработало. - person James Peng; 13.09.2019