kafka使用过程错误记录

2018年7月10日09:22:24 发表评论 233 views

1、topic使用和topic分区之间的关系

问题描述:我使用SparkStreaming去读取Kafka中的topic一直读取不到数据。

问题原因:原来是我之前删除过streaming读取的该topic,使得该topic的分区数目有3个变成了1个,导致SparkStreaming读取kafka的时候出现错误。

解决办法:重新创建该topic,使该topic的分区和spark读取的分区数相同;修改spark读取的分区个数为当前topic的分区。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: