spark使用过程中的错误和问题记录

2018年6月15日19:03:24 发表评论 706 views

本文最后更新于 2018年06月25日 16:02 可能会因为没有更新而失效。如已失效或需要修正,请留言或者email联系我!

1、submit提交job时的占用错误 Address already in use

错误描述:WARN component.AbstractLifeCycle: FAILED ServerConnector@11389053{HTTP/1.1}{0.0.0.0:4040}: java.net.BindException: Address already in use

错误原因:之前使用submit提交任务时出现非正常退出。

解决办法:不会影响正常的任务运行,等待一段时间后就会自动解除占用。

2、setAppName问题

问题描述:我在程序中设置了如下的应用名,但是每次在hadoop运行管理见面的name出现的都是包名。

问题原因:参考

解决办法:在使用spark-submit提交的时候增加"--name appName"参数。

  • 我的微信
  • 这是我的微信扫一扫
  • weinxin
  • 我的微信公众号
  • 我的微信公众号扫一扫
  • weinxin

发表评论

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen: