美文网首页程序员
34 如何将代码打包部署到storm 集群运行

34 如何将代码打包部署到storm 集群运行

作者: 逐暗者 | 来源:发表于2017-09-17 19:14 被阅读0次

上一篇 storm 集群搭建, 主要讲解storm 集群搭建,本篇结合上一篇如何将代码打包部署到storm 集群运行。

代码打包

  • 进入项目目录,打开命令行 mvn clean package 或者 项目右键 run as > maven build


    代码打包
打包成功
  • 到target 中拷贝打包的storm-wordcount-1.0-SNAPSHOT.jar 到 192.168.0.16 节点中

storm-wordcount 部署到 storm 中

storm jar storm-wordcount-1.0-SNAPSHOT.jar com.bill.storm.WordCountTopology wordCountTopology

storm-wordcount 已经部署到 storm 集群中
  • 进入ui 界面查看相关信息
storm-wordcount 状态
  • 点击 wordCountTopology 我们会看到运行的详细情况
例如worker 分布情况
  • 点击每个worker 的 port,可以看到相关日志打印
    但是,点击后会发现
    异常页面

解决: 确认开启 logviewer,在 192.168.0.16,192.168.0.17,192.168.0.18 的 supervisor上面分别启动

storm logviewer >/dev/null 2>&1 &

启动 logviewer worker 执行 日志输出

关闭某个作业

storm kill [topology-name] 如: storm kill wordCountTopology

注:topology-name 提交jar 到 storm 时的名称

关闭 wordCountTopology 作业

UI 上查看也没有了


image.png

以上就是本章内容,如有不对的地方,请多多指教,谢谢!

为了方便有需要的人,本系列全部软件都在 https://pan.baidu.com/s/1qYsJZfY

下章预告:主要 redis 缓存冷启动分析及解决思路

作者:逐暗者 (转载请注明出处)

相关文章

  • 35 redis 缓存冷启动分析及解决思路

    上一篇 如何将代码打包部署到storm 集群运行, 主要讲解了如何将代码打包部署到storm 集群运行,本篇主要讲...

  • 34 如何将代码打包部署到storm 集群运行

    上一篇 storm 集群搭建, 主要讲解storm 集群搭建,本篇结合上一篇如何将代码打包部署到storm 集群运...

  • 基于storm集群运行计算拓扑

    概述 利用storm集群运行计算拓扑:WordCountTopology 打包 利用工具生成storm-hello...

  • storm集群部署和项目部署

    storm集群部署和项目部署 storm项目部署 使用maven命令把依赖的jar打到target/depende...

  • docker部署storm

    docker部署storm 访问 http://192.168.2.214:8887 提交topology集群 官...

  • storm集群部署

    【准备】1:虚拟机奇数台(3)2:java环境(java1.7)3:python环境(python2.7)3:zo...

  • Storm | 集群部署

    集群部署 环境准备 ssh免密码登陆、zookeeper 部署、python 2.7+ 集群部署 常用配置 启动服...

  • storm集群部署

    概述 本文开始安装storm集群。 部署过程 上传storm安装包、解压和配置环境变量 2.修改配置文件 启动st...

  • Spark学习笔记4

    任务的提交以及Standalone集群模式的部署 spark-submit 首先需要打包代码,如果你的代码需要依赖...

  • 集群部署

    可能要重新部署zookeeper、storm、flink、spark、hadoop、redis、kafka等集群模...

网友评论

    本文标题:34 如何将代码打包部署到storm 集群运行

    本文链接:https://www.haomeiwen.com/subject/valmsxtx.html