flink部署和运行.md

• 一、Flink部署
  • 1.1 下载 Flink 安装包
  • 解压, 启动 flink
• 二、在WebUI提交运行
  • 2.2 提交任务
  • 2.3 运行任务
  • 2.4 停止任务
  • 2.5 将启动时设置的并行度设置为 2 再启动
• 三、在命令行提交任务
  • 3.1 提交任务
  • 3.2 停止任务

---

一、Flink部署

本次使用单机 Flink 作为环境, 后续会详细介绍 Flink 的三种部署模式

1.1 下载 Flink 安装包

http://apache.mirrors.hoobly.com/flink/

解压, 启动 flink

root@LAPTOP-7SSIH7L3:/opt/flink-1.10.1# bin/start-cluster.sh
Starting cluster.
Starting standalonesession daemon on host LAPTOP-7SSIH7L3.
Starting taskexecutor daemon on host LAPTOP-7SSIH7L3.

root@LAPTOP-7SSIH7L3:/opt/flink-1.10.1# jps
1413 Jps
966 StandaloneSessionClusterEntrypoint
1304 TaskManagerRunner

在浏览器中输入: http://localhost:8081/

二、在WebUI提交运行

2.2 提交任务

2.3 运行任务

测试——在 window 子 ubuntu 系统中用 netcat 命令进行发送测试。

kino@LAPTOP-7SSIH7L3:~$ nc -lk 8888

hello spark
hello flink

在 WebUI 中查看结果:

2.4 停止任务

2.5 将启动时设置的并行度设置为 2 再启动

可以看见, show plan 已经不一样了, 而且我们能看见 下面 status 处于 CREATED 状态, 并且处于加载状态, 原因是因为 我们提交时设置的并行度为: 2, 而我们 flink-conf.yaml 配置文件中, taskmanager.numberOfTaskSlots 默认为: 1

我们修改配置文件中的该参数为: 2 然后重启flink再提交任务

root@LAPTOP-7SSIH7L3:/opt/flink-1.10.1# vim conf/flink-conf.yaml

taskmanager.numberOfTaskSlots: 2

再次提交任务

可以看到此时任务正常运行起来了, 我们使用 nc 输入看一下效果

kino@LAPTOP-7SSIH7L3:~$ nc -lk 8888

hello spark
hello flink

三、在命令行提交任务

3.1 提交任务

bin/flink run -c day01.StreamWordCount -p 1 /mnt/d/work/kino/FlinkTutorial/target/FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar
Job has been submitted with JobID 2576fb84c55711f3e5ba62ff0013bd2e

3.2 停止任务

root@LAPTOP-7SSIH7L3:/opt/flink-1.10.1# bin/flink list
Waiting for response...
------------------ Running/Restarting Jobs -------------------
28.08.2020 16:54:30 : 2576fb84c55711f3e5ba62ff0013bd2e : Socket stream word count (RUNNING)
--------------------------------------------------------------
No scheduled jobs.

root@LAPTOP-7SSIH7L3:/opt/flink-1.10.1# bin/flink cancel 2576fb84c55711f3e5ba62ff0013bd2e
Cancelling job 2576fb84c55711f3e5ba62ff0013bd2e.
Cancelled job 2576fb84c55711f3e5ba62ff0013bd2e.

此时再查看WebUI, 任务已经结束.