目前flink中的资源管理主要是使用的hadoop圈里的yarn,故此需要先搭建hadoop环境并启动yarn和hdfs,由于看到的教程都是集群版,现实是只有1台机器,故此都是使用这台机器安装。
1.下载对应hadoop安装包
https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz
2.解压到指定路径比如这里我选择的如下:
3.修改hadoop相关配置
cd /root/dxy/hadoop/hadoop-3.3.5/etc/hadoop
vi core-site.xml 核心配置文件
fs.defaultFS hdfs://10.26.141.203:8020 hadoop.tmp.dir /root/dxy/hadoop/hadoop-3.3.5/datas hadoop.http.staticuser.user root
vi hdfs-site.xml 修改hdfs配置文件
dfs.namenode.http-address 10.26.141.203:9870 dfs.namenode.secondary.http-address 10.26.141.203:9868
vi yarn-site.xml 修改yarn配置
~ yarn.nodemanager.aux-services mapreduce_shuffle yarn.resourcemanager.hostname 10.26.141.203 yarn.nodemanager.env-whitelist JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME
vim mapred-site.xml
mapreduce.framework.name yarn
vi workers 填上 服务器ip 如:
10.26.141.203
修改环境变量:
export HADOOP_HOME=/root/dxy/hadoop/hadoop-3.3.5
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`
source /etc/profile
完成后可以执行hadoop version 查看是否配置成功如下:
hdfs第一次启动时需要格式化
hdfs namenode -format
启动yarn和hdfs
sbin/start-dfs.sh
sbin/start-yarn.sh
使用界面访问是否启动成功:
使用application运行flink任务并提交到yarn上如下:
bin/flink run-application -t yarn-application -c com.dxy.learn.demo.SocketStreamWordCount FlinkLearn-1.0-SNAPSHOT.jar
上一篇:简单试验:用Excel进行爬虫