hadoop

简介hadoop工作模式本地独立模式 单机模式伪分布式模式全分布式模式部署useradd hadoop 建议用普通用户下载tar包和jdk文件拖到主目录mv hadoop-3.3.6 hadoop jdk1.8.0_181 jdk /home/hadooptar zxf hadoop jdk1.8.0_181 jdktar zxf hadoop-3.3.6 hadoop[hadoopserver1 ~]# ln -s hadoop-3.3.6 hadoop[hadoopserver1 ~]# ln -s jdk1.8.0_181 jdkvim ~/.bash_profile 写入配置文件持久生效source ~/.bash_profilecd /home/hadoop/hadoop/etc/hadoop[hadoopserver1 hadoop]# vim hadoop-env.sh告诉 Hadoop 和所有 Java 进程你的 Java 开发工具包JDK安装在哪里cd /home/hadoop/hadoopbin /hadoophadoop 启动成功搭建单节点集群单机测试Apache Hadoop 3.3.6 – Hadoop搭建单节点集群。cd /home/hadoop/hadoop[hadoopserver1 hadoop]$ mkdir input[hadoopserver1 hadoop]$ cp etc/hadoop/*.xml input[hadoopserver1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output dfs[a-z.]要保证output目录不存在[hadoopserver1 hadoop]$ cat output/*1 dfsadmin伪分布式集群1、修改配置文件[hadoopserver1 hadoop]$ vim core-site.xml告诉 Hadoop 集群根文件目录路径[hadoopserver1 hadoop]$ vim hdfs-site.xml每上传一个文件HDFS 要在硬盘上存几份“一模一样”的备份 这里是1份2、设置免密[hadoopserver1 ~]$ ssh-keygen[hadoopserver1 ~]$ ssh-copy-id localhost[hadoopserver1 ~]$ chmod 0600 ~/.ssh/authorized_keys3、初始化hdfs文件系统cd /home/hadoop/hadoop 执行bin都到这个目录底下[hadoopserver1 hadoop]$ bin/hdfs namenode -format4、脚本启动dfs文件系统[hadoopserver1 hadoop]$ sbin/start-dfs.shnn 和 dn 都在localhost,伪分布式模式用于测试jps 查看5、为用户创建用户目录/user/hadoop[hadoopserver1 hadoop]$ bin/hdfs dfs -mkdir -p /user/hadoop6、将输入文件复制到分布式文件系统cd /home/hadoop/hadoop[hadoopserver1 hadoop]$ bin/hdfs dfs -ls 此时是空的[hadoopserver1 hadoop]$ bin/hdfs dfs -mkdir input在 HDFS 上创建一个名为“input”的目录[hadoopserver1 hadoop]$ bin/hdfs dfs -put etc/hadoop/*.xml inputetc/hadoop/目录下的 所有.xml配置文件复制 到 HDFS 上刚才创建的input文件夹里也可以浏览器访问192.168.80.151:9870查看7、检查输出文件将分布式文件系统中的输出文件复制到本地文件系统并进行检查[hadoopserver1 hadoop]$ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar grep input output dfs[a-z.][hadoopserver1 hadoop]$ bin/hdfs dfs -get output output[hadoopserver1 hadoop]$ cat output/*cat: output/output: Is a directory1 dfsadmin本地删除output,不影响hdfs分布式文件系统8、停止dfs文件系统添加dataanzhuang 驱动