博客
关于我
搭建单机hadoop并运行自带的分词jar包
阅读量:753 次
发布时间:2019-03-22

本文共 2548 字,大约阅读时间需要 8 分钟。

安装单机Hadoop环境(JDK、Tomcat)

前期准备

网络配置

  • 配置IP地址并访问外网

    确保虚拟机网卡配置正确,通过 uniformsorus注入图片Promise检查网络IP地址,并验证能够正常ping外网服务器。

  • 设置主机名和DNS解析

    修改主机名为hadoop,并在/etc/hosts文件中添加记录:

    hostname hadoopvi /etc/hosts

    示例内容:

    127.0.0.1 localhost172.24.48.10 hadoop
  • 禁用防火墙和SELINUX

    禁用CentOS的防火墙:

    systemctl stop firewalldsystemctl disable firewalld

    禁用SELINUX:

    vi /etc/sysconfig/selinuxSELINUX=disabled
  • 安装JDK和Hadoop

    1. 创建部署目录

    cd /usr/libmkdir javacd /usr/localmkdir soft

    2. 取压并解压文件

    cd /usr/local/soft/tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/javatar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ hadoop

    3. 配置环境变量

    vi /etc/profile

    在文件末尾添加:

    JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binHADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    应用修改:

    source /etc/profile

    4. 验证JDK环境

    java -version

    输出示例:

    java version "1.8.0_171"

    配置Hadoop生态系统

    1. 修改核心配置文件

  • 修改hadoop-env.sh

    vi hadoop-env.sh

    添加:

    export JAVA_HOME=/usr/local/java/jdk1.8.0_171
  • 修改core-site.xml

    vi core-site.xml

    添加内容:

    fs.defaultFS
    hdfs://hadoop:9000
    hadoop.tmp.dir
    /opt/hadoop/tmp
  • 修改hdfs-site.xml

    vi hdfs-site.xml

    添加内容:

    dfs.replication
    1
  • 修改mapred-site.xml

    mv mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

    添加内容:

    mapreduce.framework.name
    yarn
  • 修改yarn-site.xml

    vi yarn-site.xml

    添加内容:

    yarn.resourcemanager.hostname
    hadoop
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  • 启动与测试

    1. 格式化HadoopNameNode

    hdfs namenode -format

    2. 启动Hadoop

    cd /usr/local/hadoop/bin/'start-all.sh

    查看进程:

    jps

    输出示例:

    9798 SecondaryNameNode9943 ResourceManager9528 NameNode9646 DataNode10318 Jps10223 NodeManager

    3.词存测试

    hadoop fs -mkdir /userhadoop fs -put /opt/example-wordcount.txt /user/input/hdfs dfs -ls /user/input/

    运行MapReduce任务:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input/example-wordcount.txt /user/input/wordcount-result

    查看任务日志:

    tail -f /tmp/hadoop/mapreduce/mapred*log

    安装并启动Tomcat

    1. 解压缩并部署

    tar -zxvf apache-tomcat-10.0.5.tar.gz -C /optmv apache-tomcat-10.0.5/ tomcat10

    2. 启动Tomcat

    cd /opt/tomcat10/bin/./startup.sh

    查看启动日志:

    tail -f /opt/tomcat10/conf Catalina.out

    转载地址:http://xchwk.baihongyu.com/

    你可能感兴趣的文章
    Mysql学习总结(66)——设置MYSQL数据库编码为UTF-8
    查看>>
    Mysql学习总结(67)——MYSQL慢查询日志
    查看>>
    Mysql学习总结(68)——MYSQL统计每天、每周、每月、每年数据 SQL 总结
    查看>>
    Mysql学习总结(69)——Mysql EXPLAIN 命令使用总结
    查看>>
    Mysql学习总结(6)——MySql之ALTER命令用法详细解读
    查看>>
    Mysql学习总结(70)——MySQL 优化实施方案
    查看>>
    Mysql学习总结(71)——MySQL 重复记录查询与删除总结
    查看>>
    Mysql学习总结(71)——数据库介绍(MySQL安装 体系结构、基本管理)再回顾
    查看>>
    Mysql学习总结(73)——MySQL 查询A表存在B表不存在的数据SQL总结
    查看>>
    Mysql学习总结(76)——MySQL执行计划(explain)结果含义总结
    查看>>
    Mysql学习总结(77)——温故Mysql数据库开发核心原则与规范
    查看>>
    Mysql学习总结(78)——MySQL各版本差异整理
    查看>>
    Mysql学习总结(79)——MySQL常用函数总结
    查看>>
    Mysql学习总结(7)——MySql索引原理与使用大全
    查看>>
    Mysql学习总结(80)——统计数据库的总记录数和库中各个表的数据量
    查看>>
    Mysql学习总结(81)——为什么MySQL不推荐使用uuid或者雪花id作为主键?
    查看>>
    Mysql学习总结(82)——MySQL逻辑删除与数据库唯一性约束如何解决?
    查看>>
    Mysql学习总结(83)——常用的几种分布式锁:ZK分布式锁、Redis分布式锁、数据库分布式锁、基于JDK的分布式锁方案对比总结
    查看>>
    Mysql学习总结(84)—— Mysql的主从复制延迟问题总结
    查看>>
    Mysql学习总结(85)——开发人员最应该明白的数据库设计原则
    查看>>