博客
关于我
搭建单机hadoop并运行自带的分词jar包
阅读量:753 次
发布时间:2019-03-22

本文共 2548 字,大约阅读时间需要 8 分钟。

安装单机Hadoop环境(JDK、Tomcat)

前期准备

网络配置

  • 配置IP地址并访问外网

    确保虚拟机网卡配置正确,通过 uniformsorus注入图片Promise检查网络IP地址,并验证能够正常ping外网服务器。

  • 设置主机名和DNS解析

    修改主机名为hadoop,并在/etc/hosts文件中添加记录:

    hostname hadoopvi /etc/hosts

    示例内容:

    127.0.0.1 localhost172.24.48.10 hadoop
  • 禁用防火墙和SELINUX

    禁用CentOS的防火墙:

    systemctl stop firewalldsystemctl disable firewalld

    禁用SELINUX:

    vi /etc/sysconfig/selinuxSELINUX=disabled
  • 安装JDK和Hadoop

    1. 创建部署目录

    cd /usr/libmkdir javacd /usr/localmkdir soft

    2. 取压并解压文件

    cd /usr/local/soft/tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/javatar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/ hadoop

    3. 配置环境变量

    vi /etc/profile

    在文件末尾添加:

    JAVA_HOME=/usr/local/java/jdk1.8.0_171export PATH=$PATH:$JAVA_HOME/binHADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    应用修改:

    source /etc/profile

    4. 验证JDK环境

    java -version

    输出示例:

    java version "1.8.0_171"

    配置Hadoop生态系统

    1. 修改核心配置文件

  • 修改hadoop-env.sh

    vi hadoop-env.sh

    添加:

    export JAVA_HOME=/usr/local/java/jdk1.8.0_171
  • 修改core-site.xml

    vi core-site.xml

    添加内容:

    fs.defaultFS
    hdfs://hadoop:9000
    hadoop.tmp.dir
    /opt/hadoop/tmp
  • 修改hdfs-site.xml

    vi hdfs-site.xml

    添加内容:

    dfs.replication
    1
  • 修改mapred-site.xml

    mv mapred-site.xml.template mapred-site.xmlvi mapred-site.xml

    添加内容:

    mapreduce.framework.name
    yarn
  • 修改yarn-site.xml

    vi yarn-site.xml

    添加内容:

    yarn.resourcemanager.hostname
    hadoop
    yarn.nodemanager.aux-services
    mapreduce_shuffle
  • 启动与测试

    1. 格式化HadoopNameNode

    hdfs namenode -format

    2. 启动Hadoop

    cd /usr/local/hadoop/bin/'start-all.sh

    查看进程:

    jps

    输出示例:

    9798 SecondaryNameNode9943 ResourceManager9528 NameNode9646 DataNode10318 Jps10223 NodeManager

    3.词存测试

    hadoop fs -mkdir /userhadoop fs -put /opt/example-wordcount.txt /user/input/hdfs dfs -ls /user/input/

    运行MapReduce任务:

    hadoop jar /opt/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input/example-wordcount.txt /user/input/wordcount-result

    查看任务日志:

    tail -f /tmp/hadoop/mapreduce/mapred*log

    安装并启动Tomcat

    1. 解压缩并部署

    tar -zxvf apache-tomcat-10.0.5.tar.gz -C /optmv apache-tomcat-10.0.5/ tomcat10

    2. 启动Tomcat

    cd /opt/tomcat10/bin/./startup.sh

    查看启动日志:

    tail -f /opt/tomcat10/conf Catalina.out

    转载地址:http://xchwk.baihongyu.com/

    你可能感兴趣的文章
    mysql复制表结构和数据
    查看>>
    mysql复杂查询,优质题目
    查看>>
    MySQL外键约束
    查看>>
    MySQL多表关联on和where速度对比实测谁更快
    查看>>
    MySQL多表左右连接查询
    查看>>
    mysql大批量删除(修改)The total number of locks exceeds the lock table size 错误的解决办法
    查看>>
    mysql如何做到存在就更新不存就插入_MySQL 索引及优化实战(二)
    查看>>
    mysql如何删除数据表,被关联的数据表如何删除呢
    查看>>
    MySQL如何实现ACID ?
    查看>>
    mysql如何记录数据库响应时间
    查看>>
    MySQL子查询
    查看>>
    Mysql字段、索引操作
    查看>>
    mysql字段的细节(查询自定义的字段[意义-行列转置];UNION ALL;case-when)
    查看>>
    mysql字段类型不一致导致的索引失效
    查看>>
    mysql字段类型介绍
    查看>>
    mysql字段解析逗号分割_MySQL逗号分割字段的行列转换技巧
    查看>>
    MySQL字符集与排序规则
    查看>>
    MySQL字符集乱码
    查看>>
    mysql字符集设置
    查看>>
    mysql存储IP地址的数据类型
    查看>>