部署配置

伪分布式：（单一节点）

  1. 部署路径
mkdir /bigdata

wget https://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

tar xf hadoop-2.10.1.tar.gz


cd hadoop-2.10.1
#查看目录
ll

目录名称含义
bin功能命令
sbin服务脚本命令
etc配置
sharejar包
lib库
libexec
includec语言header文件
vi /etc/profile
source /etc/profile

  1. 配置文件
  • hadoop-env.sh

必须给hadoop配置javahome，要不ssh过去找不到

cd $HADOOP_HOME/etc/hadoop
vi hadoop-env.sh

  • core-site.xml

namenode 在哪里启动

  • hdfs-site.xml

配置副本数

设置文件元数据保存目录

设置文件保存目录

配置 secondary 角色 和 本地路径

  • slaves

配置datanode角色在哪里启动

初始化&启动

namenode 格式化一次

hdfs namenode -format
#做了一下操作，创建目录并初始化一个空的fsimage 生成VERSION文件(clusterID)

启动脚本

start-dfs.sh
#第一次启动时，datanode和secondary会初始化目录

命令行操作

hdfs dfs -mkdir /bigdata


hdfs dfs -put hadoop-2.10.1.tar.gz /user/root


hdfs dfs -D dfs.blocksize=1048576 -put data.txt


cd /var/bigdata/hadoop/local/dfs/data/current/BP-338772512-172.16.213.134-1609319209663/current/finalized/subdir0/subdir0

ll


vi blk_1073741833


vi blk_1073741834

Scroll to Top