このガイドでは、Java Environment Construction、Hadoop Configuration、Cluster Startup、Managementなどの重要な手順をカバーするDebianシステムにHadoopやその他のツールを統(tǒng)合する方法について詳しく説明しています。

1。Java環(huán)境の準(zhǔn)備

まず、システムがJava 8以降がインストールされていることを確認(rèn)してください。次のコマンドを使用してOpenJDK 8をインストールします。

 sudo aptアップデート
sudo apt install openjdk-8-jdk

インストールの確認(rèn)：

 Java -version

2。Hadoopのダウンロードと減圧

Apache Hadoopの公式WebサイトからHadoopインストールパッケージの最新バージョン（Hadoop 3.3.1など）をダウンロードし、指定されたディレクトリ（ /usr/local/hadoopなど）に解凍します。

 wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz
tar -xzvf hadoop -3.3.1.tar.gz -c/usr/local/hadoop

3。環(huán)境変數(shù)構(gòu)成

~/.bashrcファイルを編集し、次の環(huán)境変數(shù)を追加します。

 export java_home =/usr/lib/jvm/jdk-8-openjdk-amd64
hadoop_home =/usr/local/hadoopをエクスポートします
エクスポートパス= $ path：$ hadoop_home/bin：$ hadoop_home/sbin

構(gòu)成を有効にします：

ソース?/.bashrc

4。Hadoopコア構(gòu)成

Hadoop Core Configuration Files（ core-site.xml 、 hdfs-site.xml 、 mapred-site.xml 、 yarn-site.xml ）を変更します。以下は構(gòu)成の例です。

core-site.xml ：

<configuration>
  <property>
    <name>fs.defaultfs</name>
    <value>hdfs：// namenode：9000</value>
  </property>
</configuration>

hdfs-site.xml ：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>DFS.NAMENODE.NAME.DIR</name>
    <value>/usr/local/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop/dfs/data</value>
  </property>
</configuration>

mapred-site.xml ：

<configuration>
  <property>
    <name>MapReduce.framework.name</name>
    <value>糸</value>
  </property>
</configuration>

yarn-site.xml ：

<configuration>
  <property>
    <name>Yarn.nodemanager.aux-services</name>
    <value>mapReduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.shufflehandler</value>
  </property>
</configuration>

5。HDFSフォーマット

NameNodeノードで、次のコマンドを?qū)g行してHDFをフォーマットします。

 HDFS NAMENODE -FORMAT

6。Hadoopサービスの開始

NameNodeでHadoopサービスを開始します。

 start-dfs.sh
Start-yarn.sh

7。インストール検証

次のコマンドを?qū)g行して、Hadoopが正常に開始されていることを確認(rèn)します。

 HDFS DFS -LS /

または、Hadoop管理インターフェイスにアクセスします。

8。クラスター構(gòu)成と管理

このステップには、ノード間ネットワーク構(gòu)成、ストレージスペース構(gòu)成、JVMパラメーターの最適化、ジョブスケジューリングポリシー設(shè)定、AmbariやCloudera Managerなどのツールを使用したクラスター監(jiān)視と管理が含まれます。

上記の手順を通じて、Debianシステム上のHadoopクラスターの構(gòu)築と管理に成功することができます。実際の環(huán)境に従って構(gòu)成パラメーターを調(diào)整してください。

以上がDebianがHadoopを他のツールと統(tǒng)合する方法の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國(guó)語 Web サイトの他の関連記事を參照してください。