CentOS 7 இல் ஹடூப் ஒற்றை முனை கிளஸ்டரை (சூடோனோட்) நிறுவுவது எப்படி

ஹடூப் என்பது திறந்த மூல கட்டமைப்பாகும், இது பிக்டேட்டாவை சமாளிக்க பரவலாக பயன்படுத்தப்படுகிறது. பிக்டேட்டா/டேட்டா அனலிட்டிக்ஸ் திட்டங்கள் பெரும்பாலானவை ஹடூப் சுற்றுச்சூழல் அமைப்பின் மேல் கட்டப்பட்டுள்ளன. இது இரண்டு அடுக்குகளைக் கொண்டுள்ளது, ஒன்று தரவைச் சேமிப்பதற்கும் மற்றொன்று தரவைச் செயலாக்குவதற்கும் ஆகும்.

எச்.டி.எஃப்.எஸ் (ஹடூப் விநியோகிக்கப்பட்ட கோப்பு முறைமை) எனப்படும் அதன் சொந்த கோப்பு முறைமையால் சேமிப்பகம் கவனிக்கப்படும், மேலும் செயலாக்கத்தை YARN (மற்றொரு வள பேச்சுவார்த்தையாளர்) கவனித்துக்கொள்ளும். Mapreduce என்பது ஹடூப் சுற்றுச்சூழல் அமைப்பின் இயல்புநிலை செயலாக்க இயந்திரமாகும்.

இந்த கட்டுரை ஹடூப்பின் சூடோனோட் நிறுவலை நிறுவும் செயல்முறையை விவரிக்கிறது, அங்கு அனைத்து டீமன்களும் (ஜே.வி.எம்) சென்டோஸ் 7 இல் ஒற்றை முனை கிளஸ்டரை இயக்கும்.

இது ஆரம்பத்தில் ஹடூப்பைக் கற்க வேண்டும். நிகழ்நேரத்தில், ஹடூப் ஒரு மல்டினோட் கிளஸ்டராக நிறுவப்படும், அங்கு தரவு சேவையகங்களிடையே தொகுதிகளாக விநியோகிக்கப்படும், மேலும் வேலை இணையாக செயல்படுத்தப்படும்.

CentOS 7 சேவையகத்தின் குறைந்தபட்ச நிறுவல்.
ஜாவா v1.8 வெளியீடு.
ஹடூப் 2.x நிலையான வெளியீடு.

இந்த பக்கத்தில்

CentOS 7 இல் ஜாவாவை நிறுவுவது எப்படி
CentOS 7 இல் கடவுச்சொல் இல்லாத உள்நுழைவை அமைக்கவும்
CentOS 7 இல் ஹடூப் ஒற்றை முனையை எவ்வாறு நிறுவுவது
CentOS 7 இல் ஹடூப்பை எவ்வாறு கட்டமைப்பது
எச்.டி.எஃப்.எஸ் கோப்பு முறைமையை நேம்நோட் வழியாக வடிவமைத்தல்

1. ஹடூப் என்பது ஜாவாவால் ஆன ஒரு சுற்றுச்சூழல் அமைப்பு. ஹடூப்பை நிறுவ கட்டாயமாக எங்கள் கணினியில் ஜாவா நிறுவப்பட வேண்டும்.

# yum install java-1.8.0-openjdk

2. அடுத்து, கணினியில் நிறுவப்பட்ட ஜாவாவின் பதிப்பைச் சரிபார்க்கவும்.

# java -version

எங்கள் கணினியில் ssh கட்டமைக்கப்பட்டிருக்க வேண்டும், ஹடூப் SSH ஐப் பயன்படுத்தி முனைகளை நிர்வகிக்கும். மாஸ்டர் முனை அதன் அடிமை முனைகளை இணைக்க SSH இணைப்பைப் பயன்படுத்துகிறது மற்றும் தொடக்க மற்றும் நிறுத்த போன்ற செயல்பாட்டைச் செய்கிறது.

கடவுச்சொல் இல்லாத ssh ஐ நாம் அமைக்க வேண்டும், இதன்மூலம் கடவுச்சொல் இல்லாமல் ssh ஐப் பயன்படுத்தி அடிமைகளுடன் மாஸ்டர் தொடர்பு கொள்ள முடியும். இல்லையெனில் ஒவ்வொரு இணைப்பு நிறுவலுக்கும், கடவுச்சொல்லை உள்ளிட வேண்டும்.

இந்த ஒற்றை முனையில், முதன்மை சேவைகள் (நேமனோட், இரண்டாம் நிலை பெயர் மற்றும் வள மேலாளர்) மற்றும் அடிமை சேவைகள் (டேட்டானோட் & நோட்மேனேஜர்) தனி ஜே.வி.எம். இது சிங்கி கணு என்றாலும், அங்கீகாரமின்றி அடிமையைத் தொடர்புகொள்வதற்கு மாஸ்டரை உருவாக்க கடவுச்சொல்-குறைவான ssh வேண்டும்.

3. சேவையகத்தில் பின்வரும் கட்டளைகளைப் பயன்படுத்தி கடவுச்சொல் குறைவான SSH உள்நுழைவை அமைக்கவும்.

# ssh-keygen
# ssh-copy-id -i localhost

4. நீங்கள் கடவுச்சொல் இல்லாத SSH உள்நுழைவை உள்ளமைத்த பிறகு, மீண்டும் உள்நுழைய முயற்சிக்கவும், நீங்கள் கடவுச்சொல் இல்லாமல் இணைக்கப்படுவீர்கள்.

# ssh localhost

5. அப்பாச்சி ஹடூப் வலைத்தளத்திற்குச் சென்று பின்வரும் wget கட்டளையைப் பயன்படுத்தி ஹடூப்பின் நிலையான வெளியீட்டைப் பதிவிறக்கவும்.

# wget https://archive.apache.org/dist/hadoop/core/hadoop-2.10.1/hadoop-2.10.1.tar.gz
# tar xvpzf hadoop-2.10.1.tar.gz

6. அடுத்து, காட்டப்பட்டுள்ளபடி ~/.bashrc கோப்பில் ஹடூப் சூழல் மாறிகள் சேர்க்கவும்.

HADOOP_PREFIX=/root/hadoop-2.10.1
PATH=$PATH:$HADOOP_PREFIX/bin
export PATH JAVA_HOME HADOOP_PREFIX

7. ~/.bashrc கோப்பில் சூழல் மாறிகள் சேர்த்த பிறகு, கோப்பை ஆதாரமாகக் கொண்டு பின்வரும் கட்டளைகளை இயக்குவதன் மூலம் ஹடூப்பை சரிபார்க்கவும்.

# source ~/.bashrc
# cd $HADOOP_PREFIX
# bin/hadoop version

உங்கள் கணினியில் பொருந்துவதற்கு நாங்கள் ஹடூப் உள்ளமைவு கோப்புகளை கீழே கட்டமைக்க வேண்டும். ஹடூப்பில், ஒவ்வொரு சேவைக்கும் அதன் சொந்த போர்ட் எண் மற்றும் தரவைச் சேமிக்க அதன் சொந்த அடைவு உள்ளது.

ஹடூப் உள்ளமைவு கோப்புகள் - core-site.xml, hdfs-site.xml, mapred-site.xml & yarn-site.xml

8. முதலில், காட்டப்பட்டுள்ளபடி ஹடூப்- env.sh கோப்பில் JAVA_HOME மற்றும் Hadoop பாதையை புதுப்பிக்க வேண்டும்.

# cd $HADOOP_PREFIX/etc/hadoop
# vi hadoop-env.sh

கோப்பின் தொடக்கத்தில் பின்வரும் வரியை உள்ளிடவும்.

export JAVA_HOME=/usr/lib/jvm/java-1.8.0/jre
export HADOOP_PREFIX=/root/hadoop-2.10.1

9. அடுத்து, core-site.xml கோப்பை மாற்றவும்.

# cd $HADOOP_PREFIX/etc/hadoop
# vi core-site.xml

<configuration> குறிச்சொற்களுக்கு இடையில் காட்டப்பட்டுள்ளபடி ஒட்டவும்.

<configuration>
            <property>
                   <name>fs.defaultFS</name>
                   <value>hdfs://localhost:9000</value>
           </property>
</configuration>

10. tecmint பயனர் வீட்டு அடைவின் கீழ் கீழேயுள்ள கோப்பகங்களை உருவாக்கவும், இது NN மற்றும் DN சேமிப்பகத்திற்கு பயன்படுத்தப்படும்.

# mkdir -p /home/tecmint/hdata/
# mkdir -p /home/tecmint/hdata/data
# mkdir -p /home/tecmint/hdata/name

10. அடுத்து, hdfs-site.xml கோப்பை மாற்றவும்.

# cd $HADOOP_PREFIX/etc/hadoop
# vi hdfs-site.xml

<configuration> குறிச்சொற்களுக்கு இடையில் காட்டப்பட்டுள்ளபடி ஒட்டவும்.

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
 </property>
  <property>
        <name>dfs.namenode.name.dir</name>
        <value>/home/tecmint/hdata/name</value>
  </property>
  <property>
          <name>dfs .datanode.data.dir</name>
          <value>home/tecmint/hdata/data</value>
  </property>
</configuration>

11. மீண்டும், mapred-site.xml கோப்பை மாற்றவும்.

# cd $HADOOP_PREFIX/etc/hadoop
# cp mapred-site.xml.template mapred-site.xml
# vi mapred-site.xml

<configuration> குறிச்சொற்களுக்கு இடையில் காட்டப்பட்டுள்ளபடி ஒட்டவும்.

<configuration>
                <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
                </property>
</configuration>

12. கடைசியாக, yarn-site.xml கோப்பை மாற்றவும்.

# cd $HADOOP_PREFIX/etc/hadoop
# vi yarn-site.xml

<configuration> குறிச்சொற்களுக்கு இடையில் காட்டப்பட்டுள்ளபடி ஒட்டவும்.

<configuration>
                <property>
                       <name>yarn.nodemanager.aux-services</name>
                       <value>mapreduce_shuffle</value>
                </property>
</configuration>

13. கிளஸ்டரைத் தொடங்குவதற்கு முன், ஹடூப் என்.என் நிறுவப்பட்டிருக்கும் எங்கள் உள்ளூர் அமைப்பில் அதை வடிவமைக்க வேண்டும். வழக்கமாக, முதல் முறையாக கிளஸ்டரைத் தொடங்குவதற்கு முன் ஆரம்ப கட்டத்தில் இது செய்யப்படும்.

NN ஐ வடிவமைப்பது NN மெட்டாஸ்டோரில் தரவை இழக்கும், எனவே நாம் மிகவும் எச்சரிக்கையாக இருக்க வேண்டும், வேண்டுமென்றே தேவைப்படாவிட்டால் கிளஸ்டர் இயங்கும்போது NN ஐ வடிவமைக்கக்கூடாது.

# cd $HADOOP_PREFIX
# bin/hadoop namenode -format

14. பெயர்நொட் டீமான் மற்றும் டேட்டாநோட் டீமனைத் தொடங்குங்கள்: (போர்ட் 50070).

# cd $HADOOP_PREFIX
# sbin/start-dfs.sh

15. ரிசோர்ஸ் மேனேஜர் டீமான் மற்றும் நோட்மேனேஜர் டீமனைத் தொடங்குங்கள்: (போர்ட் 8088).

# sbin/start-yarn.sh

16. அனைத்து சேவைகளையும் நிறுத்த.

# sbin/stop-dfs.sh
# sbin/stop-dfs.sh

சுருக்கம்
இந்த கட்டுரையில், ஹடூப் சூடோனோட் (ஒற்றை முனை) கிளஸ்டரை அமைப்பதற்கான படிப்படியான செயல்முறையை நாங்கள் சென்றுள்ளோம். உங்களுக்கு லினக்ஸ் பற்றிய அடிப்படை அறிவு இருந்தால், இந்த வழிமுறைகளைப் பின்பற்றினால், கொத்து 40 நிமிடங்களில் யுபி ஆக இருக்கும்.

ஹடூப்பைக் கற்கவும் பயிற்சி செய்யவும் தொடக்கநிலைக்கு இது மிகவும் பயனுள்ளதாக இருக்கும் அல்லது ஹடூப்பின் இந்த வெண்ணிலா பதிப்பை அபிவிருத்தி நோக்கங்களுக்காகப் பயன்படுத்தலாம். நிகழ்நேர கிளஸ்டரை வைத்திருக்க விரும்பினால், குறைந்தபட்சம் 3 இயற்பியல் சேவையகங்கள் கையில் தேவை அல்லது பல சேவையகங்களைக் கொண்டிருப்பதற்கு கிளவுட் வழங்க வேண்டும்.