சென்டோஸ்/ஆர்ஹெல் 7 - பகுதி 4 இல் சி.டி.எச் நிறுவுவது மற்றும் சேவை இடங்களை எவ்வாறு கட்டமைப்பது


முந்தைய கட்டுரையில், கிளவுட்ரா மேலாளரின் நிறுவலை நாங்கள் விளக்கினோம், இந்த கட்டுரையில், RHEL/CentOS 7 இல் CDH (Cloudera Distribution Hadoop) ஐ எவ்வாறு நிறுவுவது மற்றும் கட்டமைப்பது என்பதை நீங்கள் கற்றுக் கொள்வீர்கள்.

சி.டி.எச் பார்சலை நிறுவும் போது, கிளவுட்ரா மேலாளர் மற்றும் சி.டி.எச் பொருந்தக்கூடிய தன்மையை உறுதிப்படுத்த வேண்டும். கிளவுட்ரா பதிப்பில் 3 பாகங்கள் உள்ளன - . . . கிளவுட்ரா மேலாளர் பெரிய மற்றும் சிறிய பதிப்பு சி.டி.எச் பெரிய மற்றும் சிறிய பதிப்பைப் போலவே இருக்க வேண்டும்.

எடுத்துக்காட்டுக்கு, நாங்கள் கிளவுட்ரா மேலாளர் 6.3.1 மற்றும் சி.டி.எச் 6.3.2 ஐப் பயன்படுத்துகிறோம். இங்கே 6 பெரியது மற்றும் 3 சிறிய பதிப்பு. பொருந்தக்கூடிய சிக்கல்களைத் தவிர்ப்பதற்கு மேஜர் மற்றும் மைனர் ஒரே மாதிரியாக இருக்க வேண்டும்.

  • ஹண்டூப் சேவையகத்தை CentOS/RHEL 7 இல் பயன்படுத்துவதற்கான சிறந்த நடைமுறைகள் - பகுதி 1
  • ஹடூப் முன் தேவைகள் மற்றும் பாதுகாப்பு கடினப்படுத்துதல் அமைத்தல் - பகுதி 2
  • CentOS/RHEL 7 - பகுதி 3 இல் கிளவுட்ரா மேலாளரை எவ்வாறு நிறுவுவது மற்றும் கட்டமைப்பது

சி.டி.எச் நிறுவ கீழே உள்ள 2 முனைகளை எடுத்துக்கொள்வோம். ஏற்கனவே நாங்கள் கிளவுட்ரா மேலாளரை மாஸ்டர் 1 இல் நிறுவியுள்ளோம், மேலும் மாஸ்டர் 1 ஐ ரெப்போ சேவையகமாக பயன்படுத்துகிறோம்.

master1.linux-console.net
worker1.linux-console.net

படி 1: முதன்மை சேவையகத்தில் சி.டி.எச் பார்சல்களைப் பதிவிறக்கவும்

1. முதலில், மாஸ்டர் 1 சேவையகத்துடன் இணைத்து/var/www/html/cloudera-repos/cdh கோப்பகத்தில் சி.டி.எச் பார்சல்கள் கோப்புகளைப் பதிவிறக்கவும். RHEL/CentOS 7 உடன் இணக்கமாக இருக்க வேண்டிய 3 கோப்புகளை கீழே பதிவிறக்கம் செய்ய வேண்டும்.

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1
manifest.json

2. இந்த கோப்புகளைப் பதிவிறக்குவதற்கு முன்,/var/www/html/cloudera-repos/location இன் கீழ் ஒரு சி.டி.எச் கோப்பகத்தை உருவாக்குவதை உறுதிசெய்க.

$ cd /var/www/html/cloudera-repos/
$ sudo mkdir cdh
$ cd cdh

3. அடுத்து, பின்வரும் wget கட்டளையைப் பயன்படுத்தி மேலே குறிப்பிட்ட 3 கோப்புகளைப் பதிவிறக்கவும்.

$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1 
$ sudo wget https://archive.cloudera.com/cdh6/6.3.2/parcels/manifest.json 

படி 2: பணியாளர் வாடிக்கையாளர்களில் கிளவுட்ரா மேலாளர் ரெப்போவை அமைக்கவும்

4. இப்போது, தொழிலாளர் சேவையகங்களுடன் இணைத்து, ரெப்போ சேவையகத்திலிருந்து (மாஸ்டர் 1) ரெப்போ கோப்பை (கிளவுட்ரா-மேனேஜர்.ரெப்போ) மீதமுள்ள அனைத்து தொழிலாளர் சேவையகங்களுக்கும் நகலெடுக்கவும். இந்த ரெப்போ கோப்பு சேவையகங்களை நிறுவும் போது தேவையான அனைத்து பார்சல்களும் RPM களும் ரெப்போ சேவையகத்திலிருந்து பதிவிறக்கம் செய்யப்படுவதை உறுதி செய்கிறது.

cat >/etc/yum.repos.d/cloudera-manager.repo <<EOL
[cloudera-repo]
name=cloudera-manager
baseurl=http://104.211.95.96/cloudera-repos/cm6/
enabled=1
gpgcheck=0
EOL

5. ரெப்போ சேர்க்கப்பட்டதும், கிளவுட்ரா-மேனேஜர் ரெப்போ இயக்கப்பட்டிருப்பதை உறுதிசெய்ய, செயல்படுத்தப்பட்ட களஞ்சியங்களை பட்டியலிடுங்கள்.

$ yum repolist

படி 3: கிளவுட்ரா மேலாளர் டீமன்ஸ் மற்றும் பணியாளர் சேவையகங்களில் முகவரை நிறுவவும்

6. இப்போது, மீதமுள்ள அனைத்து சேவையகங்களிலும் கிளவுட்ரா-மேலாளர்-டீமன்கள் மற்றும் கிளவுட்ரா-மேலாளர்-முகவரை நிறுவ வேண்டும்.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent

7. அடுத்து, கிளவுட்ரா மேலாளர் சேவையகத்தைப் புகாரளிக்க நீங்கள் கிளவுட்ரா மேலாளர் முகவரை உள்ளமைக்க வேண்டும்.

$ sudo vi /etc/cloudera-scm-agent/config.ini

லோக்கல் ஹோஸ்டை கிளவுட்ரா மேலாளர் சேவையக ஐபி முகவரியுடன் மாற்றவும்.

8. கிளவுட்ரா மேலாளர் முகவரைத் தொடங்கி நிலையை சரிபார்க்கவும்.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

படி 4: சி.டி.எச் நிறுவவும் அமைக்கவும்

மாஸ்டர் 1 - ரெப்போ சேவையகத்தில் சி.டி.எச் பார்சல்கள் உள்ளன. கிளவுட்ரா மேலாளரைப் பயன்படுத்தி தானியங்கி நிறுவலைப் பின்பற்றினால், எல்லா சேவையகங்களும் /etc/yum.repos.d/ இல் கிளவுட்ரா மேலாளர் ரெப்போ கோப்பைக் கொண்டிருக்கின்றன என்பதை உறுதிப்படுத்தவும்.

9. போர்ட் 7180 இல் கீழேயுள்ள URL ஐப் பயன்படுத்தி கிளவுட்ரா மேலாளருக்கு உள்நுழைந்து கிளவுட்ரா மேலாளரின் இயல்புநிலை பயனர்பெயர் மற்றும் கடவுச்சொல்லைப் பயன்படுத்தவும்.

http://104.211.95.96:7180/cmf/login
Username: admin
Password: admin

10. நீங்கள் உள்நுழைந்ததும், வரவேற்பு பக்கத்துடன் வரவேற்கப்படுவீர்கள். வெளியீட்டுக் குறிப்புகள், கிளவுட்ரா மேலாளரின் புதிய அம்சங்களை இங்கே காணலாம்.

11. உரிமத்தை ஏற்று தொடரவும்.

12. பதிப்பைத் தேர்ந்தெடுக்கவும். சோதனை பதிப்பு இயல்பாகவே தேர்ந்தெடுக்கப்பட்டது, அதனுடன் தொடரலாம்.

13. இப்போது, கிளஸ்டர் நிறுவல் படிகளைப் பின்பற்றவும். வரவேற்பு பக்கத்தைத் தொடரவும்.

14. கிளஸ்டருக்கு பெயரிட்டு தொடரவும், நாங்கள் te "டெக்மிண்ட்" என்று பெயரிட்டுள்ளோம். நீங்கள் வரையறுக்கக்கூடிய 2 வகையான கிளஸ்டர்கள் உள்ளன. நாங்கள் வழக்கமான கிளஸ்டருடன் செல்கிறோம்.

  • வழக்கமான கிளஸ்டர்: சேமிப்பக முனைகள், கணு கணுக்கள் மற்றும் பிற தேவையான சேவைகளைக் கொண்டிருக்கும்.
  • கிளஸ்டர் கணக்கிடு: கம்ப்யூட் முனைகளை மட்டுமே கொண்டிருக்கும். தரவைச் சேமிக்க வெளிப்புற சேமிப்பிடத்தைப் பயன்படுத்தலாம்.

15. நாங்கள் ஏற்கனவே அனைத்து சேவையகங்களிலும் கிளவுட்ரா மேலாளர் முகவர்களை நிறுவியுள்ளோம். Server "தற்போது நிர்வகிக்கப்பட்ட ஹோஸ்ட்களில்" அந்த சேவையகங்களை நீங்கள் காணலாம். தானியங்கி நிறுவலுக்கு, நீங்கள் சேவையகங்களின் FQDN அல்லது IP ஐ New "புதிய ஹோஸ்ட்கள்" விருப்பத்தில் மற்றும் தேடலில் உள்ளிட வேண்டும். நாம் சி.டி.எச் நிறுவ வேண்டிய ஹோஸ்ட்களை கிளவுட்ரா மேலாளர் தானாகவே கண்டுபிடிப்பார்.

இங்கே, Currently "தற்போது நிர்வகிக்கப்பட்ட ஹோஸ்ட்கள்" என்பதைக் கிளிக் செய்து, ‘ஹோஸ்ட் பெயர்’ என்பதைத் தேர்ந்தெடுத்து அனைத்து ஹோஸ்ட்களையும் தேர்ந்தெடுத்து தொடரவும்.

16. களஞ்சியத்தைத் தேர்ந்தெடுக்கவும் - பார்சலைப் பயன்படுத்துவது பரிந்துரைக்கப்பட்ட வழி. களஞ்சியத்தை உள்ளமைக்க ‘கூடுதல் விருப்பங்கள்’ என்பதைக் கிளிக் செய்க.

17. கீழே குறிப்பிடப்பட்டுள்ளபடி உள்ளூர் களஞ்சிய URL ஐ உள்ளிடவும். வலை (கிளவுட்ரா களஞ்சியங்கள்) சுட்டிக்காட்டும் மீதமுள்ள அனைத்து பொது களஞ்சியங்களையும் அகற்றவும்.

இது சி.டி.எச் உள்ளூர் களஞ்சிய URL ஆகும், இது மாஸ்டர் 1 இல் உள்ளது.

http://104.211.95.96/cloudera-repos/cdh/

18. களஞ்சிய URL ஐ உள்ளிட்டதும், இந்த பக்கம் கிடைக்கக்கூடிய பார்சல்களை மட்டுமே காண்பிக்கும். இந்த படி தொடரவும்.

19. இப்போது பார்சல்கள் பதிவிறக்கம் செய்யப்படுகின்றன, விநியோகிக்கப்படுகின்றன, தொகுக்கப்படவில்லை மற்றும் கிடைக்கக்கூடிய அனைத்து சேவையகங்களிலும் செயல்படுத்தப்படுகின்றன.

20. சி.டி.எச் பார்சல்கள் செயல்படுத்தப்பட்டதும், கிளஸ்டரை ஆய்வு செய்யுங்கள். இந்த நடவடிக்கை கிளஸ்டரின் சுகாதார சோதனை செய்யும். இங்கே நாம் தவிர்த்து வருகிறோம்.

படி 5: கிளஸ்டர் உள்ளமைவு

21. இங்கே நாம் கிளஸ்டரில் நிறுவப்பட வேண்டிய சேவைகளைத் தேர்ந்தெடுக்க வேண்டும். சில நிரம்பிய சேர்க்கைகள் இயல்பாகவே கிடைக்கும், நாங்கள் தனிப்பயன் சேவைகளுடன் செல்கிறோம்.

22. தனிப்பயன் சேவைகளில், இந்த டெமோ நோக்கத்திற்காக கோர் கூறுகளை (HDFS மற்றும் YARN) மட்டுமே நிறுவுகிறோம்.

23. சேவையகத்திற்கு பாத்திரங்களை ஒதுக்குங்கள். எங்கள் தேவைகளுக்கு ஏற்ப தனிப்பயனாக்கலாம். உயர் கிடைக்கும் 5 முதல் 20 முனைகளைக் கொண்ட ஒரு அடிப்படை சிறிய கிளஸ்டருக்கான பரிந்துரைக்கப்பட்ட பங்கு விநியோகத்தை விவரிக்கும் கீழேயுள்ள விளக்கப்படத்தைக் கண்டறியவும்.

24. தரவுத்தள வகை, ஹோஸ்ட்பெயர், டிபி பெயர், பயனர்பெயர் மற்றும் கடவுச்சொல் ஆகியவற்றைத் தேர்ந்தெடுக்கவும். நாங்கள் உட்பொதிக்கப்பட்ட PostgreSQL ஐப் பயன்படுத்துவதால், அது இயல்பாகவே தேர்ந்தெடுக்கப்படும். இணைப்பை சோதிக்கவும், அது வெற்றிகரமாக இருக்க வேண்டும்.

25. தரவு அடைவுகள் உட்பட HDFS மற்றும் நூலின் இயல்புநிலை உள்ளமைவு அளவுருக்களை இந்த பக்கம் காண்பிக்கும். அனைத்து உள்ளமைவு விவரங்களையும் மதிப்பாய்வு செய்து, தேவைப்பட்டால் மாற்றங்களைச் செய்யலாம். இதைத் தொடரவும்.

26. இந்த பக்கம் ‘முதல் ரன்’ கட்டளையின் விவரங்களைக் காண்பிக்கும். இயங்கும் கட்டளைகளின் விவரங்களைக் காண நீங்கள் அதை விரிவாக்கலாம். கிளஸ்டரில் ஏதேனும் பிணையம் அல்லது அனுமதி சிக்கல்கள் இருந்தால், இந்த படி தோல்வியடையும். வழக்கமாக, இந்த படி கிளஸ்டர் கட்டிடத்தின் மென்மையான நிறுவலை தீர்மானிக்கிறது.

27. மேலே உள்ள படி முடிந்ததும், நிறுவலை முடிக்க ‘பினிஷ்’ என்பதைக் கிளிக் செய்க. சி.டி.எச் நிறுவிய பின் கிளவுட்ரா மேலாளரின் டாஷ்போர்டு இது.

http://104.211.95.96:7180/cmf/home

கிளவுட்ரா மேலாளர் மற்றும் சி.டி.எச் நிறுவலை வெற்றிகரமாக முடித்துள்ளோம். கிளவுட்ரா மேலாளர் டாஷ்போர்டில், கிளஸ்டர் சிபியு, வட்டு ஐஓ போன்றவற்றை நீங்கள் கண்காணிக்கக்கூடிய முன் வரையறுக்கப்பட்ட விளக்கப்படங்களின் தொகுப்பைக் காணலாம். இந்த கிளவுட்ரா மேலாளரைப் பயன்படுத்தி முழு கிளஸ்டரையும் நாங்கள் நிர்வகிக்கலாம். அனைத்து நிர்வாக நடவடிக்கைகளையும் வரவிருக்கும் கட்டுரைகளில் பார்ப்போம்.