CentOS/RHEL 7 - பகுதி 3 இல் கிளவுட்ரா மேலாளரை எவ்வாறு நிறுவுவது மற்றும் கட்டமைப்பது

இந்த கட்டுரையில், தொழில்துறை நடைமுறைகளின்படி கிளவுட்ரா மேலாளரை நிறுவுவதற்கான படிப்படியான செயல்முறையை விவரித்தோம். பகுதி 2 இல், நாங்கள் ஏற்கனவே கிளவுட்ரா முன் தேவைகள் வழியாகச் சென்றுள்ளோம், எல்லா சேவையகங்களும் சரியாக தயாரிக்கப்பட்டுள்ளன என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள்.

• ஹண்டூப் சேவையகத்தை CentOS/RHEL 7 இல் பயன்படுத்துவதற்கான சிறந்த நடைமுறைகள் - பகுதி 1
• ஹடூப் முன் தேவைகள் மற்றும் பாதுகாப்பு கடினப்படுத்துதல் அமைத்தல் - பகுதி 2

இங்கே நாம் 5 முனை கிளஸ்டரைப் பெறப்போகிறோம், அங்கு 2 முதுநிலை மற்றும் 3 தொழிலாளர்கள். நிறுவல் செயல்முறையை நிரூபிக்க 5 AWS EC2 நிகழ்வுகளைப் பயன்படுத்தினேன். அந்த 5 சேவையகங்களுக்கும் கீழே பெயரிட்டுள்ளேன்.

master1.linux-console.net
master2.linux-console.net
worker1.linux-console.net
worker2.linux-console.net
worker3.linux-console.net

கிளவுட்ரா மேலாளர் என்பது முழு சி.டி.எச்-க்கும் நிர்வாக மற்றும் கண்காணிப்பு கருவியாகும். நாங்கள் வழக்கமாக கிளவுட்ரா ஹடூப்பிற்கான நிர்வாக கருவி என்று அழைக்கிறோம். இந்த கருவியைப் பயன்படுத்தி நாம் வரிசைப்படுத்தலாம், கண்காணிக்கலாம், கட்டுப்படுத்தலாம் மற்றும் உள்ளமைவு மாற்றங்களைச் செய்யலாம். முழு கிளஸ்டரையும் நிர்வகிக்க இது மிகவும் அவசியம்.

கிளவுட்ரா மேலாளரின் முக்கியமான பயன்பாடுகள் கீழே உள்ளன.

• ஹடூப் கிளஸ்டர்களை தானியங்கு வழியில் வரிசைப்படுத்தி கட்டமைக்கவும்.
• கொத்து ஆரோக்கியத்தை கண்காணிக்கவும்
• விழிப்பூட்டல்களை உள்ளமைக்கவும்
• பழுது நீக்குதல்
• புகாரளித்தல்
• கிளஸ்டர் பயன்பாட்டு அறிக்கையை உருவாக்குதல்
• வளங்களை மாறும் வகையில் கட்டமைத்தல்

படி 1: CentOS இல் அப்பாச்சி வலை சேவையகத்தை நிறுவுதல்

கிளவுட்ரா களஞ்சியங்களுக்கான வலை சேவையகமாக master1 ஐப் பயன்படுத்தப் போகிறோம். மேலும், கிளவுட்ரா மேலாளர் WebUI, எனவே நாங்கள் அப்பாச்சியை நிறுவ வேண்டும். அப்பாச்சி வலை சேவையகத்தை நிறுவ பின்வரும் படிகளைப் பின்பற்றவும்.

# yum -y install httpd

Httpd ஐ நிறுவியதும், அதைத் துவக்கி இயக்கவும், அது துவக்கத்தில் தொடங்கப்படும்.

# systemctl start httpd
# systemctl enable httpd

Httpd ஐத் தொடங்கிய பிறகு, நிலையை உறுதிப்படுத்தவும்.

# systemctl status httpd

Httpd ஐத் தொடங்கிய பிறகு, உங்கள் உள்ளூர் கணினியில் ஒரு உலாவியைத் திறந்து, தேடல் பட்டியில் master1 இன் ஐபி முகவரியை ஒட்டவும், httpd நன்றாக இயங்குகிறது என்பதை உறுதிப்படுத்த இந்த சோதனை பக்கத்தைப் பெற வேண்டும்.

படி 2: ஐபி மற்றும் ஹோஸ்ட் பெயரை தீர்க்க உள்ளூர் டிஎன்எஸ் ஐ உள்ளமைக்கவும்

ஐபி மற்றும் ஹோஸ்ட்பெயரைத் தீர்க்க நாம் ஒரு டிஎன்எஸ் சேவையகத்தை வைத்திருக்க வேண்டும் அல்லது/etc/ஹோஸ்ட்களை உள்ளமைக்க வேண்டும். இங்கே நாம்/etc/host ஐ உள்ளமைக்கிறோம், ஆனால் நிகழ்நேரத்தில், உற்பத்தி சூழலுக்கு ஒரு பிரத்யேக DNS சேவையகம் இருக்கும்.

/ Etc/ஹோஸ்ட்களில் உங்கள் எல்லா சேவையகங்களுக்கும் நுழைவு செய்ய பின்வரும் படிகளைப் பின்பற்றவும்.

# vi /etc/hosts

இது எல்லா சேவையகங்களிலும் கட்டமைக்கப்பட வேண்டும்.

13.235.27.144   master1.linux-console.net     master1
13.235.135.170  master2.linux-console.net     master2
15.206.167.94   worker1.linux-console.net     worker1
13.232.173.158  worker2.linux-console.net     worker2
65.0.182.222    worker3.linux-console.net     worker3

படி 3: SSH கடவுச்சொல் இல்லாத உள்நுழைவை உள்ளமைக்கவும்

இந்த ஆர்ப்பாட்டத்தில் master1 இல் Cloudera Manager நிறுவப்பட்டுள்ளது. கடவுச்சொல்-குறைவான ssh ஐ master1 இலிருந்து மற்ற எல்லா முனைகளுக்கும் கட்டமைக்க வேண்டும். ஏனெனில் கிளவுட்ரா மேலாளர் தொகுப்புகளை நிறுவ மற்ற எல்லா முனைகளையும் தொடர்பு கொள்ள ssh ஐப் பயன்படுத்துவார்.

கடவுச்சொல்-குறைவான ssh ஐ master1 இலிருந்து மீதமுள்ள எல்லா சேவையகங்களுக்கும் கட்டமைக்க பின்வரும் படிகளைப் பின்பற்றவும். மேலும் தொடர ஒரு பயனர் ‘டெக்மிண்ட்’ இருக்கப் போகிறோம்.

காட்டப்பட்டுள்ளபடி useradd கட்டளையைப் பயன்படுத்தி ஒரு பயனர் ‘டெக்மிண்ட்’ அனைத்து 4 சேவையகங்களையும் உருவாக்கவும்.

# useradd -m tecmint

‘டெக்மிண்ட்’ பயனருக்கு ரூட் சலுகையை வழங்க, கீழேயுள்ள வரியை/etc/sudoers கோப்பில் சேர்க்கவும். ஸ்கிரீன்ஷாட்டில் கொடுக்கப்பட்டுள்ளபடி இந்த வரியை ரூட்டின் கீழ் சேர்க்கலாம்.

tecmint   ALL=(ALL)    ALL

கீழேயுள்ள கட்டளையைப் பயன்படுத்தி பயனர் ‘டெக்மிண்ட்’ க்கு மாறவும், master1 இல் ssh விசையை உருவாக்கவும்.

# sudo su tecmint
$ ssh-keygen

இப்போது காட்டப்பட்டுள்ளபடி ssh-copy-id கட்டளையைப் பயன்படுத்தி உருவாக்கப்பட்ட விசையை அனைத்து 4 சேவையகங்களுக்கும் நகலெடுக்கவும்.

$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email  
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email 

இப்போது நீங்கள் master1 இலிருந்து காண்பிக்கப்பட்டபடி கடவுச்சொல் இல்லாமல் மீதமுள்ள அனைத்து சேவையகங்களுக்கும் ssh செய்ய முடியும்.

$ ssh master2
$ ssh worker1
$ ssh worker2
$ ssh worker3

படி 4: கிளவுட்ரா மேலாளரை நிறுவுதல் மற்றும் கட்டமைத்தல்

RHEL/CentOS இல் உள்ள தொகுப்பு மேலாண்மை கருவிகளைப் பயன்படுத்தி அனைத்து தொகுப்புகளையும் நிறுவ விற்பனையாளர் (கிளவுட்ரா) களஞ்சியத்தைப் பயன்படுத்தலாம். நிகழ்நேரத்தில், எங்கள் சொந்த களஞ்சியத்தை உருவாக்குவது சிறந்த நடைமுறையாகும், ஏனெனில் உற்பத்தி சேவையகங்களில் இணைய அணுகல் நமக்கு இருக்காது.

இங்கே நாம் கிளவுட்ரா மேலாளர் 6.3.1 வெளியீட்டை நிறுவ உள்ளோம். நாங்கள் master1 ஐ ரெப்போ சேவையகமாகப் பயன்படுத்தப் போகிறோம் என்பதால், கீழே குறிப்பிடப்பட்டுள்ள பாதையில் தொகுப்புகளை பதிவிறக்குகிறோம்.

master1 சேவையகத்தில் கீழே குறிப்பிடப்பட்டுள்ள கோப்பகங்களை உருவாக்கவும்.

$ sudo mkdir -p /var/www/html/cloudera-repos/cm6

Http வழியாக தொகுப்புகளை பதிவிறக்க wget கருவியைப் பயன்படுத்தலாம். எனவே, கீழே உள்ள கட்டளையைப் பயன்படுத்தி wget ஐ நிறுவவும்.

$ sudo yum -y install wget

அடுத்து, பின்வரும் wget கட்டளையைப் பயன்படுத்தி கிளவுட்ரா மேலாளர் தார் கோப்பைப் பதிவிறக்கவும்.

$ wget https://archive.cloudera.com/cm6/6.3.1/repo-as-tarball/cm6.3.1-redhat7.tar.gz

தார் கோப்பை/var/www/html/cloudera-repos/cm6 இல் பிரித்தெடுக்கவும், ஏற்கனவே http ஐ நிறுவுவதன் மூலம் master1 ஐ வெப்சர்வராக உருவாக்கியுள்ளோம், நாங்கள் உலாவியில் சோதனை செய்துள்ளோம்.

$ sudo tar xvfz cm6.3.1-redhat7.tar.gz -C /var/www/html/cloudera-repos/cm6 --strip-components=1

இப்போது, அனைத்து கிளவுட்ரா ஆர்.பி.எம் கோப்புகளும்/var/www/html/cloudera-repos/cm6/RPMS/x86_64 கோப்பகத்தில் உள்ளதா என சரிபார்க்கவும்.

$ cd /var/www/html/cloudera-repos/cm6
$ ll

பின்வரும் உள்ளடக்கத்துடன் கிளஸ்டர் ஹோஸ்ட்களில் உள்ள அனைத்து சேவையகங்களிலும் /etc/yum.repos.d/cloudera-manager.repo கோப்புகளை உருவாக்கவும், இங்கே master1 (65.0.101.148) என்பது வலை சேவையகம்.

[cloudera-repo]
name=cloudera-manager
baseurl=http:///cloudera-repos/cm6/
enabled=1
gpgcheck=0

இப்போது களஞ்சியம் சேர்க்கப்பட்டுள்ளது, இயக்கப்பட்ட களஞ்சியங்களைக் காண கீழே உள்ள கட்டளையை இயக்கவும்.

$ yum repolist

களஞ்சியத்தில் கிடைக்கக்கூடிய அனைத்து கிளவுட்ரா தொடர்பான தொகுப்புகளையும் காண கீழே உள்ள கட்டளையை இயக்கவும்.

$ yum list available | grep cloudera*

Cloudera-manager-server, cloudera-manager-agent, cloudera-manager-deemons cloudera-manager-server-db-2 ஐ நிறுவவும்.

$ sudo yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server cloudera-manager-server-db-2

நிறுவப்பட்ட அனைத்து கிளவுட்ரா தொகுப்புகளையும் காண கீழே உள்ள கட்டளையை இயக்கவும்.

$ yum list installed | grep cloudera*

Cloudera-scm-server-db ஐ தொடங்க கீழேயுள்ள கட்டளையை இயக்கவும், இது கிளவுட்ரா மேலாளர் மற்றும் பிற சேவைகள் மெட்டாடேட்டாவை சேமிப்பதற்கான அடிப்படை தரவுத்தளமாகும்.

இயல்பாக, கிளவுட்ரா மேலாளரில் உட்பொதிக்கப்பட்ட போஸ்ட்கிரே-சதுரத்துடன் கிளவுட்ரா வருகிறது. பயன்படுத்தக்கூடிய நிகழ்நேர வெளிப்புற தரவுத்தளத்தில் உட்பொதிக்கப்பட்ட ஒன்றை நிறுவுகிறோம். இது ஆரக்கிள், MySQL அல்லது PostgreSQL ஆக இருக்கலாம்.

$ sudo systemctl start cloudera-scm-server-db

தரவுத்தளத்தின் நிலையை சரிபார்க்க கீழே உள்ள கட்டளையை இயக்கவும்.

$ sudo systemctl status cloudera-scm-server-db

கிளவுட்ரா மேலாளர் சேவையகத்திற்கான db.properties ஐ உள்ளமைக்கவும்.

$ vi /etc/cloudera-scm-server/db.properties

கிளவுட்ரா மேலாளர் உட்பொதிக்கப்பட்ட தரவுத்தளத்தைப் பயன்படுத்த, கீழேயுள்ள மதிப்பை EMBEDDED என்று உள்ளமைக்கவும்.

com.cloudera.cmf.db.setupType=EMBEDDED

கிளவுட்ரா மேலாளர் சேவையகத்தைத் தொடங்க கீழே உள்ள கட்டளையை இயக்கவும்.

$ sudo systemctl start cloudera-scm-server

கிளவுட்ரா மேலாளர் சேவையகத்தின் நிலையை சரிபார்க்க கீழே உள்ள கட்டளையை இயக்கவும்.

$ sudo systemctl status cloudera-scm-server

கிளவுட்ரா மேலாளர் முகவரின் நிலையைத் தொடங்க மற்றும் சரிபார்க்க கீழேயுள்ள கட்டளையை இயக்கவும்.

$ sudo systemctl start cloudera-scm-agent
$ sudo systemctl status cloudera-scm-agent

கிளவுட்ரா மேலாளர் சேவையகம் வெற்றிகரமாக இயக்கப்பட்டதும், நன்றாக இயங்கியதும், உலாவியில் WebUI (உள்நுழைவு பக்கம்) ஐபி முகவரி மற்றும் போர்ட் எண் 7180 ஐப் பயன்படுத்தி கிளவுட்ரா மேலாளரின் போர்ட் எண்.

https://65.0.101.148:7180

இந்த கட்டுரையில், சென்டோஸ் 7 இல் கிளவுட்ரா மேலாளரை நிறுவுவதற்கான படிப்படியான செயல்முறையைப் பார்த்தோம். அடுத்த கட்டுரையில் சி.டி.எச் மற்றும் பிற சேவை நிறுவல்களைப் பார்ப்போம்.