அதிக கிடைக்கும் தன்மையுடன் ஹைவ் நிறுவுவது மற்றும் கட்டமைப்பது எப்படி - பகுதி 7


ஹைவ் என்பது ஹடூப் சுற்றுச்சூழல் அமைப்பில் ஒரு தரவுக் கிடங்கு மாதிரி. இது ஹடூப்பின் மேல் ஒரு ஈ.டி.எல் கருவியாக செயல்பட முடியும். ஹைவ் மீது உயர் கிடைக்கும் தன்மையை (HA) இயக்குவது வள மேலாளர் போன்ற முதன்மை சேவைகளில் நாம் செய்வது போல இல்லை.

ஹைவ் (Hiveserver2) இல் தானியங்கி செயலிழப்பு நடக்காது. எந்த Hiveserver2 (HS2) தோல்வியுற்றால், அந்த தோல்வியுற்ற HS2 இல் வேலைகளை இயக்குவது தோல்வியடையும். நாங்கள் வேலையை மீண்டும் சமர்ப்பிக்க வேண்டும், இதனால் வேலை மற்ற ஹைவ்சர்வர் 2 இல் இயங்க முடியும். எனவே, HS2 இல் HA ஐ இயக்குவது என்பது ஒன்றுமில்லை, கிளஸ்டரில் HS2 கூறுகளின் எண்ணிக்கையை அதிகரிக்கிறது.

இந்த கட்டுரையில், ஹைவ் அதிக கிடைக்கும் தன்மையை நிறுவி செயல்படுத்துவதற்கான படிகளைப் பார்ப்போம்.

  • ஹண்டூப் சேவையகத்தை CentOS/RHEL 7 இல் பயன்படுத்துவதற்கான சிறந்த நடைமுறைகள் - பகுதி 1
  • ஹடூப் முன் தேவைகள் மற்றும் பாதுகாப்பு கடினப்படுத்துதல் அமைத்தல் - பகுதி 2
  • CentOS/RHEL 7 - பகுதி 3 இல் கிளவுட்ரா மேலாளரை எவ்வாறு நிறுவுவது மற்றும் கட்டமைப்பது
  • சென்டோஸ்/ஆர்ஹெல் 7 - பகுதி 4 இல் சி.டி.எச் நிறுவ மற்றும் சேவை இடங்களை எவ்வாறு கட்டமைப்பது
  • நேமனோடிற்கான உயர் கிடைக்கும் தன்மையை எவ்வாறு அமைப்பது - பகுதி 5
  • வள மேலாளருக்கு அதிக கிடைக்கும் தன்மையை எவ்வாறு அமைப்பது - பகுதி 6

தொடங்குவோம்…

ஹைவ் நிறுவல் மற்றும் உள்ளமைவு

1. கீழேயுள்ள URL இல் கிளவுட்ரா மேலாளரிடம் உள்நுழைந்து கிளவுட்ரா மேலாளருக்கு செல்லவும் -> சேவையைச் சேர்.

http://13.233.129.39:7180/cmf/home

2. ‘ஹைவ்’ சேவையைத் தேர்ந்தெடுக்கவும்.

3. முனைகளில் சேவைகளை ஒதுக்குங்கள்.

  • நுழைவாயில் - இது கிளையன்ட் சேவையாகும், அங்கு பயனர் ஹைவ் அணுகலாம். வழக்கமாக, இந்த சேவை பயனர்களுக்கு அர்ப்பணிக்கப்பட்ட எட்ஜ் முனைகளில் வைக்கப்படும்.
  • ஹைவ் மெட்டாஸ்டோர் - ஹைவ் மெட்டாடேட்டாவை சேமிப்பதற்கான மைய களஞ்சியமாகும்.
  • WebHCat சேவையகம் - இது HCatalog மற்றும் பிற ஹடூப் சேவைகளுக்கான வலை API ஆகும்.
  • Hiveserver2 - இது ஹைவ் மீது வினவல் செயல்படுத்த வாடிக்கையாளர்களின் இடைமுகமாகும்.

சேவையகங்களைத் தேர்ந்தெடுத்ததும், தொடர ‘தொடரவும்’ என்பதைக் கிளிக் செய்க.

4. ஹைவ் மெட்டாஸ்டோருக்கு மெட்டாடேட்டாவை சேமிக்க ஒரு அடிப்படை தரவுத்தளம் தேவை. சி.டி.எச் உடன் உள்ளமைக்கப்பட்ட இயல்புநிலை போஸ்ட்கிரெஸ்க்யூல் தரவுத்தளத்தை இங்கே பயன்படுத்துகிறோம்.

குறிப்பிடப்பட்ட தரவுத்தள விவரங்கள் கீழே தானாக உள்ளிடப்படும், குறிப்பிடப்பட்ட தரவுத்தளம் பறக்கும்போது உருவாக்கப்படும் என்பதால் ‘சோதனை இணைப்பு’ தவிர்க்கப்படும். நிகழ்நேரத்தில், வெளிப்புற தரவுத்தளத்தில் தரவுத்தளத்தை உருவாக்கி, மேலும் தொடர இணைப்பை சோதிக்க வேண்டும். முடிந்ததும், தயவுசெய்து ‘தொடரவும்’ என்பதைக் கிளிக் செய்க.

5. ஹைவ் கிடங்கு கோப்பகத்தை உள்ளமைக்கவும்,/பயனர்/ஹைவ்/கிடங்கு என்பது ஹைவ் அட்டவணைகளை சேமிப்பதற்கான இயல்புநிலை அடைவு பாதை. ‘தொடரவும்’ என்பதைக் கிளிக் செய்க.

6. ஹைவ் நிறுவல் தொடங்கப்பட்டுள்ளது.

7. நிறுவல் முடிந்ததும், நீங்கள் ‘முடிக்கப்பட்ட’ நிலையைப் பெறலாம். மேலும் தொடர ‘தொடரவும்’ என்பதைக் கிளிக் செய்க.

8. ஹைவ் நிறுவல் மற்றும் உள்ளமைவு வெற்றிகரமாக முடிந்தது. நிறுவல் நடைமுறையை முடிக்க ‘பினிஷ்’ என்பதைக் கிளிக் செய்க.

9. கிளவுடெரா மேலாளர் டாஷ்போர்டு மூலம் கிளஸ்டரில் சேர்க்கப்பட்ட ஹைவ் சேவையை நீங்கள் காணலாம்.

10. ஹைவ்ஸர்வர் 2 ஐ ஹைவ் நிகழ்வுகளில் பார்க்கலாம். Hiveserver2 ஐ மாஸ்டர் 1 இல் சேர்த்துள்ளோம்.

கிளவுட்ரா மேலாளர் -> ஹைவ் -> நிகழ்வுகள் -> ஹைவ்சர்வர் 2.

ஹைவ் மீது அதிக கிடைக்கும் தன்மையை இயக்குகிறது

11. அடுத்து கிளவுட்ரா மேலாளர் -> ஹைவ் -> செயல்கள் -> பங்கு நிகழ்வுகளைச் சேர்ப்பதன் மூலம் ஹைவ் பாத்திரத்தைச் சேர்க்கவும்.

12. கூடுதல் Hiveserver2 ஐ வைக்க விரும்பும் சேவையகங்களைத் தேர்ந்தெடுக்கவும். நீங்கள் இரண்டுக்கு மேல் சேர்க்கலாம், வரம்பு இல்லை. இங்கே நாம் மாஸ்டர் 2 இல் கூடுதல் ஒரு ஹைசர்வர் 2 ஐ சேர்க்கிறோம்.

13. சேவையகத்தைத் தேர்ந்தெடுத்ததும், ‘தொடரவும்’ என்பதைக் கிளிக் செய்க.

14. ஹைவ் நிகழ்வுகளில் ஒரு ஹிவர்சர்வர் 2 சேர்க்கப்படும், கிளவுட்ரா மேலாளர் -> ஹைவ் -> நிகழ்வுகள் -> (ஹைவ்சர்வர் 2 புதிதாக சேர்க்கப்பட்டதைத் தேர்ந்தெடுக்கவும்) -> தேர்ந்தெடுக்கப்பட்ட செயல் -> தொடக்கம்.

15. மாஸ்டர் 2 இல் ஹைவ்சர்வர் 2 தொடங்கியதும், நீங்கள் ‘முடிந்தது’ என்ற நிலையைப் பெறுவீர்கள். மூடு என்பதைக் கிளிக் செய்க.

16. நீங்கள் பார்க்கலாம், Hiveserver2 கள் இரண்டும் இயங்குகின்றன.

ஹைவ் கிடைக்கும் தன்மையை சரிபார்க்கிறது

மெல்லிய கிளையன்ட் மற்றும் கட்டளை வரியான பீலைன் மூலம் நாம் ஹைவ்சர்வர் 2 ஐ இணைக்க முடியும். இது இணைப்பை நிறுவ JDBC இயக்கியைப் பயன்படுத்துகிறது.

17. ஹைவ் கேட்வே இயங்கும் சேவையகத்தில் உள்நுழைக.

[[email  ~]$ beeline

18. Hiveserver2 ஐ இணைக்க JDBC இணைப்பு சரத்தை உள்ளிடவும். இந்த இணைப்பில், ஹிவர்சர்வர் 2 (மாஸ்டர் 2) ஐ அதன் இயல்புநிலை போர்ட் எண் 10000 உடன் குறிப்பிடுகிறோம். இந்த இணைப்பு சரம் மாஸ்டர் 2 இல் இயங்கும் ஹைசர்வர் 2 உடன் மட்டுமே இணைக்கப்படும்.

beeline> !connect "jdbc:hive2://master1.linux-console.net:10000"

19. மாதிரி வினவலை இயக்கவும்.

0: jdbc:hive2://master1.linux-console.net:10000> show databases;

இது இயல்புநிலை தரவுத்தளமாகும்.

20. ஹைவ் அமர்வை நிறுத்த பின்வரும் கட்டளையைப் பயன்படுத்தவும்.

0: jdbc:hive2://master1.linux-console.net:10000> !quit

21. மாஸ்டர் 2 இல் இயங்கும் Hiveserver2 ஐ இணைக்க நீங்கள் அதே வழியைப் பயன்படுத்தலாம்.

beeline> !connect "jdbc:hive2://master2.linux-console.net:10000"

23. ஜூக்கீப்பர் டிஸ்கவரி பயன்முறையில் நாம் ஹைவ்சர்வர் 2 ஐ இணைக்க முடியும். இந்த முறையில், இணைப்பு சரத்தில் Hiveserver2 ஐ குறிப்பிட தேவையில்லை, அதற்கு பதிலாக கிடைக்கக்கூடிய Hiveserver2 ஐக் கண்டுபிடிக்க Zookeeper ஐப் பயன்படுத்துகிறோம்.

கிடைக்கக்கூடிய ஹிவர்சர்வர் 2 மத்தியில் சுமைகளை சமப்படுத்த மூன்றாம் தரப்பு சுமை இருப்புநிலையை இங்கே பயன்படுத்தலாம். கிளவுட்ரா மேலாளர் -> ஹைவ் -> உள்ளமைவுக்குச் செல்வதன் மூலம் ஜூக்கீப்பர் டிஸ்கவரி பயன்முறையை இயக்க கீழேயுள்ள உள்ளமைவு தேவை.

24. அடுத்து, property "HiveServer2 Advanced Configuration Snippet" என்ற சொத்தைத் தேடி, கீழே உள்ள சொத்தைச் சேர்க்க + சின்னத்தைக் கிளிக் செய்க.

Name : hive.server2.support.dynamic.service.discovery
Value : true
Description : <any description>

25. சொத்தில் நுழைந்ததும், ‘மாற்றங்களைச் சேமி’ என்பதைக் கிளிக் செய்க.

26. நாங்கள் உள்ளமைவில் மாற்றங்களைச் செய்ததால், சேவைகளை மறுதொடக்கம் செய்ய ஆரஞ்சு வண்ண சின்னத்தில் கிளிக் செய்வதன் மூலம் பாதிக்கப்பட்ட சேவைகளை மறுதொடக்கம் செய்ய வேண்டும்.

27. ‘பழைய மறுதொடக்கம்’ சேவைகளைக் கிளிக் செய்க.

28. இரண்டு விருப்பங்கள் உள்ளன. கொத்து நேரடி உற்பத்தியில் இருந்தால், செயலிழப்பைக் குறைக்க உருட்டல் மறுதொடக்கத்தை நாங்கள் விரும்ப வேண்டும். நாங்கள் புதிதாக நிறுவும்போது, இரண்டாவது விருப்பமான ‘கிளையன்ட் உள்ளமைவை மீண்டும் வரிசைப்படுத்து’ என்பதைத் தேர்வுசெய்து, ‘இப்போது மறுதொடக்கம்’ என்பதைக் கிளிக் செய்க.

29. மறுதொடக்கம் வெற்றிகரமாக முடிந்ததும், நீங்கள் ‘முடிந்தது’ என்ற நிலையைப் பெறுவீர்கள். செயல்முறையை முடிக்க ‘பினிஷ்’ என்பதைக் கிளிக் செய்க.

30. இப்போது ஜூக்கீப்பர் டிஸ்கவரி பயன்முறையைப் பயன்படுத்தி ஹைசர்வர் 2 ஐ இணைப்போம். ஜே.டி.பி.சி இணைப்பில், அதன் துறைமுக எண் 2081 உடன் நாம் ஜூகீப்பர் சேவையகங்களைப் பயன்படுத்த வேண்டும். கிளவுட்ரா மேலாளர் -> ஜூக்கீப்பர் -> நிகழ்வுகள் -> (சேவையக பெயர்களைக் கவனியுங்கள்) என்பதன் மூலம் ஜூக்கீப்பர் சேவையகங்களை சேகரிக்கவும்.

ஜூக்கீப்பரைக் கொண்ட மூன்று சேவையகங்கள் இவை, 2181 என்பது போர்ட் எண்.

master1.linux-console.net:2181
master2.linux-console.net:2181
worker1.linux-console.net:2181

31. இப்போது பீலைனில் இறங்குங்கள்.

[[email  ~]$ beeline

32. கீழே குறிப்பிட்டுள்ளபடி ஜே.டி.பி.சி இணைப்பு சரத்தை உள்ளிடவும். சேவை கண்டுபிடிப்பு முறை மற்றும் ஜூக்கீப்பர் பெயர்வெளி ஆகியவற்றை நாங்கள் குறிப்பிட வேண்டும். ‘Hiveserver2’ என்பது Hiveserver2 இன் இயல்புநிலை பெயர்வெளி.

beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"

33. இப்போது அமர்வு மாஸ்டர் 1 இல் இயங்கும் ஹைவ்சர்வர் 2 உடன் இணைக்கப்பட்டுள்ளது. சரிபார்க்க மாதிரி வினவலை இயக்கவும். தரவுத்தளத்தை உருவாக்க கீழே உள்ள கட்டளையைப் பயன்படுத்தவும்.

0: jdbc:hive2://master1.linux-console.net:2181,mast> create database tecmint;

34. தரவுத்தளத்தை பட்டியலிட பின்வரும் கட்டளையைப் பயன்படுத்தவும்.

0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;

35. இப்போது ஜூக்கீப்பர் டிஸ்கவரி பயன்முறையில் அதிக கிடைக்கும் தன்மையை நாங்கள் சரிபார்க்கிறோம். கிளவுட்ரா மேலாளரிடம் சென்று, மேலே நாம் சோதித்த மாஸ்டர் 1 இல் ஹைவ்சர்வர் 2 ஐ நிறுத்துங்கள்.

கிளவுட்ரா மேலாளர் -> ஹைவ் -> நிகழ்வுகள் -> (மாஸ்டர் 1 இல் ஹைவ்சர்வர் 2 ஐத் தேர்ந்தெடுக்கவும்) -> தேர்ந்தெடுக்கப்பட்டதற்கான செயல் -> நிறுத்து.

36. ‘நிறுத்து’ என்பதைக் கிளிக் செய்க. நிறுத்தப்பட்டதும், நீங்கள் ‘முடிந்தது’ என்ற நிலையைப் பெறுவீர்கள். ஹைவ் -> நிகழ்வுகளுக்குச் செல்வதன் மூலம் மாஸ்டர் 1 இல் ஹைவ்சர்வர் 2 ஐ சரிபார்க்கவும்.

37. மேலே உள்ள படிகளில் நாங்கள் செய்ததைப் போலவே, ஜீக்கீப்பர் டிஸ்கவரி பயன்முறையுடன் அதே ஜே.டி.பி.சி இணைப்பு சரத்தைப் பயன்படுத்தி ஹைலைசர்வர் 2 ஐ இணைக்கவும்.

[[email  ~]$ beeline

beeline>!connect "jdbc:hive2://master1.linux-console.net:2181,master2.linux-console.net:2181,worker1.linux-console.net:2181/;serviceDiscoveryMode=zookeeper;zookeeperNamespace=hiveserver2"

இப்போது நீங்கள் மாஸ்டர் 2 இல் இயங்கும் ஹைவ்சர்வர் 2 உடன் இணைக்கப்படுவீர்கள்.

38. மாதிரி வினவலுடன் சரிபார்க்கவும்.

0: jdbc:hive2://master1.linux-console.net:2181,mast> show databases;

இந்த கட்டுரையில், உயர் கிடைக்கும் எங்கள் கிளஸ்டரில் ஹைவ் டேட்டா வேர்ஹவுஸ் மாதிரியைப் பெறுவதற்கான விரிவான படிகளை நாங்கள் சென்றுள்ளோம். நிகழ்நேர உற்பத்தி சூழலில், ஜூக்கீப்பர் டிஸ்கவரி பயன்முறை இயக்கப்பட்ட நிலையில் மூன்றுக்கும் மேற்பட்ட ஹைவ்சர்வர் 2 வைக்கப்படும்.

இங்கே, அனைத்து Hiveserver2 களும் ஒரு பொதுவான பெயர்வெளியின் கீழ் Zookeeper உடன் பதிவு செய்கின்றன. ஜூகீப்பர் கிடைக்கக்கூடிய ஹைவ்சர்வர் 2 ஐ டைனமிகலாக கண்டுபிடித்து ஹைவ் அமர்வை நிறுவுகிறார்.