हम हडोप स्टैक में चिड़ियाघर की जरूरत क्यों है?

मैं हडोप/चिड़ियाघर के लिए नया हूँ। मैं हूओप के साथ चिड़ियाघर का उपयोग करने के उद्देश्य को समझ नहीं सकता, क्या हूओप में ज़ूकीपर लिखने वाला डेटा है? यदि नहीं, तो हम हूओप के साथ चिड़ियाघर का उपयोग क्यों करते हैं?

0
जोड़ा संपादित
विचारों: 1
और हूपॉप में ज़ूकीपर कहां इस्तेमाल किया जाता है?
जोड़ा लेखक Thomas Jungblut, स्रोत

3 उत्तर

zookeeper दस्तावेज़ पृष्ठ से:

चिड़ियाघर जानकारी कॉन्फ़िगरेशन जानकारी, नामकरण, वितरित सिंक्रनाइज़ेशन प्रदान करने और समूह सेवाओं को प्रदान करने के लिए एक केंद्रीकृत सेवा है। इन सभी प्रकार की सेवाओं का उपयोग वितरित अनुप्रयोगों द्वारा किसी रूप में या किसी अन्य रूप में किया जाता है।

     

प्रत्येक बार जब उन्हें कार्यान्वित किया जाता है तो वहां बहुत सारे काम होते हैं जो बग और रेस स्थितियों को ठीक करने में जाते हैं जो अपरिहार्य हैं। इन प्रकार की सेवाओं को लागू करने में कठिनाई के कारण, अनुप्रयोगों में शुरुआत में आमतौर पर उन पर कंजूसी होती है, जो उन्हें परिवर्तन की उपस्थिति और प्रबंधन में मुश्किल होती है। यहां तक ​​कि जब सही तरीके से किया जाता है, तब भी इन सेवाओं के विभिन्न कार्यान्वयन के लिए प्रबंधन जटिलता होती है जब अनुप्रयोग तैनात किए जाते हैं।

hadoop दस्तावेज़ पृष्ठ से:

अपाचे ™ हैडोप® प्रोजेक्ट विश्वसनीय, स्केलेबल, वितरित कंप्यूटिंग के लिए ओपन-सोर्स सॉफ्टवेयर विकसित करता है।

     

अपाचे हैडोप सॉफ्टवेयर लाइब्रेरी एक ढांचा है जो सरल प्रोग्रामिंग मॉडल का उपयोग कर कंप्यूटर के क्लस्टर में बड़े डेटा सेट के वितरित प्रसंस्करण की अनुमति देता है

आपकी क्वेरी के बारे में:

हमें हडोप स्टैक में ज़ूकीपर की आवश्यकता क्यों है?

बाध्यकारी कारक प्रसंस्करण और उच्च उपलब्धता वितरित किया जाता है।

जैसे Hadoop Namenode प्रक्रिया में विफल।

Hadoop high availability is designed around Active Namenode & Standby Namenode for fail over process. At any point of time, you should not have two masters ( active Namenodes) at same time.

Apache दस्तावेज लिंक से HDFSHighAvailableWithQJM :

एचए क्लस्टर के सही संचालन के लिए यह महत्वपूर्ण है कि एक समय में केवल नामों में से एक सक्रिय हो। अन्यथा, नेमस्पेस स्थिति तेजी से डेटा हानि या अन्य गलत परिणामों को खतरे में डालकर दोनों के बीच अलग हो जाएगी। इस संपत्ति को सुनिश्चित करने और तथाकथित "विभाजन-मस्तिष्क परिदृश्य" को रोकने के लिए, जर्नल नोड्स कभी भी एक ही नाम नोड को एक समय में लेखक होने की अनुमति देगा।

     

एक विफलता के दौरान, नामकोड जो सक्रिय होना है, वह जर्नल नोड्स को लिखित रूप में लिखने की भूमिका निभाएगा, जो सक्रिय रूप से अन्य नाम नोड को सक्रिय स्थिति में जारी रखने से रोक देगा, जिससे नई सक्रिय सुरक्षित रूप से विफलता के साथ आगे बढ़ने की अनुमति देगी।

स्प्लिट - मस्तिष्क परिदृश्य से बचने के लिए जुकीपर का उपयोग किया गया है। आप नीचे प्रश्न में जुकीपर की भूमिका पा सकते हैं:

हाडोप नामनोड विफलता प्रक्रिया कैसे काम करती है?

0
जोड़ा

हडोप 1.x जुकीपर का उपयोग नहीं करता है। एचबीएएस हडोप 1.x इंस्टॉलेशन में भी ज़ूकीपर का उपयोग करता है।

हडोप ने ज़ूकीपर को अपनाया संस्करण के साथ शुरू किया।

जुकीपर का उद्देश्य क्लस्टर प्रबंधन है। यह छोटे विशिष्ट घटकों का उपयोग करने के * निक्स के सामान्य दर्शन के साथ फिट बैठता है - इसलिए हडोप के घटक जो क्लस्टरिंग क्षमताओं को चाहते हैं, उनके लिए ज़ूकीपर पर भरोसा करते हैं।

जुकीपर एक वितरित भंडारण है जो निम्नलिखित गारंटी प्रदान करता है ( जुकीपर ओवरव्यू पृष्ठ ) से कॉपी किया गया है :

  • अनुक्रमिक संगति - ग्राहक से अपडेट लागू किए जाएंगे ऑर्डर करें कि उन्हें भेजा गया था।
  • परमाणुता - अपडेट या तो सफल होते हैं या असफल। कोई आंशिक परिणाम नहीं।
  • एकल सिस्टम छवि - एक ग्राहक देखेंगे सर्वर के कनेक्ट होने के बावजूद सेवा का एक ही दृश्य सेवा मेरे।
  • विश्वसनीयता - एक बार अपडेट लागू हो जाने पर, यह जारी रहेगा उस समय से जब तक कोई ग्राहक अद्यतन को ओवरराइट नहीं करता है।
  • समयबद्धता - सिस्टम के ग्राहकों के दृश्य की गारंटी है एक निश्चित समय सीमा के भीतर अद्यतित।

आप क्लस्टर प्रबंधन के लिए आवश्यक विभिन्न " व्यंजनों " को लागू करने के लिए इनका उपयोग कर सकते हैं ताले, नेता चुनाव आदि

यदि आप स्वयं को चिड़ियाघर का उपयोग करने जा रहे हैं, तो मैं आपको नेटफ्लिक्स से क्यूरेटर पर एक नज़र डालने की सलाह देता हूं, इसका उपयोग करना आसान बनाता है (उदाहरण के लिए वे बॉक्स के बाहर कुछ व्यंजनों को लागू करते हैं)

0
जोड़ा
जब आप कहते हैं कि 'हडोप ने ज़ूकीपर को अपनाया संस्करण के साथ शुरू किया।', इसका मतलब यह है कि ज़ूकीपर को हडूप वितरण वर्जन 2.0 में शामिल किया गया है?
जोड़ा लेखक user3282777, स्रोत
धन्यवाद। क्लौडेरा ब्लॉग काफी जानकारीपूर्ण था।
जोड़ा लेखक user3282777, स्रोत
चूंकि अधिकांश वितरण में एचबीएस शामिल था, यह v.2 से पहले था। वी 2 में। यार्न एचए के लिए ज़ूकीपर का भी उपयोग करता है (वास्तव में आप कम विश्वसनीय तरीकों का उपयोग कर सकते हैं लेकिन उदाहरण के लिए यह अनुशंसित तरीका है blog.cloudera.com/blog/2014/05/how-apache-hadoop-yarn-ha-wor‌ ks ) तो मैं नहीं करता लगता है कि आप इसके बिना वितरण पाएंगे या बनायेंगे
जोड़ा लेखक Arnon Rotem-Gal-Oz, स्रोत

जुकीपर विश्वसनीय वितरित समन्वय की समस्या हल करता है, और हडूप एक वितरित प्रणाली है, है ना?

एक उत्कृष्ट पेपर पैक्सोस एल्गोरिदम है कि एक उत्कृष्ट पेपर है आप इस विषय पर पढ़ सकते हैं।

0
जोड़ा
स्टैक ओवरफ्लो 101: ज्यादातर मामलों में कम बेहतर होता है
जोड़ा लेखक Junchen Liu, स्रोत
पैक्सोस संदर्भ के लिए +1
जोड़ा लेखक grinch, स्रोत