हडूपची रचना - अपाचे हडूप हे एक फ्रेमवर्क आहे. म्हणजे यातील सर्व प्रोग्रॅम एका विशिष्ट सर्वसमावेशक कार्यपद्धतीने वापरता यावेत अशा रीतीने वेगवेगळ्या समूहात विभागलेले असतात.
हडूपमध्ये चार विभाग असतात.
१. हडूप कॉमन (Common) - सर्व विभागातील कार्यासाठी लागणार्या प्रोग्रॅम व सुविधा यात समाविष्ट केलेल्या असतात.
२. हडूप डिस्ट्रीब्यूटेड फाईल सिस्टीम (HDFS) - सुरक्षा व समांतर कार्यासाठी अनेक कॉम्प्युटर्सवर माहिती वितरित करण्याची व्यवस्था या प्रणालीत असते.
३. हडूप यार्न (YARN)- सर्व साधन सुविधांचा कार्यक्षमतेने वापर व्हावा यासाठी ग्राहकांच्या माहिती विश्लेषण कार्यातील आवश्यकतेनुसार त्यांचे गट करून क्रम निश्चित करण्याची कार्यप्रणाली
४. हडूप मॅपरिड्यूस (Hadoop MapReduce) - फार मोठ्या माहितीसमूहाचे विश्लेषण करण्यासाठी विकसित केलेली वैशिष्ठ्यपूर्ण कार्यप्रणाली.
कॉम्प्युटरच्या हार्डडिस्कवर माहिती जतन केली असेल तरी हार्डडिस्कमध्ये बिघाड झाल्यास माहिती नष्ट होण्याचा वा त्यात दोष शिरण्याचा धोका असतो. सध्याच्या पद्धतीत एका सर्व्हरवर एकाच ठिकाणी अशी माहिती असल्याने असा धोका संभवतो.
हडूप प्रणालीमध्ये माहिती सुरक्षित व दोषरहीत रहावी यासाठी प्रत्येक माहितीसंचाची प्रत दोन किंवा अधिक वेगवेगळ्या कॉम्प्युटर वा हार्डडिस्कवर जतन केली जाते. प्रत्येक माहितीघटक अनेक छोट्या तुकड्यांच्या स्वरूपात अनेक ठिकाणी ठेवणे व एकाच वेळी समांतर पद्धतीने सर्व कॉम्प्युटर्सवर त्याचे विश्लेषण करण्याची पद्धत (parallel processing ) हडूपमध्ये वापरली जात असल्याने माहिती विश्लेषणाचे कार्य अतिशय वेगाने होते तसेच येणार्या माहितीचा ओघ कितीही बदलता असला तरी गरजेनुसार साधन सुविधांची ( हार्डवेअर व सॉफ्टवेअर) योजना करणे हडूप प्रणालीत शक्य असल्याने ग्राहकास भाडे तत्वार अशी सेवा घेणे किफायतशीर ठरते.
हडूपमध्ये चार विभाग असतात.
१. हडूप कॉमन (Common) - सर्व विभागातील कार्यासाठी लागणार्या प्रोग्रॅम व सुविधा यात समाविष्ट केलेल्या असतात.
२. हडूप डिस्ट्रीब्यूटेड फाईल सिस्टीम (HDFS) - सुरक्षा व समांतर कार्यासाठी अनेक कॉम्प्युटर्सवर माहिती वितरित करण्याची व्यवस्था या प्रणालीत असते.
३. हडूप यार्न (YARN)- सर्व साधन सुविधांचा कार्यक्षमतेने वापर व्हावा यासाठी ग्राहकांच्या माहिती विश्लेषण कार्यातील आवश्यकतेनुसार त्यांचे गट करून क्रम निश्चित करण्याची कार्यप्रणाली
४. हडूप मॅपरिड्यूस (Hadoop MapReduce) - फार मोठ्या माहितीसमूहाचे विश्लेषण करण्यासाठी विकसित केलेली वैशिष्ठ्यपूर्ण कार्यप्रणाली.
कॉम्प्युटरच्या हार्डडिस्कवर माहिती जतन केली असेल तरी हार्डडिस्कमध्ये बिघाड झाल्यास माहिती नष्ट होण्याचा वा त्यात दोष शिरण्याचा धोका असतो. सध्याच्या पद्धतीत एका सर्व्हरवर एकाच ठिकाणी अशी माहिती असल्याने असा धोका संभवतो.
हडूप प्रणालीमध्ये माहिती सुरक्षित व दोषरहीत रहावी यासाठी प्रत्येक माहितीसंचाची प्रत दोन किंवा अधिक वेगवेगळ्या कॉम्प्युटर वा हार्डडिस्कवर जतन केली जाते. प्रत्येक माहितीघटक अनेक छोट्या तुकड्यांच्या स्वरूपात अनेक ठिकाणी ठेवणे व एकाच वेळी समांतर पद्धतीने सर्व कॉम्प्युटर्सवर त्याचे विश्लेषण करण्याची पद्धत (parallel processing ) हडूपमध्ये वापरली जात असल्याने माहिती विश्लेषणाचे कार्य अतिशय वेगाने होते तसेच येणार्या माहितीचा ओघ कितीही बदलता असला तरी गरजेनुसार साधन सुविधांची ( हार्डवेअर व सॉफ्टवेअर) योजना करणे हडूप प्रणालीत शक्य असल्याने ग्राहकास भाडे तत्वार अशी सेवा घेणे किफायतशीर ठरते.
No comments:
Post a Comment