பெரும் தரவின் கட்டமைப்புகள்
நாம் முந்தைய கட்டுரையில் பெரும் தரவு என்றால் என்ன? அதன் பண்புகள், பெரும் தரவுகள் நமக்கு ஏன் இத்தனை சவாலாக உள்ளன, அத்தனை பெரும் தரவுகளும் எங்கேயிருந்து வருகின்றன, அதனால் வரும் நன்மைகள் என அனைத்தும் பாா்த்தோம். அதன் தொடா்ச்சியாக நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு செயலாக்கத்தில் இருந்து வேறுபடுகிறது, பெரும் தரவு கட்டமைப்புகளின் பல்வேறு கூறுகளைப் பற்றி இந்த கட்டுரையில் விரிவாக காண்போம்.
பாரம்பாிய தரவு செயலாக்கம் மற்றும் மேலாண்மை:
நாம் பெரும் தரவின் கட்டமைப்பை காண்பதற்கு முன் நாம் பாரம்பாிய தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மையில் இருந்து வேறுப்பட்டுள்ளது என்பதைக் காண்போம்.
பாரம்பாிய தரவு செயலாக்கம் மற்றும் மேலாண்மை
முன்பு தரவுகள் அனைத்தும் கட்டமைக்கப்பட்டு சிறிய அளவில் இருந்தமையால் அதனை செயலாக்குவதற்கு மற்றும் மேலாண்மை செய்வதற்கு சிரமமாக இருந்ததில்லை. கட்டமைக்கப்படாத சிறிய அளவு தரவுகள் இருந்தபோதிலும் அவற்றின் முடிவுகளில் அத்தனை பொிய மாற்றங்கள் இருந்ததில்லை.
ஆனால் காலப்போக்கில் தரவுகளும் பொிதாகிக் கொண்டே வருகின்றன. அதன் காரணமாக செயலாக்கம் மற்றும் மேலாண்மை செய்வதில் மிகுந்த சிரமங்கள் ஏற்படுக்கின்றன.
நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை:
இன்றைய காலக்கட்டத்தில் அனைவரும் அனைத்து தரவுகளையும் கணினியில் சேமித்துக் கொண்டே வருகின்றனா். இதன் காரணமாக தரவுகளும் பொிதாகி கொண்டே வருகின்றன. எனவே பெரும் நிறுவனங்கள் அனைத்தும் அவற்றின் தரவுகளை நவீன முறையில் மேலாண்மை செய்து வருகின்றனா்.
நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை
நவீன பெரும் தரவு கட்டமைப்பில்லுள்ள பல்வேறு கூறுகள்:
- மூல அமைப்புகள் (Source System: நாம் முன்பே கூறியது போல பலவிதமான தரவுகள் நாம் எதிர்பாா்க்காத வேகத்தில் அனைத்து திசைகளில் இருந்தும் மிக வேகமாக குவிகிறது. எடுத்துகாட்டாக சமூக வலைதளத்தரவுகள், பல்வேறு நிறுவன தரவுகள், பொதுத் தரவுகள், தரவு காப்பகங்கள், மற்றும் கட்டமைக்கப்பட்ட அல்லது கட்டமைக்கபடாத மூல தரவுகள்.
- Transactional அமைப்பு (Transactional System): ஒரு நிறுவனத்தில் ஒன்று அல்லது ஒன்றுக்கு மேற்ப்பட்ட Transactional அமைப்புகள் தரவுத்தளங்களாக பயன்பாடுகளில் உள்ளன.
- தரவு காப்பகங்கள் (Data Archive): தரவு காப்பகங்கள் என்பது Transactional அமைப்பு மற்றும் பெரும் தரவு இயந்திரத்தில் இருந்து சேகரிக்கப்பட்ட தரவின் கூட்டுக் காப்பாகும்.
- செயல்பாட்டு தரவுக்கிடங்கு (Operational Data Store): செயல்பாட்டு தரவுக்கிடங்கை சுருக்கமாக ODS என்று அழைப்பாா்கள். அது பெரும் தரவு இயந்திரம் மற்றும் Transactional அமைப்பிலிருந்து வரும் தரவுகளை Dataware House/BI/Analystics/Data Mining தரும் தரவு மைய்யமாக அமைந்துள்ளது.
- பெரும் தரவு இயந்திரம் (Big Data Engine): பெரும் தரவு இயந்திரத்தை பெரும் தரவு கட்டமைப்பின் இதயம் என்பாா்கள். இந்த பெரும் தரவு இயந்திரத்தில் மையப்பகுதியுள்ள Hadoop framework யின் HDFS மற்றும் MapReduce கூறுகள் மூலம் மிக பொிய தரவுகளையும் மிக சுலபமாக சேமித்து செயலாக்கம் செய்ய முடியும். இந்த Hadoop framework உள்ள கூறுகளைப் பற்றி விரிவாக அடுத்த கட்டுரையில் காண்போம் நன்றி.
–-(தொடரும்)