Category Archives: Big Data

Hadoop – அறிமுகம் – பகுதி 1

HADOOP வரலாறு Hadoop என்பது Apache நிறுவனம் வழங்குகின்ற திறந்த மூல மென்பொருள் கருவி ஆகும். இதனை Doug Cutting என்பவர் உருவாக்கினார். இது பெரிய தரவில் கூறப்படுகின்ற பல்வேறு வேலைகளையும் குறைந்த செலவில் திறம்பட செய்வதற்காக உருவாக்கப்பட்ட பல்வேறு மென்பொருள்களின் கூட்டமைப்பு ஆகும். Hadoop உருவாக்கத்திற்கு முன்னர் Doug Cutting என்பவர் ‘Apache Lucene’ எனும் கருவியை உருவாக்கியிருந்தார். இக்கருவியைப் பற்றி நாம் ELK Stack-ல் ஏற்கனவே பார்த்துள்ளோம். வாக்கியங்கள்/வார்த்தைகளின் அடிப்படையில் துரிதமாகத் தேடல்களை நிகழ்த்துவதற்கு… Read More »

நிகழ்நேரப் பெருந்தரவு – அறிமுகக் காணொளிகள்

ElasticSearch, Logstash, Kibana என்ற மென்பொருட்கள் மூலம் நிகழ்நேரப் பெருந்தரவு ஆய்வுகளைச் (Real Time Bigdata Analysis) செய்தல் பற்றி நமது எழுத்தாளர் நித்யா அவர்களின் காணொளிகள் இங்கே.   உரை வடிவில் இங்கே – www.kaniyam.com/category/elk-stack/     நீங்களும்  இதுபோல கட்டற்ற மென்பொருட்களுக்கு விளக்கக் காணொளிகளை உருவாக்கி அளிக்க வேண்டுகிறோம். நன்றி.

ELK Stack – பகுதி 4

Kibana Kibana என்பதுElasticSearch-ல் இருக்கும் தரவுகளை வரைபடங்களாக மாற்றி வெளிப்படுத்தஉதவும் ஒரு Visual Interface ஆகும். ElasticSearch-ல் இருக்கும் தரவுகளை வைத்து ஒருசில முக்கிய முடிவுகளை எடுப்பதற்கு Kibana-வின் வரைபடங்கள் உதவுகின்றன. இதனை அறிக்கைக்கான கருவி (ReportingTool) என்றும் கூறலாம். அதாவது வெறும் எண்ணிக்கையினாலான தகவல்களை மட்டும்வைத்துக்கொண்டு ஒருசில முக்கிய முடிவுகளை எடுப்பது என்பது சற்று கடினமானவிஷயம். எனவேதான் Kibana-வானது அவற்றை அழகிய வரைபடங்களாக மாற்றி, அதனைப் பார்க்கும் போதே தரவுகளின் சாராம்சங்களைப் புரிந்து கொள்ளக் கூடியஅளவுக்கு… Read More »

ELK Stack – பகுதி 3

Logstash Logstash  என்பது  நிகழ்வுகளைப் பெற உதவும் ஒரு  தரவுக் குழாய் (data pipeline)  ஆகும். இது ரூபி மொழியில் எழுதப்பட்ட பல்வேறு வகையான செருகு நிரல்களை(plugins)  வைத்து இயங்குகிறது. எனவே தான் இது “Plugin based events processing data pipeline” என்று அழைக்கப்படுகிறது. இந்த தரவுக் குழாய் 3 வகையான நிலைகளில் தரவுகளைக் கையாள்கிறது.  இது பின்வருமாறு:Logstash  என்பது  நிகழ்வுகளைப் பெற உதவும் ஒரு  தரவுக் குழாய் (data pipeline)  ஆகும். இது ரூபி… Read More »

ELK Stack – பகுதி 2

Elastic Search ElasticSearch என்பது பல கோடிக்கணக்கான தரவுகளை சேமித்து வைத்துக்கொண்டு, நாம் கேட்கும் நேரங்களில் கேட்கும் தகவல்களை துரிதமாக வெளிப்படுத்த உதவும் ஒரு சேமிப்புக் கிடங்கு மற்றும் தேடு இயந்திரம் (Storage area & Search engine) ஆகும். தேடலிலும் நமக்கு உதவும் வகையில் இது வடிவமைக்கப்பட்டுள்ளது. GitHub, Google, StackOverflow, Wikipediaபோன்றவை இதனைப் பயன்படுத்தி அதிக அளவு தகவல்களை சேமிப்பத்தோடு மட்டுமல்லாமல், பயனர்கள் தங்கள் விருப்பம்போல் தகவல்களை தேடி எடுப்பதற்கு ஏற்ற வகையில் தேடும்… Read More »

ELK Stack – பகுதி 1

ELK Stack – ஓர் அறிமுகம் ELK Stack என்பது Logstash, Elastic Search, Kibana எனும் 3 தனித்தனி திறந்த மூல மென்பொருள் கருவிகளின் கூட்டமைப்பு  ஆகும்.  இவை முறையே 2009 , 2010, 2011   ஆகிய ஆண்டுகளில் தனித்தனி நபர்களால் உருவாக்கப்பட்டு தனித்தனி திறந்தமூலக் கருவிகளாக வெளிவந்து கொண்டிருந்தன. பின்னர் 2012-ஆம் ஆண்டு “Elastic Search” எனும் நிறுவனம் உருவாக்கப்பட்ட பின்னர், ஒவ்வொருவராக அந்நிறுவனத்தில் இணைய,  அவர்கள் உருவாக்கிய கருவிகளும் இணைக்கப்பட்டு “ELK… Read More »

Big Data – ஓர் அறிமுகம்

source – commons.wikimedia.org/wiki/File:BigData_2267x1146_white.png நமது ஊரில் உள்ள பழக்கப்பட்ட மளிகைக் கடைக்குச் சென்று பொருட்கள் வாங்கும்போது, அந்தக் கடைக்காரருக்கு நம்மைப் பற்றிய விவரம் முழுவதும் தெரிந்திருக்கும். மேலும் அவர் நம்முடன் கொண்ட பழக்கத்தினால் நமக்கு எது பிடிக்கும் எது பிடிக்காது என்பதை சற்று கணித்து வைத்திருப்பார். எனவே நமது ரசனைக்கேற்ப அவரிடம் ஏதேனும் புது சரக்குகள் வந்து இறங்கியிருப்பின், அதனை நம்மிடம் காட்டி ‘இது உங்களுக்கு மிகவும் பிடிக்கும். பயன்படுத்தித்தான் பாருங்களேன்” என்பார். நாமும் “சரி! வாங்கித்தான்… Read More »

பெரும் தரவு (பிக் டேட்டா) பகுதி – 3 HADOOP

பெரும் தரவு (பிக் டேட்டா) பகுதி – 3 HADOOP அனைவருக்கும் வணக்கம். நாம் முந்தைய இரண்டு கட்டுரைகளில் பெரும் தரவு என்றால் என்ன அதன் பண்புகள், பெரும் தரவு கட்டமைப்பில்லுள்ள பல்வேறு கூறுகள், நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு செயலாக்கத்தில் இருந்து வேறுபடுகிறது என்று கண்டோம். அந்த வரிசையில் Hadoop என்றால் என்ன, அது எப்படி மிகப்பொிய பெரும் தரவு பிரச்சினையை சமாளிக்கிறது என்பதனை இந்த கட்டுரையில் விரிவாக காண்போம்.… Read More »

பிக் டேட்டா (பெரும் தரவு) பகுதி – 2

பெரும் தரவின் கட்டமைப்புகள் நாம் முந்தைய கட்டுரையில் பெரும் தரவு என்றால் என்ன? அதன் பண்புகள், பெரும் தரவுகள் நமக்கு ஏன் இத்தனை சவாலாக உள்ளன, அத்தனை பெரும் தரவுகளும் எங்கேயிருந்து வருகின்றன, அதனால் வரும் நன்மைகள் என அனைத்தும் பாா்த்தோம். அதன் தொடா்ச்சியாக நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு செயலாக்கத்தில் இருந்து வேறுபடுகிறது, பெரும் தரவு கட்டமைப்புகளின் பல்வேறு கூறுகளைப் பற்றி இந்த கட்டுரையில் விரிவாக காண்போம். பாரம்பாிய தரவு… Read More »

பெரும் தரவு (big data) பகுதி – 1

அனைவருக்கும் வணக்கம். என் பெயா் ஜெகதீசன். நான் இறுதி ஆண்டு முதுகலை படிக்கும் மாணவன். எனக்கு நீண்ட நாட்களாக தமிழில் கட்டுரைகள் எழுத வேண்டும் என்று சிறிய ஆசை. நான் தமிழ் விக்கிப்பீடியாவில் சில கட்டுரைகளை மொழி பெயா்த்து வந்த நேரத்தில் தான் “கணியம்” மின் மாத இதழ் பற்றி அறிந்தேன். பெரும் தரவு (பிக் டேட்டா) மற்றும் அதனை எப்படி செயலாக்கம் செய்வது என்ற தலைப்பின் கீழ் தமிழில் கட்டுரைகள் எழுத முடிவு எடுத்துள்ளேன். அந்த… Read More »