கட்டற்ற கணிநுட்பம்
HADOOP வரலாறு Hadoop என்பது Apache நிறுவனம் வழங்குகின்ற திறந்த மூல மென்பொருள் கருவி ஆகும். இதனை Doug Cutting என்பவர் உருவாக்கினார். இது பெரிய தரவில் கூறப்படுகின்ற பல்வேறு வேலைகளையும் குறைந்த செலவில் திறம்பட செய்வதற்காக உருவாக்கப்பட்ட பல்வேறு மென்பொருள்களின் கூட்டமைப்பு ஆகும். Hadoop உருவாக்கத்திற்கு முன்னர் Doug Cutting என்பவர் ‘Apache Lucene’…
Read more
ElasticSearch, Logstash, Kibana என்ற மென்பொருட்கள் மூலம் நிகழ்நேரப் பெருந்தரவு ஆய்வுகளைச் (Real Time Bigdata Analysis) செய்தல் பற்றி நமது எழுத்தாளர் நித்யா அவர்களின் காணொளிகள் இங்கே. உரை வடிவில் இங்கே – www.kaniyam.com/category/elk-stack/ நீங்களும் இதுபோல கட்டற்ற மென்பொருட்களுக்கு விளக்கக் காணொளிகளை உருவாக்கி அளிக்க வேண்டுகிறோம். நன்றி.
Kibana Kibana என்பதுElasticSearch-ல் இருக்கும் தரவுகளை வரைபடங்களாக மாற்றி வெளிப்படுத்தஉதவும் ஒரு Visual Interface ஆகும். ElasticSearch-ல் இருக்கும் தரவுகளை வைத்து ஒருசில முக்கிய முடிவுகளை எடுப்பதற்கு Kibana-வின் வரைபடங்கள் உதவுகின்றன. இதனை அறிக்கைக்கான கருவி (ReportingTool) என்றும் கூறலாம். அதாவது வெறும் எண்ணிக்கையினாலான தகவல்களை மட்டும்வைத்துக்கொண்டு ஒருசில முக்கிய முடிவுகளை எடுப்பது என்பது சற்று…
Read more
Logstash Logstash என்பது நிகழ்வுகளைப் பெற உதவும் ஒரு தரவுக் குழாய் (data pipeline) ஆகும். இது ரூபி மொழியில் எழுதப்பட்ட பல்வேறு வகையான செருகு நிரல்களை(plugins) வைத்து இயங்குகிறது. எனவே தான் இது “Plugin based events processing data pipeline” என்று அழைக்கப்படுகிறது. இந்த தரவுக் குழாய் 3 வகையான நிலைகளில் தரவுகளைக்…
Read more
Elastic Search ElasticSearch என்பது பல கோடிக்கணக்கான தரவுகளை சேமித்து வைத்துக்கொண்டு, நாம் கேட்கும் நேரங்களில் கேட்கும் தகவல்களை துரிதமாக வெளிப்படுத்த உதவும் ஒரு சேமிப்புக் கிடங்கு மற்றும் தேடு இயந்திரம் (Storage area & Search engine) ஆகும். தேடலிலும் நமக்கு உதவும் வகையில் இது வடிவமைக்கப்பட்டுள்ளது. GitHub, Google, StackOverflow, Wikipediaபோன்றவை இதனைப்…
Read more
ELK Stack – ஓர் அறிமுகம் ELK Stack என்பது Logstash, Elastic Search, Kibana எனும் 3 தனித்தனி திறந்த மூல மென்பொருள் கருவிகளின் கூட்டமைப்பு ஆகும். இவை முறையே 2009 , 2010, 2011 ஆகிய ஆண்டுகளில் தனித்தனி நபர்களால் உருவாக்கப்பட்டு தனித்தனி திறந்தமூலக் கருவிகளாக வெளிவந்து கொண்டிருந்தன. பின்னர் 2012-ஆம்…
Read more
source – commons.wikimedia.org/wiki/File:BigData_2267x1146_white.png நமது ஊரில் உள்ள பழக்கப்பட்ட மளிகைக் கடைக்குச் சென்று பொருட்கள் வாங்கும்போது, அந்தக் கடைக்காரருக்கு நம்மைப் பற்றிய விவரம் முழுவதும் தெரிந்திருக்கும். மேலும் அவர் நம்முடன் கொண்ட பழக்கத்தினால் நமக்கு எது பிடிக்கும் எது பிடிக்காது என்பதை சற்று கணித்து வைத்திருப்பார். எனவே நமது ரசனைக்கேற்ப அவரிடம் ஏதேனும் புது சரக்குகள்…
Read more
பெரும் தரவு (பிக் டேட்டா) பகுதி – 3 HADOOP அனைவருக்கும் வணக்கம். நாம் முந்தைய இரண்டு கட்டுரைகளில் பெரும் தரவு என்றால் என்ன அதன் பண்புகள், பெரும் தரவு கட்டமைப்பில்லுள்ள பல்வேறு கூறுகள், நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு செயலாக்கத்தில் இருந்து வேறுபடுகிறது என்று கண்டோம். அந்த வரிசையில்…
Read more
பெரும் தரவின் கட்டமைப்புகள் நாம் முந்தைய கட்டுரையில் பெரும் தரவு என்றால் என்ன? அதன் பண்புகள், பெரும் தரவுகள் நமக்கு ஏன் இத்தனை சவாலாக உள்ளன, அத்தனை பெரும் தரவுகளும் எங்கேயிருந்து வருகின்றன, அதனால் வரும் நன்மைகள் என அனைத்தும் பாா்த்தோம். அதன் தொடா்ச்சியாக நவீன தரவு செயலாக்கம் மற்றும் மேலாண்மை எப்படி பாரம்பாிய தரவு…
Read more
அனைவருக்கும் வணக்கம். என் பெயா் ஜெகதீசன். நான் இறுதி ஆண்டு முதுகலை படிக்கும் மாணவன். எனக்கு நீண்ட நாட்களாக தமிழில் கட்டுரைகள் எழுத வேண்டும் என்று சிறிய ஆசை. நான் தமிழ் விக்கிப்பீடியாவில் சில கட்டுரைகளை மொழி பெயா்த்து வந்த நேரத்தில் தான் “கணியம்” மின் மாத இதழ் பற்றி அறிந்தேன். பெரும் தரவு (பிக்…
Read more
