pandas, scikit-learn, matplotlib ஆகியவற்றிற்கு அப்பால் ஒருசில புதிய தந்திரமான வழிமுறைகளின் மூலம் பைத்தான் வாயிலாகவே தரவு அறிவியலை செயல்படுத்த முடியும்
துவக்கநிலையாளர்கள் முதல் திறன்மிகுந்தவர்கள் வரையிலும் பயன்படுத்துபவர்கள் எந்தவொரு இக்கட்டிலும் சமாளித்திட மிகமுக்கியமாக தரவுஅறிவியலை இயக்கநேரத்திலும் விரைவாகவும் செயல்படுத்திட இதனுடைய நூலகங்கள் பேருதவியாக இருக்கின்றன
1.Wget எனும் நூலகம்
தரவு அறிவியலாருக்கு முதன்மையான குறிக்கோளே இணையத்திலிருந்து தரவுகளை கொண்டுவருவதுதான் அதற்காக உதவவருவதுதான் Wget எனும் பைத்தானின் நூலகமாகும் இது HTTP, HTTPS, FTP ஆகிய மரபொழுங்குகளை ஆதரிக்கின்றது இது இடைமுகம் இல்லாதது ஆனால் இது குறிப்பிட்ட இணையபக்கத்திற்குள் உள்நுழைவு செய்திடாமலேயே தரவுகளை பதிவிறக்கம் செய்துகொள்ளமுடியும்.
$ pip install wget இதனை எனும் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க பின்னர்
import wget
url = ‘http://www.futurecrew.com/skaven/song_files/mp3/razorback.mp3’
filename = wget.download(url)
100% […………………………………………] 3841532 / 3841532 filename ‘razorback.mp3’
ஆகிய கட்டளைவரிகள் வாயிலாக தேவையானவாறு தரவுகளை பதிவிறக்கம் செய்து கொள்க
இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு
pypi.org/project/wget/ எனும் இணையதளபக்கத்திற்கு செல்க
2.Pendulum எனும் பைத்தானின் நூலகம்
தொடர்ந்து பணிநாட்களில் பைத்தானில் பணிபுரிந்து வெறுப்படைந்தவர்களுக்கு உதவ
காத்திருப்பதுதான் , Pendulum எனும் பைத்தானின் நூலகமாகும் இது அவ்வாறானவர்களின் மகிழ்ச்சியுடன் கையாள உதவுகின்றது .இது பைத்தானின் சொந்த
வகுப்புக்கு பதிலாக ஒரு மாற்றீடு ஆகும்.
இதனை $ pip install pendulum எனும் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க.
பின்னர்
import pendulum
dt_toronto = pendulum.datetime(2012, 1, 1, tz=’America/Toronto’)
dt_vancouver = pendulum.datetime(2012, 1, 1, tz=’America/Vancouver’)
print(dt_vancouver.diff(dt_toronto).in_hours())
ஆகிய கட்டளைவரிகள் வாயிலாக தேவையானவாறு தரவுகளை பதிவிறக்கம் செய்து கொள்க
இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு
pendulum.eustace.io/docs/#installation எனும் இணையதளபக்கத்திற்கு செல்க
3.imbalanced-learn எனும் பைத்தானின் நூலகம்
தொடர்ந்துஒவ்வொரு வகுப்பில் உள்ள மாதிரிகள் எண்ணிக்கை கிட்டத்தட்ட ஒரே மாதிரியாக இருக்கும்போது (அதாவது, சமச்சீராக) பெரும்பாலான வகைப்படுத்தலின் நெறிமுறைகள் சிறப்பாக செயல் படுகின்றன. ஆனால் உண்மை வாழ்க்கையானது சமநிலையற்ற தரவுதளங்கள் நிறைந்தவையாகும். இவை படிப்படியான கற்றல் மற்றும் இயந்திர கற்றல் வழிமுறைகளின் முன்கணிப்பு ஆகியவற்றைக் கொண்டிருக்கலாம். அதிர்ஷ்டவசமாக, இந்த சிக்கலை
தீர்க்க imbalanced-learn எனும் பைத்தானின் நூலகம் உருவாக்கப் பட்டுள்ளது. இது scikit-learnஇற்கு இணக்கத்தன்மை உடையது,
$pip install -U imbalanced-learn # அல்லது conda install -c conda-forge imbalanced-learn
இதனை மேலேகாணூம் கட்டளை வரிமூலம் நிறுவுகைசெய்து பயன்படுத்திகொள்க
இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு imbalanced-learn.org/en/stable/api.html எனும் இணையதளபக்கத்திற்கு செல்க
4.FlashText எனும் பைத்தானின் நூலகம்
இயல்பான மொழி செயலாக்கத்தின்(NLP) போது உரையாலான தரவுகளை சுத்தமாக நீக்கிடும் பணிகளைத் துல்லியமாகத் தரும் போது, முக்கிய வார்த்தைகளை மாற்றுவதன் மூலம் அல்லது சொற்றொடரிலிருந்து சொற்களைப் பிரித்தெடுக்க வேண்டும். வழக்கமாக, இத்தகைய நடவடிக்கைகளை வழக்கமான வெளிப்பாடுகளால் நிறைவேற்ற முடியும், ஆனால் ஆயிரக்கணக்கான எண்ணிக்கையில் சொற்களின் எண்ணிக்கையை தேட வேண்டியநிலையில் அவை சிக்கலானதாகிவிடும். FlashText வழிமுறையின் அடிப்படையிலான பைத்தானின் FlashText தொகுதியானது, இதுபோன்ற சூழ்நிலைகளுக்கு பொருத்தமான மாற்றினை வழங்குகிறது. தேடல் சொற்களின் எண்ணிக்கையின் அளவு எவ்வளவாகக் இருந்தாலும் FlashText ஒரே மாதிரியாக சிறப்பாக பணிபுரிகின்றது
$ pip install flashtext இதனை மேலேகாணூம் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க
பின்னர் திறவு சொற்களை வெளியிலெடுத்திடுவதற்காக பின்வரும்கட்டளைவரிகளை பயன்படுத்திகொள்க :
from flashtext import KeywordProcessor
keyword_processor = KeywordProcessor()
# keyword_processor.add_keyword(, )
keyword_processor.add_keyword(‘Big Apple’, ‘New York’)
keyword_processor.add_keyword(‘Bay Area’)
keywords_found = keyword_processor.extract_keywords(‘I love Big Apple and Bay Area.’)
keywords_found
[‘New York’, ‘Bay Area’]
திறவு சொற்களை மாற்றியமைத்திடுவதற்காக பின்வரும் கட்டளைவரிகளை பயன்படுத்திகொள்க
keyword_processor.add_keyword(‘New Delhi’, ‘NCR region’)
new_sentence = keyword_processor.replace_keywords(‘I love Big Apple and new delhi.’)
new_sentence
‘I love New York and NCR region.’ இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு flashtext.readthedocs.io/en/latest/ எனும் இணையதளபக்கத்திற்கு செல்க
5.FuzzyWuzzyஎனும் பைத்தானின் நூலகம்
சரத்தை பொருத்தும் போது சரத்துடனான ஒப்பீடு விகிதங்கள், டோக்கன் விகிதங்கள், போன்ற செயல்பாடுகளை எளிதில் செயல்படுத்துவதற்கு FuzzyWuzzyயானது மிகவும் உதவிகரமான நூலகமாகும்.மேலும் இது பல்வேறு தரவுத்தளங்களில் பொருத்தப்பட்ட ஆவணங்களுக்கு பொருத்தமானதாகும்.
$ pip install fuzzywuzzy இதனை மேலேகாணூம் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க.
பின்னர்
from fuzzywuzzy import fuzz
from fuzzywuzzy import process
# Simple Ratio
fuzz.ratio(“this is a test”, “this is a test!”)
# Partial Ratio
fuzz.partial_ratio(“this is a test”, “this is a test!”)
ஆகிய கட்டளைவரிகள் வாயிலாக தேவையானவாறு தரவுகளை பதிவிறக்கம் செய்து கொள்க
இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு github.com/seatgeek/fuzzywuzzy எனும் இணையதளபக்கத்திற்கு செல்க
6.PyFlux எனும் பைத்தானின் நூலகம்
காலத்தொடர் பகுப்பாய்வு என்பது இயந்திர கற்றலில் அடிக்கடி சந்திக்கின்ற சிக்கல்களில் ஒன்றாகும். PyFlux என்பது பைதானில் உள்ள ஒரு கட்டற்ற நூலகமாகும், இது கால-வரிசை சிக்கல்களுடன் பணியாற்றுவதற்காக வெளிப்படையாக கட்டப்பட்ட நூலகமாகும் ARIMA, GARCH, VAR ஆகியவை உட்பட நவீன கால-வரிசை பகுப்பாய்வு மாதிரிகள் ஒருசில சிறந்த வரிசைகள் நாம் பயன்படுத்தி கொள்ள தயாராக உள்ளன .
$ pip install pyflux இதனை மேலேகாணூம் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க பின்னர் இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு pyflux.readthedocs.io/en/latest/index.html எனும் இணையதளபக்கத்திற்கு செல்க
7.IPyvolume எனும் பைத்தானின் நூலகம்
தரவுத் தகவல்களின் தகவல்களுடன் தொடர்புகொள்வது ஒரு முக்கியமான அம்சமாகும். மேலும் முடிவுகளை காட்சிப்படுத்தல் ஒரு குறிப்பிடத்தக்க நன்மைகளை வழங்குகிறது. IPyvolume எனும்பைதான் நூலகமானது முப்பரிமான (3D) மதிப்புகளையும் கிளிஃப்களையும் (எ.கா.,முப்பரிமான (3D ) சிதறல் அடுக்குகள்) குறைந்தபட்ச கட்டமைப்பு மற்றும் முயற்சிகளுடன் கூடிய ஜுப்பிட்டர் நோட்புக்கில் காட்சியாக காண உதவு கின்றது இருப்பினும், இது தற்போது 1.0-க்கும் முன்பதிபாகவு கிடைக்கின்றது.
$ pip install ipyvolume Conda/Anaconda $ conda install -c conda-forge ipyvolume இதனை மேலேகாணும் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க பின்னர் இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு ipyvolume.readthedocs.io/en/latest/?badge=latest எனும் இணையதளபக்கத்திற்கு செல்க
8.Dashஎனும் பைத்தானின் நூலகம்
Dash என்பது வலை பயன்பாடுகளை உருவாக்குவதற்கான ஒரு பயனுள்ள பைதான் வரைச்சட்டமாகும். இது JavaScript இல்லாமலேயே Flask, Plotly.js, மற்றும் React.js ஆகியவற்றின் மேல் எழுதப்பட்ட நம்முடைய பகுப்பாய்வு பைத்தானின் குறியீட்டை கீழ்தோன்றல்கள், ஸ்லைடர்களை, மற்றும் வரைபடங்கள் போன்ற நவீன UI மூலகங்களைப் பிணைக்கிறது. இணைய உலாவியில் காண்பிக்கக்கூடிய தரவு காட்சிப்படுத்தல் பயன்பாடுகளை உருவாக்குவதற்கு இந்த டாஷ் மிகவும் பொருத்தமானது.
$pip install dash==0.29.0 # dashஇன்முக்கிய பின்புலம்
$pip install dash-html-components==0.13.2 # HTMLஇன் உள்ளுறுப்புகள்
$pip install dash-core-components==0.36.0 # மிக அதிகமேம்பட்ட உள்ளுறுப்புகள்
$pip install dash-table==3.1.3 # இடைமுகம் செய்திடும் தரவுஅட்டவணை
உள்ளுறுப்பு(புதிய!) இதனை மேலேகாணூம் கட்டளை வரிமூலம் நிறுவுகை செய்து கொள்க இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு dash.plot.ly/ எனும் இணையதளபக்கத்திற்கு செல்க கீழ்க்காணும் எடுத்துக்காட்டு கீழ்தோன்றல் திறன்களைக் கொண்ட உயர்ந்த அசைவூட்டு வரைபடத்தைக் காட்டுகிறது. பயனர் கீழ்தோன்றலில் ஒரு மதிப்பைத் தேர்ந்தெடுக்கும்போது, பயன்பாட்டுக் குறியீடு கூகிள் நிதிஅட்டவணையிலிருந்து தரவுகளை ஒரு பாண்டஸ் டேட்டா ஃப்ரேம் ஆக ஏற்றுமதி செய்கிறது.
9.Gym எனும் பைத்தான் நூலகம்
OpenAI எனும் கட்டற்ற செயற்கைநினைவகத்திலிருந்து Gym ஆனது, வலுவூட்டப் பட்ட கற்றல் வழிமுறைகளின் வாயிலாக மேம்படுத்திடுவதற்கும் ஒப்பிடுவதற்கான ஒரு கருவி ஆகும். இது TensorFlow அல்லது Theano போன்ற எந்த எண் கணிப்புக் கணிப்பீட்டிற்கும் இணக்கமானது. இந்த Gym நூலகமானது பரிசோதனை
சிக்கல்களின் தொகுப்பாகும், இது அவைகளின் சூழல்களாகவும் அழைக்கப்படுகிறது , நம்முடைய வலுவூட்ட-கற்றல் வழிமுறைகளை உருவாக்க நாம் பயன்படுத்தி
கொள்ளலாம். இதில் சூழல்களின் பகிர்வு இடைமுகம் உள்ளது, இது பொது வழிமுறைகளை எழுத அனுமதிக்கிறது.
$pip install gym இதனை மேலேகாணூம் கட்டளை வரிமூலம் நிறுவுகைசெய்து கொள்க.
பின்வரும் எடுத்துகாட்டில் 1,000 சூழல்களுக்கு சுற்றுச்சூழல் CartPole-v0 இன் ஒரு உதாரணமாக செயல்படுகின்றது, இதில் ஒவ்வொரு படிமுறையிலும் சுற்றுச்சூழலின் விவரங்களை வழங்குகின்றது இதனை நன்கு ஐயம் திரிபற அறிந்து பயன்படுத்தி கொள்வதற்கு github.com/openai/gym எனும் இணையதளபக்கத்திற்கு செல்க
மேலும் விரும்பினால் gym.openai.com/எனும் இணைய முகவரிக்கு சென்று
மேலும் சூழல்களை சேர்த்திடலாம்.
— ச.குப்பன்