மரபுணு தருக்கபடிமுறைகள்
மரபணு தருக்கபடிமுறைகளானவை(Genetic algorithms (GAs)) ஒரு இயந்திர கற்றல் வழிப்பாதையின் (pipeline) பல்வேறு நிலைகளை மேம்படுத்துகின்றன, தரவை உருவாக்குவதிலும், மாதிரியுடனான ஒத்திசைவிலும் அதிககவனம் செலுத்துகிறது. மரபணு தருக்கபடிமுறைகளைப் (GAs) பயன்படுத்துவதன் மூலம், விடுபட்ட தரவைக் கையாளுதல், இயல்பானப் பொறியியல் , மிகைத்திறன் அளவுகோலின் (hyperparameter) உகப்பாக்கம் உள்ளிட்ட அதிக உழைப்பு தேவையுள்ள படிமுறைகளை தானியக்கமாக்க முடியும். இந்த படிப்படியான வழிகாட்டியானது, தரவிலிருந்து பிரித்தெடுக்கப்பட்ட மதிப்பை அதிகரிக்க, மிகவும் வலுவான, திறமையான இருமுடிவுகளுக்கிடையிலான(End to End) இயந்திரக் கற்றல் மாதிரிகளை உருவாக்குவதற்கான விவரங்களை வழங்குகிறது.
தற்போதைய பேரளவுதரவின் யுகத்தில் வாழ்கின்ற, நாம் சேகரிக்கின்ற , பகுப்பாய்வு செய்யக்கூடிய தகவல்களின் அளவு முன்னோடிஎதுவுமில்லாதது. கற்றலிற்கும் வளர்ச்சிக்கும் இது நம்பமுடியாத அளவு வாய்ப்புகளை வழங்குகின்ற அதே வேளையில், இந்த பரந்த அளவிலான பேரளவுதரவுகளை நாம் எவ்வாறு அதிகம் பயன்படுத்திகொள்வது? தரவுகளை சேகரிப்பது மட்டுமல்லாது; ,அதை நாம் எவ்வளவு திறமையாக செயலாக்கி பகுப்பாய்வு செய்முடியும் எனும் கூடுதலாக ஒரு சவாலையும் நமக்குஅளிக்கிறது . இந்நிலையில்தான் மரபணு தருக்கபடிமுறைகள் (GAs) நம்முடைய செயல்பாட்டுக்கு கைகொடுக்க வருகின்றன.
மரபியல் வழிமுறைகள் என்பவை இயற்கைத் தேர்வின் கொள்கைகளை அடிப்படையாகக் கொண்ட உகப்பாக்க பட்டறிவுசார்ந்ததாகும்(heuristics). அவை மிகவும் அதிக சிக்கலான செயல்களுக்கு மிகநல்ல தீர்வுகளைக் கண்டறிவதற்கான வழியை வழங்குகின்றன, மேலும் இயந்திரக் கற்றலின் சூழலில், சிறந்த செயல்திறனிற்காகவும் மிகத்திறனுடன் தரவுகளை பயன்படுத்தி கொள்வதற்காகவும் சிறந்த ஒத்திசைவிற்கான இயந்திரகற்றலின் போட்டியில் நமக்கு உதவுகின்றன.
மேலும், தரவை நமக்காக கடினமாக உழைத்திடுமாறு செய்திட மரபணு வழிமுறைகளை எவ்வாறு பயன்படுத்தலாம் என்பதை இப்போது நாம் ஆராய்ந்திடுவோம். தரவினை உருவாக்குதல்முதல் மாதிரித் தேர்வு வரை, இயந்திரக் கற்றல் வழிப்பாதையின் ஒவ்வொரு படிநிலையையும் GAsஐ எவ்வாறு மேம்படுத்தலாம் என்பதையும் இப்போது நாம் கண்டறிந்திடுவோம்.
இயந்திர கற்றலில் தரவு மைய அணுகுமுறை
கடல்போன்ற மீப்பெருமளவிலான தரவு உள்ள காலங்களில் நாம் வாழ்ந்து வருகிறோம். அதனால் இயந்திர கற்றலில் தரவு மைய அணுகுமுறையை நாம் கடைபிடிக்க வேண்டியுள்ளது. இந்நிலையில் தருக்கப்படிமுறைகளும், மாதிரி களும் பெரும்பாலும் கவனத்தை ஈர்க்கும் அதே வேளையில், இந்த மாதிரிகளில் கொடுக்கப்படும் தரவின் தரம் , செயல்திறன் மிகவும் முக்கிய மானவை களாகும்-ஏனெனில் தருக்கப்படிமுறைகளை மட்டுமே மேம்படுத்தி தரவினை மேம்படுத்தப் படாவிட்டால்நாம் விரும்பிய முடிவுகளைத் தராது. இது ஒரு சுவையான உணவை தயார் செய்ய முயற்சிப்பதற்கு ஒப்பானது; சிறந்த சமையல்காரர்களால் கூட தேவையான பொருட்களுடன் சமையலில் தலைசிறந்த உணவை கண்டிப்பாக உருவாக்க முடியாது என்பதுதான் உண்மையான களநிலவரமாகும்.
எனவே, தரவு ‘திறனுள்ளதாக’ இருப்பதன் பொருள்தான் என்ன? இந்த சூழலில் செயல்திறன் என்பது கொடுக்கப்பட்ட தரவுகளின் தொகுப்பிலிருந்து பிரித்தெடுக்கக்கூடிய பயனுள்ள தகவலை அதிகப்படுத்துவதைக் குறிக்கிறது. இது தேவையற்ற வசதிகளை நீக்குவது, குறிப்பிட்ட தரவுத் தொகுப்பிற்கு ஏற்றவாறு மிகைத்திறன் அளவுகோல்களை நன்றாகச் சரிசெய்வது அல்லது நம்மிடம் உள்ள தரவுகளுக்கு மிகவும் பொருத்தமான ஒரு இயந்திர கற்றல் மாதிரியைத் தேர்ந்தெடுப்பது ஆகியவை அடங்கும்.
இங்கே மரபணு வழிமுறைகள் மதிப்பைச் சேர்க்கலாம். வசதித் தேர்வு, மிகைத்திறன் அளவுகோல் ஒத்திசைவின், மாதிரித் தேர்வின் செயல்முறையை தானியக்கமாக்க நமக்கு உதவுவதன் மூலம், நம்முடைய தரவை மிகவும் பயனுள்ளதாக மாற்றுவதில் GAsஆனவை மிகமுக்கியப் பங்காற்ற முடியும்.
மரபணு தருக்கப்படிமுறைகளைஎவ்வாறு புரிந்துகொள்வது
தரவுத் தேர்வுமுறையில் மரபணு வழிமுறைகளின் பயன்பாட்டை ஆராய்வதற்கு முன், அவை என்ன, அவை எவ்வாறு செயல்படுகின்றன என்பதைப் பற்றிய அடிப்படைப் புரிதல் அவசியமாகும். உயிரியல் பரிணாம வளர்ச்சியின் இயற்கையான செயல்முறைகளில் இருந்து தோற்றுவிக்கப்பட்ட, மரபணு வழிமுறைகளின் தேர்வு, குறுக்குவழியானசெயல் (அல்லது மறுசீரமைப்பு) , மரபணுபிறழ்வு ஆகிய கொள்கைகளின் அடிப்படையில் செயல்படுகின்றன.
தேர்வு: இதுஅடுத்த தலைமுறைக்கு பெற்றோராகச் செயல்பட, பொதுமக்களி லிருந்து தகுதியான நபர்களைத் தேர்ந்தெடுக்கும் செயல்முறை ஆகும். இயந்திரக் கற்றலில், கொடுக்கப்பட்ட தரவுத் தொகுப்பில் சிறந்த முடிவுகளைத் தருகின்ற மாதிரிகளைத் தேர்ந்தெடுப்பதை இது குறிக்கின்றது.
Select two parents based on their fitness scores
return sorted(zip(population, fitness), key=lambda x: x[1])[-2:]
குறுக்கு தேர்வு: பெற்றோர்கள் தேர்ந்தெடுக்கப்பட்டவுடன், அடுத்த கட்டமாக அவர்களின் குணநலன்களை ஒன்றிணைத்து சந்ததிகளை உருவாக்க வேண்டும். இயந்திர கற்றலின் பின்னணியில், இது நன்கு செயல்படுகின்ற இரண்டு மாதிரிகளின் மிகைத்திறனஅளவுகோல்களை கலந்திடுவதாகும்.
Perform crossover between two parents
crossover_point = len(parent1) // 2
child = parent1[:crossover_point] + parent2[crossover_point:]
return child
பிறழ்வு: இது சந்ததியினரில் சிறிய மாற்றங்களை அறிமுகப்படுத்துகிறது, சில நிலையின் சீரற்ற தன்மை பன்முகத்தன்மையை சேர்க்கிறது. இயந்திரக் கற்றலில், ஒரு பிறழ்வு என்பது மிகைத்திறன் அளவுகோல் மதிப்பாகஅல்லது வசதியின் அளவில் ஏற்படும் சிறிய மாற்றமாக இருக்கலாம்.
import random
define mutate(child):
Apply mutation to a child
mutation_point = random.randint(0, len(child) – 1)
child[mutation_point] = random.uniform(0, 1)
return child
மரபணு வழிமுறைகளின் சக்தியானது சிக்கலான செயலிகளை திறமையாக மேம்படுத்துகின்ற திறனில் உள்ளது, இது இயந்திர கற்றல் மாதிரிகளில் தரவு பயன்பாட்டை மேம்படுத்துவதற்கான மதிப்புமிக்க கருவியாக மாற்றுகிறது.
தரவினை உருவாக்குதல்
இயந்திரகற்றல் மாதிரியில் தரவை வழங்குவதற்கு முன், அது நன்கு உருவாக்கப்பட்டதாகவும், சுத்தமாகவும் இருப்பதை உறுதி செய்வது முக்கியம். தரவினை உருவாக்குவதில் விடுபட்ட மதிப்புகளைக் கையாளுதல், இயல்பாக்குதல் , இயல்புநிலையிலானப் பொறியியல் போன்ற பல படிமுறைகள் அடங்கும். இந்த படிமுறைகள் தரவின் தரத்தை மேம்படுத்துவதன் மூலம் மாதிரியின் செயல்திறனை மேம்படுத்துவதை நோக்கமாகக் கொண்டுள்ளன.
இந்தத் தரவுத் தயாரிப்பு சவால்களைச் சமாளிக்க மரபணு வழிமுறைகள் தானியங்கியான வழியை வழங்க முடியும். கைமுறையாக வசதிகளைத் தேர்ந்தெடுப்பதற்குப் பதிலாக அல்லது பல்வேறு இயல்பாக்குதல் நுட்பங்களை முயற்சிப்பதற்குப் பதிலாக, மிகவும் திறமையான தரவினைஉருவாக்கிடுகின்ற உத்தியைக் கண்டறிய பலவிதமான வாய்ப்புகளை ஆராய GAs ஐ திட்டமிடலாம்.
Handling missing values
1
2
3
4
5
6
from sklearn.impute import SimpleImputer
import numpy as np
def handle_missing_values(data, strategy=’mean’):
imputer = SimpleImputer(strategy=strategy)
return imputer.fit_transform(data)
Feature engineering
def feature_engineering(data, selected_features):
return data[:, selected_features]
Normalisation
from sklearn.preprocessing import MinMaxScaler
define normalise(data):
scaler = MinMaxScaler()
return scaler.fit_transform(data)
இந்த ஆயத்தப் படிமுறைகளில் மரபணு வழிமுறைகளைப் பயன்படுத்துவதன் மூலம், மிகவும் பயனுள்ள இயந்திரக் கற்றல் விளைவுகளுக்கு தரவுத் தொகுப்பை மேம்படுத்திகொள்ளலாம்.
மாதிரி ஒத்திசைவிற்கு மரபணு தருக்கப்படிமுறைகளைப் பயன்படுத்துதல்
தரவு உருவா்ககப்பட்டவுடன், அடுத்த முக்கியமான படிமுறை மாதிரி தேர்வும் ஒத்திசைவும் ஆகும். இயந்திர கற்றலில் தேர்வு செய்ய ஏராளமான அளவிலான தருக்கப்படிமுறைகளை வழங்குகிறது, ஒவ்வொன்றும் அதன் சொந்த மிகைத்திறன் அளவுகோல்களுடன். சாத்தியமான சேர்க்கைகளின் எண்ணிக்கை அதிகமாக இருக்கலாம், ஆனால் மரபணு வழிமுறைகள் தேர்வுகளை மிகவும் பயனுள்ளவையாக குறைக்க உதவும்.
Model selection
1
2
3
4
5
6
7
8
from sklearn.ensemble import RandomForestClassifier
from sklearn.svm import SVC
def select_model(model_type):
if model_type == ‘RandomForest’:
return RandomForestClassifier()
elif model_type == ‘SVM’:
return SVC()
Hyperparameter tuning
def tune_hyperparameters(model, hyperparameters):
model.set_params(**hyperparameters)
return model
Fitness function
from sklearn.metrics import accuracy_score
def fitness_function(model, X_train, y_train, X_test, y_test):
model.fit(X_train, y_train)
predictions = model.predict(X_test)
return accuracy_score(y_test, predictions)
மாதிரி, மிகைத்திறன் அளவுகோல் ஆகியவற்றை திறம்பட ஆராய்வதன் மூலம் மரபணு வழிமுறைகள் தேர்வு,ஒத்திசைவு ஆகிய செயல்முறையை தானியங்குபடுத்தும். பொருத்திசரிபார்த்திடும் செயலியைப் பயன்படுத்தி ஒவ்வொரு மாதிரி தீர்வின் (மாதிரி, மிகைத்திறன் அளவுகோல்களின் கலவை) செயல்திறனை GA மதிப்பீடு செய்யும் -இந்த செயலில், மாதிரியின் துல்லியம்என்பது மதிப்பெண் ஆகும்.
The end-to-end pipeline
இந்தத் தனித்தனித் துண்டுகள் அனைத்தையும் ஒரு ஒத்திசைவான முழுமைக்குக் கொண்டுவருவதே இறுதிக் குறிக்கோளாகும் – இது மூலத் தரவை எடுத்து, உகந்த இயந்திரக் கற்றல் மாதிரியை வெளியிடும் இறுதிமுடிவுகளுக்கிடையிலான (end-to-end) ஒரு வழிப்பாதை யாகும். இந்த பாதையில், தரவுத் தயாரிப்பு முதல் மாதிரி ஒத்திசைவு வரை பல படிமுறைகளை தானியக்கமாக்குவதில் மரபணு வழிமுறைகள் முக்கிய பங்கு வகிக்கின்றன.
End-to-end pipeline
from sklearn.model_selection import train_test_split
def end_to_end_pipeline(raw_data, target, model_type=’RandomForest’):
Step 1: Data preparation
clean_data = handle_missing_values(raw_data)
normalized_data = normalise(clean_data)
Step 2: Feature selection
X_train, X_test, y_train, y_test = train_test_split(normalized_data, target, test_size=0.2)
selected_features = [i for i in range(len(X_train[0]))] # Placeholder, would be determined by GA
Step 3: Model selection and tuning
model = select_model(model_type)
hyperparameters = {} # Placeholder, would be determined by GA
tuned_model = tune_hyperparameters(model, hyperparameters)
Step 4: Evaluate fitness
fitness = fitness_function(tuned_model, X_train[:, selected_features], y_train, X_test[:, selected_features], y_test)
return fitness
Example usage
raw_data = np.random.rand(100, 10) # 100 samples, 10 features
target = np.random.randint(0, 2, 100) # Binary target variable
fitness = end_to_end_pipeline(raw_data, target)
இது ஒரு எளிமையான எடுத்துக்காட்டாகும், ஆனால் ஒவ்வொரு முக்கிய கட்டத்திலும் மரபணு வழிமுறைகளைப் பயன்படுத்தும் ஒரு இறுதிமுடிவு களுக்கிடையிலான(end-to-end) வழிப்பாதையை உருவாக்குவதற்கான வரைபடத்தை இது வழங்குகிறது. இயந்திர கற்றல் செயல்முறையின் ஒவ்வொரு கட்டத்திலும் தரவிலிருந்து அதிக மதிப்பைப் பிரித்தெடுப்பதை இது உறுதி செய்கிறது.
தரவுத் தயாரிப்பின் கடினமான செயல்முறையை தானியக்கமாக்குவது முதல் இயந்திர கற்றல் மாதிரிகளை நன்றாகச் சரிசெய்வது வரை, முழு தரவுக் வழிப்பாதையையும் மேம்படுத்துவதற்குத் திறமையான, தானியங்கு அணுகுமுறையை மரபணு வழிமுறைகள் வழங்குகின்றன. இந்த வழிமுறைகளைப் பயன்படுத்துவதன் மூலம், நாம் மாதிரியின் மேம்பாட்டு செயல்முறையை எளிதாக்குவது மட்டுமல்லாமல், நம்முடைய தரவிலிருந்து மிக உயர்ந்த தரமான நுண்ணறிவுகளைப் பெறுவதையும் உறுதிசெய்து கொள்ளப்படு கின்றது. பெரிய அளவிலான தரவுத் தொகுப்புகள், பல பரிமாண வசதிகள் அல்லது பல்வேறு இயந்திர கற்றல் மாதிரிகள் ஆகியவற்றைக் கையாளுவது, மரபணு வழிமுறைகள் பரந்த அளவிலான தரவு சவால்களைக் கையாளும் பல்துறைத் திறனை நமக்கு வழங்குகின்றன. இதன் விளைவாக, வலுவான , பயனுள்ள தீர்வுகளை வடிவமைப்பதற்கான எந்தவொரு தரவு அறிவியலாரின் கருவித்தொகுப்பிலும் அவை தவிர்க்க முடியாத சொத்தாக மாறக்கூடும்