Description

د دا ه ی دا ه ان
دا ه ق و

ش
وژه رم – د ی
: ۱۹ اذر
ا ن: ا ری – ا ری – د ر ی

ف وژه:
ـ ف ا ـ وژه اـ ـ روـ ي دي ـ ـ ـ ـ SciKit-Learn ا ـ . ا ـ وژه ر در ـ ز ـ ـ ه ا ـ . در ـ ز ـ ، ـ ـر ــ داده ـ و و داده ی ا ـداز . در ز اول و دازش را ا دا . در ـ ز دوم، ـ ا ـ ده از ـ زن ـ ـ ه در ـ ـ SciKit-Learn ـ ـ را ده ـ زي و ـ زي ـا د. ـ در ـ ز م، ـ ا ده از ي ز دوم، ده زي روش د ي و و داز .
● در ل ا [Number]ا ی ره ی ط ان ع .
در ا ا ه ا .
● در ا وژه ز ا ا ت د را در ی ر . ا ا ی ا ل در ی ان و ر ا ن .
● در ا وژه از ا ر، ن ا و روش و ر ا ا ده از ا ار در از ا وژه از ا ری ردار ا و 80 در ه وژه ا د. ا در ا وژه ودی از ه را د و ه ه ت در ارا و ی از و ارا دار ی در ارش ر ا ص دارد.

داده :
ــ داد ي در ا ر ـ ـار دارد House Prices ا داده راری ه در Kaggle ا . ا داده ـ ـ و ـ ي ی ن، ، ت، اد ا ق ، ع ن، ل و … ـ ـ و داده ـ ف ، ا .
ا داده ۴ ا داده ا .
train.csv:
دارای ۸۳ ن ا از ان وش ا و و ی د ی و ه ا . ا داده ای ا دی ا ده .
test.csv:دارای ۸۲ ن ا و train.csv ا ا وت ن وش در ان و د ارد.
data_description.txt:ت ن م ن ،م ان و د ان ا . ای ا داده ا را .
sample_submission.csv: . ا Kaggle و ای در ی ط داده در

Visualization and EDA :
در ا ز داده ـ ی م ورودي را ر ا د. در ا ر،EDA رو دی ای و داده ای ی ت ا
ا ا ا روش ی Visualization ا م د. از ل ی اری ا ده د د در در اول EDA ای د ن ا داده ا ا از و زی ، ا م د.

در را اور در ار ن ذ

. ر Pandas از info و describe ر داده را ی.1
2. در داده ی از د ر ی و را اور .
3. دار وا و را ر ( ا از ای ا ر ا از Heatmap ا ده .) ن ام و در ا ؟ ا ر و را م .
4. از ر و دوره دار وا و را ر . ا وت و د دارد؟ ا؟
5. ا ال ۳ ای ر م و ا ؟ ا ادی و د دارد؟
6. ار ط و در ال م د را د ر . ا از دار ی Hexbin و Scatter ا ده.
7. data_description.txt ا ا و و د ای ن در را ا ب دار ی ان را د .
8. ا ر د ی ا روی داده دا د ی و دا و در ز ی ی.

Preprocessing اول
دازش داده [1] در ا داده وی ا . روش ی اوری ا ت ا را ل ، و در درج از وده ( ان ل، اد ز ان: 100) ، داده ی ” ” ( ان ل، : د ، ردار: )، د از د رو ه ا در داده و د دا و ا اه ه ای ا د . ا ، از ری ا داده را ا ح . ً، دازش داده وژه د ی ا، ا روی ا ع.

ای ام از ارد ز ا روش ی و د دا ، وت روش را در ارش داده و د ا ده از رو ا ب د را ذ.

1. دو روش ای ف دن داده ی ه، ۱- ف ن و ۲- دن د ه ار ه ( ) . د روش ی د ای ل دن داده ی ه را در رت و د ا د و ا روش را.
2. ال دوم ز ، ام و ان دادهی ه را دار؟ ا و ی در ی داده ی ه را از داده ف د؟ روش ی داده ی ه را ل.
3. در و ی دی Standardizing Normalizing داده ی دی ر ا م د؟ ا ز ا داده د را در ا وژه ه ؟
4. ای ا ل ا داده ی د ای ر روش و د دارد؟ ا ی داده ی د ای را روش ل
؟[ 2]
5. ب ا ا ا ی ن را دار؟ ام ن را ا ف ؟ ا؟(در ا ال م از ز ا).
6. ز ا داده را دو د ی train و test . روش ا ا P در اول داده را ای دی و را ای ارز ا ص د . روی ار P . ا روش ی د ی و د دارد؟ م . ا ز ا داده رت د ؟ ا؟

Model Training, Evaluation and Hyperparameter Tuning دوم
SciKit-Learn ـ ـLinear Regression و Decision Tree و K-Nearest-Neighbours در ا ـ ز از ـ وژه، ـ ل ـ ـ
ده ـ زی . زی ر ی ل داز . اد ـ ـ ـاي ا ر KNN و اي ا ر
. Decision Tree

1. د ـ ـ ل را ـ ا ـ س ر ی MAE و RMSE روی داده ـ ی test و train ا ازه ی.
2. در ل ی ز دن را ا دار ات ر ی را ازای د را ر .(در ر
اد را ود ای ر ا از ا ار Grid Search در ـ SciKit-Learn ا ده).
ا ق ا ده ا ؟ overfitting underfitting و ر ا در ل ی overfitting و underfitting در رد.3
4. دازش روی داده ا م داد را ر ر .( رو شی ل دن د ه را روی ر ی).

Ensemble Methods م
دی و ا از از ادی ـ ل، را ا م د . در ا ـ ز ـ ده زي و روشدی و داز .
1.Random Forest رو ا ادی Decision Tree و ی و د ی را در ر ار داده و ام ا دی را ا م د و در ن ان رای ی د. ـ ـ SciKit-learn ا ل را ده زی . ـ ا دوـ از hyperparameter ـ را ـ ل ر ده و ر ي د را.
2. د از رو ـ ي دی و Voting Regression ا ـ . در ا روش، ، از و ی ل ا. ـ ا ـ ـ ـ ده از ـ ـ ل ـ ـ ـ ـ ه در ـ ز اول، ل ا ده زي و ر ي د را ا ازه ی.
3. در رد Voting Regression ی ان را روش ی دی دی ر .(ای ل ا وت اب ی ام از ل ز را اب ی د ل ر .)

:
[1] :Data Preprocessing
Towardsdatascience.com: Data Preprocessing Concepts
[2] :Encoding Categorical Data
Towardsdatascience.com: Categorical Encoding Techniques
[3] :Hyperparameter Tuning
Towardsdatascience.com: Hyperparameter Tuning
Towardsdatascience.com: Hyperparameters Optimization

[4] :Overfitting
Towardsdatascience.com: What Are Overfitting and Underfitting in Machine Learning
Towardsdatascience.com: Overfitting vs Underfitting a Complete Example

ت :
– ـ ار ـب ـای MSE و RMSE ا ـ ـ $20000 و $30000 ا ـ . ــ دا ا د ، ـ ــ از در وژه ده زی د ا ـ و ـ ـ ل ـ د دا.
– ت ای روش ی رد ا ده و د ن د ان، ک ی د در را ا داده را و در ا ی Kaggle و د اه ای test.csv را در ا د .( دا ا داده، رت روی وب ار دارد و ادی ا اد ءا ده از ا ع ا ام در و ا ز ی و ان ی د ، د را ا ادی . ی 0.20 و از ان در ا ر ا ).
– در ـ ـ ـ ي ـ وژه، ا ـ ده از ـ ـ SciKit-Learn ـ ز ا ـ . د ـ ـ ف ـ وژه ـ ـ ا ـ ـ ـا از ا ـارـ ي ـ داده ـر ـ ل ـدارـ ا ـ ده و ـت ــط ـ ـ ـ از وژه را ر و در ل در ارش د ذ.
– از Jupyter Notebook ا ده و ـ و ـارش ـد را در ـ ـده ـ ـان
اه و Notebook ـ د . ـت ــ ـ ـ ـ ـ ده ـ زي ـ در AI_CA4_<#SID>.zip . ان ارا د html
– در ـر ـا در ـرد ـ وژه دا ـ ـ ا ـ در ـ وم درس وه ام ـح ـ از ان ا ـ ده ؛ در ا رت ا ا ن در ار ط.
– ف از ، د ي ، رت ا ادی ارد ا را د ن ا م د .