Description

ش وژه ( ز اول)
Forward Feed ده زی و ا زش ی
: داد ۱۴۰۰
ا ن: ارش – ادادی – ر ه
ر ۱۴۰۰
:
Feed Forward
در ز اول وژه ده زی یFeed Forward ی و داز .

در یFeed Forward در درس ان ا ، ا ا ه و رت داران ورودی داده د. درا ا دار (دل ) و ای ان ب د.
ار ا ا س ا و و ت از ا ، وزن ا ت را ری
، و ان دا ، س ورودی را در .
:
در ا ، در اول ده زی یFeed Forward از و ا ده ازNumPy داز . ا ا ،Notebook از ده زی در ا ر ار زم ا
از ان ا ده . در دوم، ی اول، ی را روی داده ی داده ه ا زشا داد و از را را در ا د ی ر ا د.
داده :
در ا دادهKMnist (ه هKuzushiji-MNIST ) و ی در س 28 در 28رتgrayscale و 70,000 از 10 را ، ف در ا
(Hiragana) ت ا ده از ان ( ا )، ر ا د. داده دردرس ار داده ه ا .

kmnist_dataset ├── test_data.csv
├── test_labels.csv
├── train_data.csv
└── train_labels.csv
دوtrain وtest ه اد 60,000 ان ای ا زش و 10,000 ای ار ا .از ی داده ،رت دار از ا از هی 784 (28 در 28) ا. ی داده . ا از ا اد 0 9 داده د از
.
ز اول: ر و دازش داده
او را در دادهtrain را ر (ازmatplotlib ا ده )، د در
وده ای ار د؟
ار داده راscale از ا ت دادن ، ارpixel 0 1 . دررت ا م ادن ا ر ا رخ د ؟
در دادهtrain ، از س، د اه ا ب ده و د . ای ، ع ان رااه د .
اد و د را ای دادهtrain وtest و ای ان دار ای ر .
ز‌ دوم: ی
Notebook ی رد ز ای ده زیFeed Forward ا د ه و در ا
ی ا ، ً سFeedForwardNN ا دا ان ا یFeed Forward ری ی ده و ا زش د . را ی رد از
روشStochastic Gradient Discent در ا ا زش روز ر ا . ی ف ه اززم ا ا را ،TODO # ها .
س‌ اهmethod ی ا و ت راNoteBook درpdf ر ان ارا .
ز م: ی داده
را ی سFeed Forward در ا ده زی و ا زش ی ل از هی ا ده از، NoteBook ازTraining Sample داز . در FeedForwardNN
سFeedForwardNN ده زی ی اوردی ه ا . ی ا و ان را ط ی ز ا زش د :
– . 0.01 learning rate ا
– . 10 epoch ا
. 32 batch_size ا ازه-
– زrelu در م ا ده د. ( اIdentical ا )
– از وزن د اوunifrom وnormal ا ده .
– ی ا ی ن دا .
در م ی ا ه، د را رت ض ط ی ه اور و را ی
ا ه در را د .
– اول) ا زش
ی ط ی ه را ا و ا زش د .( ا از ای درTraining
Sample ار ا ده .)
– دوم) وزن د
ار او وزن در ا زش ا دارد.
ا ار او م وزن ی ا ار د و را ا زش داد ، ان د؟ و را( در ان وز رت ار د ارد او )، . زی ده زی ،د .
– learning rate (
از را ی در ا زش دادن ی ،learning rate .
ل و ا ا ا را ، را ا زش د و از ار ای د، را ارش .
ر ر را ایlearning rate ار و د ا ه .
ای م ی ، ازlearning rate ای د اورده ا ا ده .
batch size ( رم-
د را ازایbatch size ار 16 و 64 و 128 و را د .
ا ده ازbatch در ا ا زش ؟ ا و اbatch size ر و ر رگ را حد .
batch را ا ا د ؟ ای ا ر درlearning rate اbatch size ا ا
size را 128 ا اlearning rate را ر ا ا و ر د و را .ای م ی ، ازbatch size ای د اورده ا ا ده .
activation function ( –
د ی ا ه در اول راActivation Function ی ز و را
.
Activation Function: Sigmoid – Hyperbolic tangent (Tanh) – Leaky ReLU
د اtanh وsigmoid د ای ا د ار را ن .
؟Relu Leaky Relu ی
: در ادا ا ، ازactivation function را، در ی ا ده .
epoch ( –
ادepoch ی ان ا ازه ا زش داده د در ا .
د ا ز ا ی ایepoch ا زش داده را د ؟ ل ادepoch را ا زش د را 15epoch د و را و .
ا اره ا ا ادepoch ی ای ا ؟
در رت ا روش اره ، راه ای ی از ا ق روی د دار ؟ای م ی ، ازepoch ای د اورده ا ا ده .
momentum ( –
راmomentum درoptimizer د از را ا روی د ارد.د ا را را ا ر د. ا و ا را را ح د .
راmomentum را در ده زی . ار را را 0.5، 0.9 و 0.99 ار د . را ارشد .
ا ا اmomentum و ا ا د و ا زش د؟
ت :
• د ف وژه ا ا از ا ار ی داده ر ل دار ا ده و
ت ط از وژه را ر و در ل در ارش د ذ .
• و ارش د را در ده انAI_CA5_<#SID>.zip د . تjupyter-notebook، وhtml و ی رد ز ای ا ای ان . و و یا ه از ه ا را د . از در و ی رد ز درhtml
.
• در ر ا در رد وژه دا ا در وم درس ح از ان ا ده ؛ در ارت ا ا ن در ار ط .
• ف از ، د ی . را د ن ا م د .