Artificial Neural Network : Theory

and Its application in control

Chusnul Arif
Dept. Civil and Environmental Eng.

December 2, 2010
CONTENT
• Introduction
• Theory
• Application
• Task and Discussion
INTRODUCTION
• Can you develop mathematical
model to integrate all parameters?
INTRODUCTION
• Or this

konveksi radiasi
matahari

konveksi Greenhouse
cover
udara
dalam ventilasi
radiasi gel. panjang

Permukaan lantai
tanah konduksi
INTRODUCTION
• Alternative solution: Artificial
Neural Network (ANN) model
• ANN : a mathematical model or
computational model that is inspired
by the structure and/or functional
aspects of biological neural
networks.
• Introduced by Waren McCulloch and
Walter Pits in 1943
INTRODUCTION
• Biological neural and artificial neural

ANN BNN
Node Cell body
Input Dendrites
Output Axon
Weight Synapses
INTRODUCTION
• Advantages of ANN:
– A neural network can perform tasks that a
linear program can not.
– When an element of the neural network fails,
it can continue without any problem by their
parallel nature.
– A neural network learns and does not need to
be reprogrammed.
– It can be implemented in any application.
– It can be implemented without any problem.
INTRODUCTION
• Disadvantages of ANN:
– The neural network needs training to
operate.
– The architecture of a neural network is
different from the architecture of
microprocessors therefore needs to be
emulated.
– Requires high processing time for large
neural networks.
 INTRODUCTION
• How does ANN work in control
tech?
d4
d1

r + e u + + y
C(s) P(s)
-

controller d2 process
d3

ANN integrated all “d” and u parameter to estimate y parameter

ANN function
y = f (u,d1,d2,d3,..dn)
Theory
• Concept of ANN:
Theory
• Concept of ANN:
– Menerima input atau masukan
– Setiap input datang melalui suatu
koneksi/hubungan yang mempunyai
sebuah bobot (weight)
– Input dan output dihubungkan oleh
lapisan tersembunyi
– Signal aktivasi kemudian menjadi
fungsi aktivasi/fungsi transfer untuk
menghasilkan output dari sel syaraf.
Theory
• Architecture/Connection rule
– Feedforward : signal bergerak dari
input kemudian melewati lapisan
tersembunyi dan akhirnya mencapai
unit output (mempunyai struktur
perilaku yang stabil)
– Feedback/recurrent: jaringan berulang
(mempunyai koneksi kembali dari
output ke input)
Theory
• Feedforward:
– Single-layer perceptron
– Multilayer perceptron
– Radial-basis function networks
– Higher-order networks
– Polynomial learning networks
Theory
• Single layer perceptron
– ANN paling sederhana dengan lapisan
input dan sebuah unit output
– Ditemukan oleh Frank Rosenblatt tahun
1950-an untuk pemodelan sederhana
retina mata manusia
– digunakan untuk mengklasifikasikan
suatu tipe pola tertentu/pemisahan
secara linear
 Theory
• Bentuk Jaringan Perceptron NN
X0=1 X0,X1,X2 : Input
w0
W0,W1,W2 : Pembobot
X1 S Yp
w1 S : aktivator unit input
w2 Yp : output
X2
S = Σi wi xi
OUTPUT
INPUT 1 if S>0
Yp =
0 if <= 0
 Theory
• Algoritma Perceptron NN
– Langkah 1 :
• Baca Input X0,X1,X2
• Inisiasi pembobot
W0 : 0.5, W1: 0.5, W2:0.5
• Langkah 2 :
• Hitung S = Σi wi xi
• Langkah 3 :
1 if S>0
Yp =
0 if <= 0
 Theory
• Algoritma Perceptron NN
– Langkah 4 :
• Perbaikan pembobot
– Bila Yp = Yt maka W tetap
– Bila Yp <> Yt maka W berubah menjadi:
Wbaru = Wlama + α (Yt-Yp)*X
Dimana α adalah konstanta pembelajaran, Yt
nilai target, Yp nilai prediksi
Kembali ke langkah 2 sampai Yp = Yt
 Theory

• Algoritma Perceptron NN
– Kasus X1 or X2 X0 X1 X2 Yt
1 0 0 0
1 0 1 1
1 1 0 1
1 1 1 1
1 0 0 0
1 0 1 1
1 1 0 1
1 1 1 1
1 0 0 0
Theory
• Hasil Perceptron NN
Theory
• Feedback/recurrent
– Backpropagation NN
– Competitive networks
– Self-organizing maps
– Hopfield networks
– Adaptive-resonanse theory models
 Theory
• Backpropagation NN
h0=1

wij Normalize the

h1 vjk5
training data
x0=1
h2
into range [0,1]
y1
x1
h3
yK
x2 h4
Output layer
Input layer

xI hJ
Hidden layer

Real numbers Real numbers

 Theory
• Algoritma Backpropagation NN
– Langkah 1 :Inisialisasi Pembobot (Weight)
– Langkah 2 : Feedforward
• Tiap – tiap unit input menerima sinyal Xi dan
meneruskan ke hidden layer
• Tiap – tiap hidden layer (Hi) menjumlahkan sinyal
– sinyal input terbobot sesuai dengan persamaan:

h _ in j = ∑ X iWi j
i
 Theory
• Algoritma Backpropagation NN
– Langkah 2 :Feedforward
• nilai Hi dihitung dengan menggunakan fungsi
sigmoid sebagai fungsi aktivasi
1
Hi = f (h _ in j ) = − h_ in j
1+ e
Theory
• Algoritma Backpropagation NN
– Langkah 2 :Feedforward
• Unit output (Y) menjumlahkan sinyal –
sinyal input terbobot :
y _ in = ∑ H jV jk
j

• nilai Y juga dihitung dengan menggunakan

fungsi sigmoid sebagai berikut:
1
Y = f ( y _ in) =
1 + e − y _ in
 Theory
• Algoritma Backpropagation NN
– Langkah 3 : Backpropagation
• mengitung error antara output hasil prediksi (Y)
dengan target (Ot) sebagai berikut:
1
Error = (Ot − Y ) 2
2
• Perbaikan pembobot (Vjk) antara hidden layer
dengan output layer dihitung dengan persamaan:

∆V j k = ηδ k H i
 Theory
• Algoritma Backpropagation NN
– Langkah 3 : Backpropagation
• Dimana η adalah konstanta pembelajaran
dan δk dihitung dengan persamaan
δ k = (Ot − Y )Y (1 − Y )
• Perbaikan pembobot (Wij) antara hidden
layer dengan input layer dihitung dengan
persamaan:
∆W ij = ηδ j Xi
• δj dihitung dengan persamaan:

δ j = H j (1 − H j )∑V jδ k
 Theory

• Algoritma Backpropagation NN
– Langkah 3 : Backpropagation
• Pembobot baru dihitung dengan persamaan

w j (baru ) = w j (lama ) + ∆w j

Vij (baru ) = Vij (lama ) + ∆Vij

Langkah 4 : Pengulangan ke Langkah ke-2

Application
• Fertigation Scheduling in Hydroponics System
for Cucumber (Cucumis sativus L.) Using
Artificial Neural Network and Genetic
Algorithms (Bul. Agron. (36) (1) 92 - 99 (2008)
Application
Application
• ANN Model
Application
• Results
Application
• Optimization of EC Values of Nutrient Solution
for Tomato Fruits Quality in Hydroponics System
Using Artificial Neural Network and Genetic
Algorithms (ITB J. Sci Vol. 41 A, No. 1, 2009,
38-49
Application
• ANN model:
Application
• Results
Task and Discussion
• Group discussion
– Tentukan satu topik aplikasi ANN
dibidang Teknik Sipil dan Lingkungan
– Topik bisa dari ide kelompok
– Jelaskan apa yang menjadi parameter
input dan output