<span dir="rtl">נושאים מתקדמים בניורו-חישוביים הרצאת מבוא</span>

runmidgeΤεχνίτη Νοημοσύνη και Ρομποτική

20 Οκτ 2013 (πριν από 3 χρόνια και 9 μήνες)

88 εμφανίσεις

סרוקה החנמ

ד
"
ר
ירל

ץיבנמ
'

1

םיאשונ


ןוריונ הז המ
?


3

ןוריונה לדומ לש תורוד


יגולויב ןוריונ


ןוריונל היצלומיס


IPSP
/
EPSP


LSM


םירמאמ תריקס

2

Man versus Machine


(hardware)

3

Numbers

Human brain

Von Neumann

computer

# elements

10
10
-

10
12

neurons

10
7
-

10
8

transistors

# connections / element

10
4
-

10
3

10

switching frequency

10
3

Hz

10
9

Hz

energy / operation

10
-
16

Joule

10
-
6

Joule

power consumption

10 Watt

100
-

500 Watt

reliability of elements

low

reasonable

reliability of system

high

reasonable

Man versus Machine

(information processing)

4

Features

Human Brain

Von Neumann computer

Data representation

analog

digital

Memory localization

distributed

localized

Control

distributed

localized

Processing

parallel

sequential

Skill acquisition

learning

programming

No memory management,

No hardware/software/data distinction

Biologically Inspired


Electro
-
chemical signals


Threshold output firing

5

The
Perceptron


Binary classifier functions


Threshold activation function

6

Y
j

: output from unit j

W
ij

: weight on connection from j to i

X
i

: weighted sum of input to unit i

x
i

= ∑
j

w
ij

y
j

y
i

= f(x
i



q
i
)

Threshold

Type
1
. Perceptron


feedforward




Structure
: 1 input layer

1 output layer



Supervised learning


Hebb

learning rule



Able

: AND or
OR
.


Unable
: XOR





x
0

f

i
1

w
01

y
0

i
2

b=1

w
02

w
0b

Learning in a Simple Neuron

Perceptron

Learning Algorithm:

1
. Initialize weights

2
. Present a pattern and target output

3
. Compute output :

4
. Update weights :

Repeat starting at
2
until acceptable
level of error

Computing other functions: the OR
function


Assume a binary threshold activation function.


What should you set
w
01
,
w
02

and
w
0
b

to be so that you
can get the right answers for
y
0
?

9

i
1

i
2

y
0

0

0

0

0

1

1

1

0

1

1

1

1

x
0

f

i
1

w
01

y
0

i
2

b=
1

w
02

w
0
b

Many answers would work

y =
f
(w
01
i
1

+ w
02
i
2

+ w
0
b
b)


recall the threshold function



the separation happens when

w
01
i
1

+ w
02
i
2

+ w
0
b
b =
0


move things around and you get


i
2

=
-

(w
01
/
w
02
)i
1

-

(w
0
b
b/w
02
)

10

i
2

i
1

The XOR Function

11

X1/X2

X2 = 0

X2 = 1

X1= 0

0

1

X1 = 1

1

0

i
2

i
1

12

Type
2
.
Multi
-
Layer
-
Perceptron


feed forward



1 input layer,

1 or more hidden layers
, 1
output layer



supervised learning


delta learning rule,
backpropagation

(mostly
used)



Able

: every logical
operation









The Perceptron

14

Type
3
.
Backpropagation Net


feedforward




1 input layer,

1 or more hidden layers,
1 output layer



supervised


backpropagation


sigmoid



Used

:complex logical
operations, pattern
classification, speech
analysis














The Back
-
propagation
Algorithm

On
-
Line algorithm:

1.
Initialize weights

2.
Present a pattern and target output

3.
Compute output :

4.
Update weights :

Repeat starting at 2 until acceptable level
of error

Pattern Separation and NN
architecture

17

םינוריונ תותשר לש תויצלומיס

רוד
I


McCulloch
-
Pitts threshold



תוינאילוב תואוושמ בשחל לגוסמ

רוד
II


feed
-
forward, recurrent neural networks and backward
propagation


תואוושמ בשחל תולגוסמ
תילאימונילופ

םג םיארקנו
universal approximation

לכ תוקחל םילגוסמש ןוויכמ
תיגולנא האוושמ
.


רודה יגולויבה ןוריונל האוושהב
2

ל לגוסמ
"
רבד
"
ב
-
rate
coding

וא
frequency coding

תויריה תורידת הזש
(
הייריל היירי ןיב קחרמה
)

18

םינוריונ תותשר לש תויצלומיס

רוד
III


יגולויבה ןוריונל תויצלומיסה בוריקב תפסונ הילע
.


בברל םילגוסמ םינוריונה
multiplexing

תוירי םירדת
ו
"
רבדל
"
ב
-

pulse coding

ב םוקמב


rate coding

המכ ריבעהל ךכבו
"
םילימ
"
ןמז ותואב


"
ןועש
"
הדיחי לכל ימצע


19

20

21

22

23

24

25

26

27

28

29

Hodgkin
-
Huxley Model

100

mV

0

stimulus

inside

outside

Ka

Na

Ion channels

Ion pump

C

g
l

g
K

g
Na

I

K

=
ןגלשא

Na

=
ןרתנ

30

Hodgkin
-
Huxley Model

stimulus

inside

outside

Ka

Na

Ion channels

Ion pump

u

u

h
0
(u)

m
0
(u)

pulse input

I(t)

31

תואמגוד


Integrate & Fire Neural Network.htm


actionpotential.swf


32

יללכ יגולוריונ הנבמ


תוכרעמ יגוס ינש שי ונפוגב
,


ץירממ
(
ןילנרדנא
)


עיגרמ
\
טיאמ

(
ןיטיצא

ןילוח
)


יגוס ינש תוחפל שי
תויצפניס
:


תובקעמ
:
אתה ףוגל תרבחתמ בורל


תררועמ
:
םיצעה יפוסב תורבחתמ בורל


ןיב חוורמ
תוצפניסה

אוה
20

רטמוננ
.


ןמזה דמימ
-

הדימלה תא תואריל ןתינ
ןמזה דמימב שומיש איה תיביטאיצוסא
,
-

ינש
ללכ ךרדב ןה תינמז וב םירוקש תוערואמ
ינשל דחא םירושק
.
םעט בולבאפ יוסינ אמגודל
ןמזו יוריג
.

33

34


35

36


37

38

39

40

עבונ םיאת ןיב רשקה קוזיחב ינשה בלשה
תושדח תוספניס תריצימ
,
חווטל ךשמתמ
םינג לועפש ךירצמו ךורא
.

41


42

טלפ
/
יסופיט טלק


43

44

Generation of multiple Action
Potentials


Rate is dependent on depolarization


Firing frequency


1
per second is
1
Hz


Maximum is about
1000
Hz


Absolute refractory period


Relative refractory period


I(ion)=g(ion)(
Vm
-
Eion
)

45

תיביטקניטסניא הבוגת

46

Mapping from
biological neuron

Nervous System

Computational Abstraction

Neuron

Node

Dendrites

Input link and propagation

Cell Body

Combination function, threshold,
activation function

Axon

Output link

Spike rate

Output

Synaptic strength

Connection strength/weight

47

EPSP

excitatory postsynaptic potential

IPSP

Inhibitory postsynaptic potential

48

קוח

Hebb
:

קזחתי תינמז וב םילעופה םיאת ןיב רשקה

49

Liquid State Machine (LSM)

50

Liquid State Machine (LSM)


Maass
’ LSM is a spiking recurrent neural
network which satisfies two properties


Separation property (liquid)


Approximation property (readout)



LSM
features


Only attractor is rest


Temporal integration


Memoryless

linear readout map


Universal computational power: can
approximate any time invariant filter
with fading memory


It also does not require any a
-
priori
decision regarding the ``neural code''
by which information is represented
within the circuit.



51

Maass’ Definition of the Separation Property


The current state
x(t)

of the microcircuit at time
t

has to hold all information
about preceding inputs.


Approximation Property

Readout can approximate any continuous
function f that maps current liquid states x(t)
to outputs v(t).

52

2 motors, 1 minute footage of each case, 3400 frames

Readouts could utilize wave interference patterns

53

Zero

One

54

םירמאמ תריקס


Spiking neural networks, an introduction.pdf


רוד לש הנבמו םינוריונ תותשר לע םוכיסו המדקה
3

םילדומב


is the integrate
-
and
-
fire model good enough


a
review.pdf


לדומ ןיב האוושה
I&F

לדומ ןיבל
HH

לדומ לש הבחרה ללוכ
I&F

םהינש תא בלשמש לדומל


LSM


(Liquid State Machine)


Liquid State
Machines,a

review.pdf


Liquid State Machine Built of Hodgkin

Huxley Neurons.pdf


The Echo State approach to
analysing

and training recurrent
neural networks.pdf


LSM


Turing
Maching


On the Computational Power of Circuits of Spiking neurons.pdf


The Echo State
approach to
analysing

and training recurrent
neural networks.pdf


55

םירמאמ תריקס


The
Tempotron


ןוריונל לדומ
LIF

דומיל םע םיסלופ תורדס ןיימל לגוסמה


Spike Timing Dependent Plasticity Finds the Start of
Repeating Patterns in Continuous Spike
Trains
2
.PDF


לדומ
LIF

דומיל אלל םיסלופב תורזח לש ףצר תוהזל לגוסמה
,
ע קר
"
םיטלקה ילקשמ יוניש י


Hubb’s

Rule


Hebbian

learning and spiking neurons.pdf


Competitive
Hebbian

learning through spike
-
timing
dependent synaptic plasticity.pdf


Spike
-
Timing
-
Dependent
Hebbian

Plasticity as Temporal
Difference Learning.pdf


Pitch Perception Models.pdf


ע העימש ןיבהלו תוקחל הסנמה לדומ
"
םירדתה לש טומיק י

56