読者です 読者をやめる 読者になる 読者になる

decode

技術ブログ 本の紹介

神経細胞の(離散|連続)時間と(離散|連続)情報モデル詳解

音声ファイルです。 http://fast-uploader.com/file/7035283517208/

lab_ver3.m4a - Google ドライブ

離散時間-離散情報モデル

入力信号x_1...x_nに対して膜電位の変化uが入力の重み付き和

{
\displaystyle
\begin{equation}
u = \sum_{i=1}^{n} w_i x_i
\end{equation}
}

で定まり,出力zはuが閾値hを超えたときに1,超えないときに0となるモデルは,,神経細胞の最も単純なモデルである。 今1(u)を次の階段関数とする。

すると,このモデルの入出力関係は、

{
\begin{equation}
1(u) = \begin{cases}
1 (u>0) \\
0 (u≦0)
\end{cases}
\end{equation}
\tag{1}
}

と書くことができる。信号xとzは0か1の値をとる。

 z = 1(\sum_{i=1}^{n} w_i x_i - h) \tag{2}

これはMcCullouchとPittsとが、1943年に考えた神経細胞数理モデルでMcCulloch-Pittsの形式ニューロンと呼ばれたりしきい素子と呼ばれたりしている。 McCullochとPittsは,この素子を用いていかなる論理回路をも設計できること、つまり万能電子計算機が作れる事を示した。 このモデルはaの空間的加算と、cの閾値作用のみを取り込んだものである。 しかしこの2つは神経細胞の動作のうちでもっとも本質的なものである。後に述べるようにこの単純なモデルを用いても神経回路網の特徴的な動作がかなりよく表現できる。 またこのモデルは単一の神経細胞のモデルとしてではなく、神経集団の動作を示すモデルとして用いることも出来る。 このモデルに絶対不応期,相対不応期を導入することは難しいことではない。r離散時間の絶対不応期がある場合には入出力関係は

{
\begin{equation}
z = \begin{cases}
1 (\sum_{i=1}^{n} w_i x_i - h > 0で、過去r時間以内に出力1が出なかった時) \\
0 (その他の時)
\end{cases}
\end{equation}
}

となる。さらに相対不応期の影響をこと考えることもできる。神経が一度興奮すると相対不応期によってs時間後の閾値 b_sだけ上がるとする。 すると,時間tでの入力を x_i(t), 出力をz(t)として

 z(t) = 1 ( \sum_{i=1}^{n} w_i x_i - h - \sum_{s=1}^{T} b_s z(t-s)  ) \tag{3}

 \sum_{s=1}^{T} b_s z(t-s) : 相対不応期では、閾値が更に高くなるため、相対不応期の値を更に減算している。 b_s に1か0の出力をかけて総和を取っている。(内積)

 b_s : s時間後の閾値の上昇値

 z(t-s) : s秒前の出力zが1か0を判断

と書ける。Tは不応期の影響の及ぶ時間である。 s≦r の間(絶対不応期の間)は b_sが非常に大きいもの(∞)とすれば絶対不応期もこの中に含めて考えることができる。 このほか時間的加算を考慮してモデルを拡張することも容易である。すなわち\sum_{i=1}^{n} w_i x_i(t)の代わりに時間遅れを含んだw_i(t')を用いて

\sum_{i=1}^{n} \sum_{t'=0}^{∞} w_i(t') x_i(t-t')

xi(t-t')で、t'=0から∞なので、現在の時間から、徐々に減算が大きくなる、つまり過去の分に遡っている。

 w_i(t') : (t-t')時間に対応した重み

これらのより複雑なモデルは単純なMcCulloch-Pittsモデルを用いた回路で表現できる。しかし時間的加算や不応期を入れてMcCulloch-Pittsモデルをいたずらに複雑にするのは得策ではない。連続情報モデルを用いるとこれらの効果を自然に取り込むことができる。 McCulloch-Pittsのモデルでは入力パルスの有無を2つの信号値1と0で表した。 これは少し変えて、入力パルスがきたときには x_i = 1 来ないときには x_i = -1と置くこともできる。この場合、出力zも興奮の有無に応じて1,-1の値をとることになる。今、sgnを符号関数

{
\begin{equation}
sgn(u) = \begin{cases}
1 (u>0) \\
-1 (u≦0)
\end{cases}
\end{equation}
\tag{4}
}

として入出力関係を  sgn(\sum_{i=1}^{n} w_i x_i - h) \tag{5} と表す。

1,0表現の通常のMcCulloch-Pittsモデルも1,-1表現を用いたモデルも本質的には同じものと考えてよい。 以下にそれを示す。混乱を避けるためここでは1-1モデルに対しては~をつけて例えば入力変数を \tilde{x_i}のように表す。 入力パルスの来るときにはどちらの表現も1で となる。パルスの来ない時はという表現になるだから2つの表現の間には

 \tilde{x_i} = 2x_i - 1

(x_i = \tilde{x_i} + 1 )/ 2

 \tilde{x_i}からみると、

 \tilde{x_i}が1の時 x_iも1なので1 = 2 * 1 - 1

 \tilde{x_i}が-1の時 x_iは0なので-1 = 2 * 0 - 1

 x_iからみると、

 x_iが1の時 \tilde{x_i}も1なので 1 = (1+1)/2

 x_iが0の時 \tilde{x_i}は0なので 0 = (-1+1)/2

の関係がある1,0表現では

 ν = \sum_{i=1}^{n} w_i x_i - h

の正負に応じて出力パルスの有無が決まる。これを \tilde{x_i}を用いて書き直すと

 \sum_{i=1}^{n} w_i x_i - h = [ 1/2 [\sum_{i}^{i}w_i \tilde{x_i} - (2h - \sum_{i}^{i}w_i)]

まず、1,0と1,-1を関連付けたいという前提がある

 - (2h - \sum_{i}^{i}w_i) : -1を0にしたいので、 \sum_{} w_iを足すことによって、-1は0に、1は2になる。

 \sum_{i}^{i}w_i \tilde{x_i} : 1,-1の場合の出力膜電位、1,0の二倍の値になっている。

この値は1,0モデルの二倍の値になっているので、1/2をしている。

式の導出の観点からいくとただ単に(x_i = \tilde{x_i} + 1 )/ 2を代入しただけである。

となる1,-1表現では

 \tilde{ν} = \sum_{} w_i \tilde{x_i} - \tilde{h}

の正負で,出力パルスの有無が決まるから1,-1モデルの閾値 \tilde{h}

 \tilde{h} = 2h - \sum_{i=1}^{n} w_i

を満たすように選べばνと νの符号はいつも一致する。すなわち荷重 w_i閾値hを持つ1,0の表現のモデルはのモデルと全く同じ働きをする。 1,0表現は直感的であり理解しやすい。1,-1モデルでは

 x_i ^ 2 = 1

が常に成立するため数式的な処理が簡単になることがある。そのため解析の都合上1-1モデルを採用することがある。

離散時間-連続情報モデル

連続情報モデルでは入力信号x- はパルスの頻度を表すアナログ量である。すなわち時間tにおける入力信号の値x-iは第i番目の入力へ到着するパルスを時間tの付近で一定時間平均したものである。便宜上最高のパルス頻度が1となるようにxiを規格化しておくものとする。 神経細胞の出力パルス頻度z入出力の荷重和

 u_0 = \sum_{} w_i x_i

の関数として決まる。そこである関数fを用いて入出力関係を

 z = f(\sum_{} w_i x_i - h) \tag{6}

とおくのが離散数学の連続情報モデルである。関数f(u)を出力関数とよぶ。これは

0 ≦ f(u) ≦ 1

を満たす単調増大関数(中身のuが増えるとf(u)も増加する)である。

連続モデルの出力関数fをより微視的な考察から求める。今、神経細胞の入力にそれぞれ x_iの頻度でパルスが到着し続けるものとする。膜電位はパルスが1つずつ到着するごとに少しずつ高まりパルスが来ない間少しずつ減衰し膜電位が閾値に達した瞬間に出力パルスを放出する。その後は絶対不応期、相対不応期に入る。この間にも,入力パルスは来続けるから膜電位は再び上昇開始しこれが閾値と一致した時点で再びパルスを放出する。 入力のパルス頻度が一定ならば、この課程を繰り返し、一定頻度のパルスを出力してとして出す。

この過程をもう少し詳しく調べると、神経細胞が興奮した直後の時点をt=0にとりこの次に興奮するまでの膜電位u(t)の変化を、tを連続時間とみなして考える。u(t)は静止電位を基準としてはかるものとする。膜電位は時定数τで減衰し、さらに、入力の刺激の強さに応じて増減する。入力としては、 x_iに比例した頻度でパルスが入ってくるので、これをならして考えると、u(t)の変化は、

 τ du(t) / dt = -u(t) + \sum_{i=1}^{n}w_i x_i \tag{7}

 du(t) / dt : 膜電位の変化量を表す。

  \sum_{i=1}^{n}w_i x_i - u(t) : 第一項と第二項を入れ替えると、入力-現在の膜電位、つまり変化量が出る。よってdu/dt

τがあることによって膜電位が急激に上昇せず、なだらかに上昇する。

f:id:kkou0801:20161121221229j:plain f:id:kkou0801:20161121221234j:plain

に従うと考えてよい。 x_iを一定としてこの式をu(0)=0の初期条件で解くと、

 c = \sum_{i=1}^{n}w_i x_i とおく。

 \mathcal{L}[τdu/dt]   = \mathcal{L}[-u + c]

 τSU -τu(0) = -U + c/s

初期条件より、  τSU = -U + c/s

 τSU + U = c/s

 U(τsU+1) = c/s

 U = c/ s (τs + 1)

 U = c/τ * 1/s(s+1/τ)

 U = c/τ * (τ/s - τ / s + 1/τ)

 u(t) = \mathcal{L}^{-1}[c/τ * (τ/s - τ / s + 1/τ)]

 u(t) = c(1 - e ^ (-t/τ))

 u(t) = u_0 (1 - e^{-t/τ}) \tag{8}

が得られる。ただし

 u_0 = \sum_{i=1}^{n} w_i x_i

である。 一方、興奮直後は神経細胞は絶対不応期に入る。この期間をrとするとその後の相対不応期ではしきい値が普段の値hより高くなる。興奮からt時間後の閾値の 値をh(t)とする。絶対不応期はh(t)が∞の値を取る期間と考えれば良い。h(t)は単調に減少しながら、興奮が起こる以前の値hに近づいていく。h(t)の一例を図 に示す。 時間t=0で興奮した神経が次に興奮するのは、u(0)=0から出発したu(t)が

 u(t) = h(t)

となる時点 t_0である。上式は(8)式より、

 u_0 = h(t) / 1 - e ^ {-t/τ}

と変形できる。

 a(t) = h(t) / 1 - e ^ {-t/τ}

と置こう。次に神経が興奮するまでの時間間隔 t_0

 a(t_0) = u_0

となるt_0であるから、a(t)の逆関数 a^-1(u)とすると、

 t_0 = a ^ {-1} (u_0)

と書ける。  u_0が一定ならば、この過程を繰り返して t_0時間毎に神経が興奮し、パルスを放出するから、出力のパルス頻度は 1/t_0である。 絶対不応期がrであるから、 u_0がいかに大きくても、r時間に一回以上の高い頻度でパルスが出ることはない。最高の頻度が1に等しくなるようにパルス頻度を規格化すれば、出力パルス頻度は、

 z = r / t_0

と表せる。 連続情報の立場では、膜電位の細かい変動を無視して、入力パルス頻度から求まる量

 u_0 = \sum_{i=1}^{n} w_i x_i

を扱い、これを平均膜電位、または単に膜電位と呼ぶ。出力パルス頻度はこの膜電位の関数として、

 z = r / a^{-1} (u_0)

で決まる事になる。閾値h(t)はhより小さくはならないから、 u_0がhよりも小さければ、u(t)は行くまでたってもh(t)と等しくならない。この場合は出力パルスは一つも出ない。そこで、

{
\begin{equation}
f(u) = \begin{cases}
0 (u≦0) \\
 r / a^{-1} (u_0) (u>0)
\end{cases}
\end{equation}
\tag{9}
}

という関数を導入すれば、上記の出力パルス頻度は、

 z = f(\sum_{i=1}^{n} w_i x_i - h)

と書くこともできる。このfが神経細胞の出力関数である。 f(u)はuが負のときは0で、f(∞)=1を満たす連続な単調増加関数である。簡単のため、相対不応期を無視して、

{
\begin{equation}
h(t) = \begin{cases}
∞ (t≦r) \\
h (t>r)
\end{cases}
\end{equation}
}

とおいて出力関数を具体的に求める。

 u = h / 1 - e ^ {-t/τ}

をtに付いて解くことにより、

a^{-1}(u) = -τ ln(1-h/u)

t = -τ ln(1-h/u)

a^{-1}(u) : t時間を出力頻度uで表したもの

-τln(1-h/u) : 膜電位u=閾値h になるとtは∞に発散。

したがって、

{
\begin{equation}
f(u) = \begin{cases}
1                               (r>-τln(1-h/u)) \\
-r / (τ ln(1-h/u)) \\
0                                (u≦h)
\end{cases}
\end{equation}
}

f(u) = -r / (τ ln(1-h/u)) : 出力パルス頻度f(u)の式。

f(u) = 1 の場合、つまり r > -τ ln(1-h/u)のとき 絶対不応期期間より短い

左辺が右辺より大きいということは、絶対不応期より早く閾値に到達している場合。

tが小さいと言うのは、入力パルス頻度が大きい、つまり興奮してから次に興奮するまでの間隔が短いと言うこと。

ln(1-h/u) を小さくするには、右辺のlnの中が1に近づいていく必要がある。h/uを0にしたいので、h << u つまり、閾値より膜電位が非常に大きい場合と言う意味である。

f(u) = 0 の場合つまりu &lt;= h の場合、出力パルス頻度f(u)は0である。

 z = r / t_0

z: 出力パルス頻度

r: 絶対不応期

t_0: 次に神経が興奮するまでの時間間隔

が得られる。この関数を用いると、出力

 z = f(u_0 - h)

は入力の刺激和u_0の関数として、図 の様な形になる。

すなわち、u_0が閾値hを超えるまでは出力は0,hを超えると出力が出始め、1に達する所で飽和して、それ以上は大きくならない。 相対不応期を考慮に入れ、さらに、一定パルス頻度の入力でもパルス感覚のばらつきがあることを考慮すれば、実際の出力関数は図 に示す様な単調増加で非線形飽和形 のなめらかな形になるものと考えられる。

時間tを離散的にとり、固定した閾値hを原点にとって平均膜電位を測ることにすると、

{
\displaystyle
\begin{equation}
u(t) = \sum_{i=1}^{n} w_i x_i(t) - h
\end{equation}
}

となる。以後この量を平均膜電位と呼ぶ。すると、時間tでの出力は

 z(t) = f{u(t)}

で表せる。このモデルを離散時間-連続情モデルとする。このモデルには、時間和作用、空間和作用、閾値作用、及び不応期の効果が含まれている。 出力関数f(u)を階段関数1(u)に等しく於けば、このモデルは、McCulloch-Pittsの形式ニューロンに帰着する。なお、このモデルで、hを定数とせず、過去の出力z(t)に依存して増加するようにすると、疲労の効果を取り入れる事ができる。

連続時間-連続情報モデル

連続情報モデルを採用するときは、時間そのものも連続的に取り扱う方が自然である。離散時間のモデルでは、ある時間でのパルス頻度の影響が一つ後の時間に影響しないため、時間的に変化するパルス品で入力に対しての扱いが幾分不十分になる。 連続時間-連続情報モデルでは、時間tの平均膜電位u(t)は、hを原点として図ったときに、

 τdu(t)/dt = -u(t) + \sum_{} w_i x_i(t) - h \tag{10}

と言う微分方程式に従って変動するものと考える。時間tでの出力パルス頻度z(t)、出力関数fを用いて、

 z(t) = f(u(t)) \tag{11}

で決まるとすれば良い。平均膜電位の時定数τは、出力関数fを導出する方程式における膜電位の微視的変動の時定数とくらべて十分に大きいと考える。 モデルをより精密にしたければ、値域hを定数と考えず、z(t)に応じて増減する量と考え、hについての微分方程式を更に加える事ができる。また、u(t)の微分方程式を高階にすることも考えられる。

f:id:kkou0801:20161121221159j:plain

f:id:kkou0801:20161121221221j:plain

述語論理 - Wikipedia

ファジィ集合 - Wikipedia

神経活動を微分方程式で表してみよう

EPSP、IPSPは化学シナプスから発生する活動電位... - 化学 | Yahoo!知恵袋

【第10回】コンパートメントモデルとは?

脳は自発発火する -- その意味は?

ポアソン分布とは何か?その性質と具体的な使い方を例題から解説します 【馬に蹴られて死ぬ兵士の数を予測した魔法の数式】 | アタリマエ!

ボルツマンマシン - Wikipedia

オペレーションズ・リサーチ - Wikipedia

NP困難 - Wikipedia

自己組織化写像 - Wikipedia

広告を非表示にする