ニューラルネットワークとは

1  はじめに

ニューラルネットワークは, 人間の脳の仕組みを模倣した情報処理機構である．^[1]ニューラルネットワークを用いることにより, パターン認識や予測などの定式化が困難な問題の解決が可能^[2]なことから, 近年ニューラルネットワークの様々な分野への適用が行われている. 本報告では, ニューラルネットワークの基本的な概要について述べる.

2  ニューラルネットワークの目的と歴史

2.1  ニューラルネットワークの目的

我々は普段パターン認識を繰り返し行っている. 例えば, 人物の判断などの処理などがこれに当たる. しかし, 人物の表情は常に同じ状態ではなく変化する. このような判断基準が変化するような処理は問題の定式化が困難なため, プログラム化された手順を元に処理を行うコンピュータで, パターン認識を行うことは困難である. そこで, 人間の脳の仕組みを模倣したシステムを構築することにより, 人間の基本機能である認識や記憶や判断などの処理を, コンピュータ上で実現するために考案されたのがニューラルネットワークである.

2.2  ニューラルネットワークの歴史

ニューラルネットワークの研究は, 1943年にMcCulloch-Pittsが考案したニューロンモデルからはじまり, 1957年のRosenblattによるパーセプトロンの研究により活性化した. この傾向は, 1969年のMinskyPapertによるパーセプトロンの限界論により一時収束したが, 1986年にRumelhartが従来の問題点を解決するバックプロパゲーションアルゴリズムを考案したことにより, ニューラルネットワークの研究は再び活性化した. また, 1982年にはHopfieldにより考案された相互結合型のニューラルネットワークも考案され, ニューラルネットワークの様々な問題への適用に大きな関心が集まるようになってきた．^[3]

3  ニューラルネットワークのモデル化

3.1  ニューロンのモデル化

人間の脳内には多数の神経細胞が存在しており, それらの神経細胞は互いに結びついている. それらの神経細胞は他の細胞からの入力信号を受信し, 他の細胞からの入力信号の和がある値を超えた場合に, 神経細胞は発火し出力信号を他の神経細胞に送信する. この神経細胞の仕組みをモデル化したのが, Fig.1 に示すニューロンモデルである.

ニューロンモデルでの出力信号の値の求め方を以下に示す.

1. 結合している各ニューロンの出力信号と結合荷重Wの積の和を求める.
2. 1.で求めた値から閾値を引く.
   
   また，一般的にモデル化する場合には，閾値も入力信号に加えた式で表現することが多い．
   
   
3. 2.で求めた値を変数として伝達関数で処理する.
   
   

伝達関数には, Fig.2 (a)に示すパーセプトロンに用いられるヘビサイド関数や, Fig.2 (b)に示すバックプロパゲーションに用いられるシグモイド関数などがある.

3.2  ネットワークモデル

3.2.1  階層型ネットワーク

階層型ネットワークは, 入力層, 中間層, 出力層という複数の階層で構成されるネットワークである. このネットワーク構造では, 各ニューロンを層状に配置し, 同じ階層どうしのニューロンは互いに結合せず, 異なる階層どうしのニューロンが相互に結合している. そのため信号の伝播は, 前の層から次の層への一方向のみに行われる. Fig.3 にネットワーク構造を示す．^[4]

階層型ネットワークにおける特徴は, 信号の伝播処理を繰り返し行うことにより, 与えられた問題に対する望ましい入出力パターンを得ることができるということである. 階層型ネットワークの代表的なモデルとして, パーセプトロンやバックプロパゲーションがある.

3.2.2  相互結合型ネットワーク

相互結合型ネットワークは, 階層型ネットワークのように層を持たず, 各ニューロンが相互に結合しているネットワークである. Fig.4 にネットワーク構造を示す.

相互結合型ネットワークにおける特徴は, 全てのニューロンが層などがないため等価な関係にあり, 全体のニューロンの発火パターンにより情報のパターンを記憶したり想起することが可能であるということである. 相互結合型ネットワークの代表的なモデルとして, ポップフィールドネットワークやボルツマンマシンなどがある.

4  代表的な階層型ネットワーク

4.1  パーセプトロン

パーセプトロンとは, 1957年にRosenblattにより考案された階層型ネットワークである. パーセプトロンの特徴を以下に示す.

• 信号の伝播は前方のみ

• 入出力は0, 1の2値(伝達関数はヘビサイド関数)

• 中間層の結合荷重の更新がない

4.1.1  階層型の前方伝播

階層型ネットワークの信号の前方伝播とは, 各ニューロンが3.1のニューロンのモデル化の(3)式に従い入力信号を受け, (4)式で入力信号を伝達関数で変換したものを出力信号として発信するという動作を, 前方の層のニューロンに繰り返し伝播することにより出力結果を得るものである.

4.1.2  2値の入出力

パーセプトロンでは, 伝達関数にヘビサイド関数を用いる. ヘビサイド関数をFig.5 に示す.

ヘビサイド関数はxの値が0を境にyの値が0と1で反転する関数である. この関数をパーセプトロンに用いることにより, パーセプトロンでの入出力を2値に収束させている. そのため, パーセプトロンでのパターン判別は, AND, OR問題などのような2種類のパターンの判別を行う問題に適用される.

4.1.3  パーセプトロンの結合荷重の更新

パーセプトロンでは中間層の結合荷重の更新はなく, 出力層の結合荷重の更新のみを行う. 更新は, 以下の式により行われる.

パーセプトロンにおける結合荷重の更新方法は, ネットワークを用いて出力層から出力された出力信号O_jと, その問題に対する望ましいパターンである教師信号t_jとの誤差を比較し, 誤差がある場合は学習係数Cに従い結合荷重を更新することで誤差を修正する方法である. この結合荷重を更新する処理をニューラルネットワークでは学習という. 学習を繰り返すことにより, パーセプトロンは与えられた問題に対する望ましいパターンを得ることができる. 以下にAND演算の学習の例を示す.

前方伝播

1.中間層のニューロンである3,4の入力信号の和を求める

2.中間層のニューロンである3,4の出力信号を求める(伝達関数はヘビサイド関数)

3.出力層のニューロンである5の入力信号の和を求める.

4.出力層のニューロンである5の出力信号を求める(伝達関数はヘビサイド関数)

ANDにおける(X1,X2)=(1.0,1.0)のパターンに対する結果が0.0と正しく判断が出来ていないため, 学習(結合荷重の更新)を行う.

5.入力パターンに対する教師信号とネットワークを用いて出力されたパターンとの誤差を元に学習を行う.

6.前方伝播の動作である1〜4を再び繰り返し出力値を求め, 正しい値が求められれば終了. 誤差があれば5を行う.

S1,S2を求める

H1,H2を求める

U1を求める.

O1を求める.

よって, 正しい値が得られた.

以上のような問題においては, パーセプトロンを用いることによりネットワークは学習を行い, 正しい結果を得ることができる.

しかしパーセプトロンは線形分離問題しか正しく学習することができないという特徴がある. 線形分離問題とは, 1本の線によりクラスを二つに分割できるような問題のことをいう. Fig.7 に線形分離可能な例と線形分離不可能な例を示す.

(a)のような問題では, AとBの領域が一本の線で分割することが可能なため, パーセプトロンを用いることで分割が可能であるが, (b)と(c)のようなパターンは, 二つのパターンを一本の線で分割することができないため, パーセプトロンでは学習不可能である.

4.2  バックプロパゲーション

バックプロパゲーションは, 1986年にRumelhartにより考案されたパーセプトロンの欠点である非線形問題の分離も可能なアルゴリズムである. バックプロパゲーションの特徴を以下に示す.

• 信号の伝播は前方後方の両方向へ伝播可能

• 入出力は0〜1の実数値(伝達関数はシグモイド関数)

• 中間層の結合荷重の更新が可能

4.2.1  後方への伝播

バックプロパゲーションでは前方への伝播と後方への伝播の両方向への伝播を行う．バックプロパゲーションにおける前方の伝播はパーセプトロンと同様である. 一方，後方への伝播を行うことにより，中間層の結合荷重の更新を行う. これにより, パーセプトロンでは出力層に限られていた結合荷重の更新が, 中間層の結合荷重も可能になる. また, バックプロパゲーションでは, 教師信号との誤差Eを極力小さい値に収めることが目的であるので, 誤差Eを最小化するような結合荷重Wを求めるために最急降下法を用いる.

4.2.2  最急降下法(勾配法)

最急降下法とは, 勾配が0となる点, つまり最小もしくは最大となる点を探索する手法である. バックプロパゲーションでの出力は, 結合荷重の修正により誤差の最小化を行うので, 誤差Eを結合荷重Wで偏微分することにより最適解を探索する. 結合荷重の更新式を以下に示す.

バックプロパゲーションは, 最急降下法を中間層の結合荷重も含めた, 全ての結合荷重の更新に用いることにより誤差の最小化を行っている.

4.2.3  0〜1の実数値の入出力

バックプロパゲーションでは, 伝達関数にシグモイド関数を用いる. シグモイド関数をFig.8 に示す.

シグモイド関数はy=0とy=1に漸近線を持つ関数であり, xの全ての値においてyの値は0〜1の間の収束する. シグモイド関数をバックプロパゲーションに用いることにより, パーセプトロンのような2値識別問題だけでなく, 足し算のような多数のパターンがある問題にも適用される.

4.2.4  バックプロパゲーションの結合荷重の更新

バックプロパゲーションでは, 出力層と中間層の結合荷重の更新を行う. 更新は以下の式により行われる.

出力層の結合荷重の更新

中間層の結合荷重の更新

各々の更新式の導出に関しては省略したが, 出力層の結合荷重と中間層の結合荷重は(16)(17)式により更新され誤差の修正を行う. 誤差の修正を行うことによりパーセプトロンと同様に, 与えられた問題に対する望ましいパターンを得ることが可能である.

5  まとめ

ニューラルネットワークは人間の脳の仕組みを模倣した処理機構であり, ニューラルネットワークを用いることにより定式化が困難な様々な問題の解決が可能である. またニューラルネットワークのネットワークモデルは, 階層型ネットワークと相互結合型ネットワークの二つに分けられ, 前者は信号の伝播処理を繰り返し行うことにより, 与えられた問題に対する望ましい入出力パターンを得ることができるネットワークである. 前者の代表的なモデルには, 2値の線形分離問題を可能とするパーセプトロンと, 非線形の問題の分離も可能なバックプロパゲーションがある. 後者の相互結合型ネットワークは, 全てのニューロンが層などにないため等価な関係にあり, 全体のニューロンの発火パターンにより情報のパターンを記憶したり想起することが可能であるという特徴がある.

References

[1]

Ado Lab. :: ニューラルネットワーク
http://www.aso.ecei.tohoku.ac.jp/research/neural.html

[2]

Metal Brain
http://metalbrain.piroo.com/index.html

[3]

ニューラルネットワークの近似理論と最適制御への適用
http://markun.cs.shinshu-u.ac.jp/kiso/projects/paper/Doctor/1999/yamazaki/index-j.html

[4]

ネットワークモデル
http://mars.elcom.nitech.ac.jp/java-cai/neuro/kindof.html

Copyright

Copyright (C) 2005 Tomoyuki Hiroyasu, All rights reserved.
Copyright (C) 2005 Mitsunori Miki, All rights reserved.
Copyright (C) 2005 Kenji Kobayashi, All rights reserved.

No part of this document may be reproduced, copied, distributed,
transferred, modified, or transmitted, in any form or by any means,
without the prior written permission of the authors.
In no event shall the authors be liable for any damages caused in any way
out of the use of this document．