ネオ コグニ トロン。 ご挨拶|JAMIT 2019

CiNii Articles

ネオ コグニ トロン

第38回日本医用画像工学会大会は奈良先端科学技術大学院大学教授 佐藤嘉伸大会長の運営のもとで,2019年7月24日(水)から26日(金)の3日間,奈良春日野国際フォーラムにて開催されることになりました. 一年以上前から準備をされてきた大会関係者や事務局の皆様,そして企業の業務委員会の皆様のご尽力に厚く御礼申し上げます. 医用画像工学の領域においても人工知能(Artificial Intelligence: AI)は有力な技術となるため,診断支援,画像処理,画像再構成をはじめとして多くの応用研究が盛んに行われております. 今回の大会でも「AI時代の医用画像工学」というテーマで様々なアプローチでの研究が報告されることとなりますので大変楽しみです. また,特別講演では,今のAI時代の礎を築かれた福島邦彦先生のネオコグニトロンのご講演を拝聴できるのでとても期待しております. このようなAI技術と密接な関係があるのはビッグデータですが,国立情報学研究所(National Institute of Informatics: NII)では医療ビッグデータ研究センターを立ち上げ,国家レベルで匿名化された医療画像情報を収集して医療画像ビッグデータクラウド基盤の構築を始めています. このような最新の動向もシンポジウムの中で聞くことができるようになっていますので,医用画像データとAIの今後も俯瞰できるのではないかと期待しております. また,もう一つの特別講演では奈良県立医科大学学長の細井裕司先生から,医学とまちづくりをテーマとするお話もうかがえることになっており,新しい切り口の医学のあり方のご提案とも推察され,とても興味があります. 今回の大会では佐藤嘉伸大会長のご提案で,すべての一般演題において2分程度の口頭発表(ティーザー)とポスター発表の両方を行う事になっています. 今までのJAMITとは違った形式での発表となりますが,すべての研究論文の要点を聞くことができると共に,興味ある内容はポスターでじっくり議論できるという,いいとこ取りの斬新な試みも取り入れられています. 今大会の中では,上記のような企画の他,恒例となりましたハンズオンによるAI講習会をはじめとして,盛りだくさんの企画が用意されていますので,会員の皆様には実りの大きい大会となると思っております. この大会における皆様の活発な意見交換により,医用画像工学の研究が大きく進展することを期待しています. 日本医用画像工学会 会長 尾川 浩一(法政大学) 大会長ご挨拶 第38回日本医用画像工学会 JAMIT 大会を2019年7月24~26日に奈良にて開催させていただくことになりました.大会のテーマは「AI時代の医用画像工学」としました. AI(人工知能)は,もはや単なるブームでなく,AI以前の方法では達成できない,人間を上回りうる高性能を得るための必要不可欠な技術として定着し,さらに発展を続けています.JAMIT大会では,2016年の千葉大会の頃から,AIが大会のメイントピックとなってきました.医用画像を専門としない一般の方々からみても,今や医用画像診断は,自動運転などと並んで,AIの社会実装が最も期待される分野となっています.イメージングにおいてもAIを利用した画像再構成,超解像,モダリティ変換など,その影響力は多大です. 本大会では,AIに関する特別企画として,AIの中心技術である深層学習,その中でも,中心的方法である畳み込みニューラルネット(CNN)の基礎を与えた「ネオコグニトロン」を開発された福島邦彦先生に,特別講演をしていただきます.さらに,シンポジウムでは,国立情報学研究所と医学系各学会の連携による国家規模の医用画像ビッグデータAI解析に関するAMEDプロジェクトを取り上げます.これら歴史的研究や最新の大型プロジェクトに加えて,2017年の岐阜大会から始まり,例年,好評を博しております深層学習ハンズオンもさらに強化され,参加者一人一人がAIの基礎を勉強する場を設けています.今年は,一般演題についても,AIに関係する演題が半数に達しており,まさしく医用画像工学はAI時代に突入しています. 本学会は,医工連携,医療IT,産学連携などとも密接に関係しております.ここ奈良の地で,それらに加えて,「まちづくり」という視点を加えた「医学を基礎とするまちづくり,Medicine-Based Town MBT 」のプロジェクトが進行しています.このプロジェクトを推進している奈良県立医大・学長の細井裕司先生に特別講演をしていただきます.「まち」に,医科大学や医師等が持つ医学の知識・叡智を注ぎ込んで,付加価値の高いまちMBTをつくります.また,この過程が新産業創生,地方創生の原動力となります.このプロジェクトは,実際に,種々の連携体制の下,奈良県橿原市において実践されており,今後の展開が大いに期待されます. その他の話題については,2つめのシンポジウムにおいて,医用画像を中心として,時空間多重スケール,病理,機能の多元データを統合することにより人体の総合理解を目指す,科研費・新学術領域「多元計算解剖学」の成果報告を行います.ミニシンポジウムにおいては,生きた状態を4次元でイメージングする最新のバイオ顕微鏡画像を,AIを含む情報技術によって解析し新しい生命科学の創成を目指すプロジェクトを紹介します.もう一つのミニシンポジウムでは,本学会のメイントピックの一つであるCTやMRのイメージングと深層学習を統合した新しい研究の流れに焦点を当てます.2017年岐阜大会,2018年筑波大会に引き続き,企業協賛のランチョンセミナーも企画されています.ランチョンセミナーでは研究病院の臨床現場のAI導入に関する興味深い話が聞けるものと思います. 開催場所である奈良春日野国際フォーラム甍~I・RA・KA~は,奈良公園内にあり,また,世界遺産である東大寺と春日大社の中間地点に位置しており,奈良観光にも大変便利な場所にあります.奈良において,医用画像工学の将来と共に,奈良時代の歴史にも思いを馳せていただければと思います. 第38回日本医用画像工学会大会 大会長 佐藤 嘉伸(奈良先端科学技術大学院大学).

次の

Deep learningで画像認識③ 〜ネオコグニトロンとは?〜

ネオ コグニ トロン

この2つの神経細胞の働きを組み込んだ、CNNの初期のモデルは、「ネオコグニトロン」と呼ばれ、日本人研究者の福島邦彦氏が1982年に発表しました。 ネオコグニトロンは、「特徴抽出を行うS細胞層」と「位置ズレを許容するC細胞層」を交互に多層に接続した構造をとっています(図1)。 まず、「特徴抽出を行うS細胞層」から見ていきましょう。 図1の各層は、それぞれ複数の細胞面から構成されており、同じ細胞面内のS細胞は、同じ入力パターンに反応するように構成されています。 つまり、それぞれのS細胞は、同じ特徴を抽出しますが、その特徴を抽出してくる受容野の位置(ここでは前層のC細胞面での位置)が異なるのです(図2)。 そして、細胞面内の全てのS細胞がC細胞層からの同じ入力パターンに反応する(つまり同じ結合パターンで結合している)ということは、まさにC細胞面に空間フィルタをかける(畳み込む)処理を行っていることになります。 このC-S細胞面間の結合パターンは、学習によって変化し、それはつまり、畳み込みフィルタが学習によって変化することを意味しています。 そして学習が終了すれば、畳み込みフィルタは最適化され、それぞれのS細胞は、結合している前層のC細胞の反応パターンの特徴の1つに選択的に反応するようになります。 このようにして、それぞれのS細胞面での特徴抽出が行われることになります。 次に、「位置ズレを許容するC細胞層」について見てみましょう。 C-S細胞面間の結合パターンが学習によって変化するのに対し、S-C細胞面間の結合は固定されています。 C細胞は、S細胞面での位置がわずかに異なるS細胞からの信号を固定結合によって集めて(二乗平均をとって)反応を起こします。 この平均化操作は、S細胞での反応を空間的にぼかす効果を持ちます。 別の言い方をすれば、「S細胞面での反応位置の影響をシビアに受けることなくC細胞が反応できる」、ということになります。 ちなみに、CNNでは、固定結合しているS細胞面から最大値を選択する(Max pooling)によってこの平均化操作を行っています。 このように、ネオコグニトロンにおいて、「C-S細胞面間における特徴抽出」と「S-C細胞面間における反応位置ズレの許容」を繰り返すことによって、入力パターンの位置ズレやサイズ変化の影響をあまり受けずに、形の違いのみに反応(特徴抽出)できるため、頑強なパターン認識が可能になります。 では、ネオコグニトロンとCNNの違いはどこにあるのでしょうか? 違いは、学習(最適化)の方法だけです。 ネオコグニトロンは、「add-if silent」という学習方法を用いているのに対し、CNNは誤差逆伝播法(back propagation)などを用いています(詳細は文献[2]参照)。 実際、ネオコグニトロンの学習方法に、誤差逆伝播法に基づく勾配降下法を適用したもの(LeNetと呼ばれる)は、現在のCNNと基本的な要素は全て同じであり、文字認識のタスクにおいて高い性能を達成しています。 そして更なる計算機の発展によって、ネオコグニトロンは、今CNNとして、画像認識において花開いているわけです。 次回は、このネオコグニトロンに端を発したCNNを使って実際に文字認識を行ってみます。

次の

人間の脳のメカニズムを、わたしは知りたくてたまらない。──福島邦彦|macdonald.360heros.com

ネオ コグニ トロン

ディープラーニング(: Deep learning)または 深層学習(しんそうがくしゅう)とは、(狭義には4層以上 の)多層の人工(ディープニューラルネットワーク、: deep neural network; DNN)による手法である。 要素技術としてはなど、20世紀のうちにそれなりの完成のあったものも多いが、4層以上の深層ニューラルネットについて、局所最適解や勾配消失などの技術的な問題によって十分学習させられず、性能も芳しくないなどとして、ニューラルネットワークとその学習は、一時のブームが去った感もあった。 しかし、21世紀に入って、らによる多層ニューラルネットワークの学習の研究の成果、特になどによる技術的問題の解決と、インターネット社会による学習データの流通も側面からこれを後押しした。 その結果、・・を対象とする諸問題に対し、他の手法を圧倒する高い性能を示し 、2010年代に普及した。 概要 [ ] 単層の「線型分離不可能な問題」を解けない、という限界は、の機械学習がにより実現されたことで、ある程度は解決された。 しかし、層数を増やした多層ニューラルネットの学習は、局所最適解や勾配消失などの技術的な問題によって、十分に学習させられず、性能も芳しくないとして、1990年代を中心とした時期には研究なども退潮気味にあった。 しかし、2006年にニューラルネットワークの代表的な研究者であるらの研究チームが、による(自己符号化器)の深層化に成功し、再び注目を集めるようになった。 この際、発表した論文から、これまでの多層ニューラルネットよりもさらに深いネットワーク構造を意味する、ディープネットワークの用語が定着した。 元々はジェフリー・ヒントンらの開発したディープネットワークは層が直列された単純な構造をしていたが、現在のアルゴリズムは複数の分岐やループのある複雑な構造を持つ。 そのため、基本技術をまとめて複雑なグラフ構造を簡単に実現できるようにしたも公開されている。 に提唱されたなど、ニューラルネットワークの多層化の発想自体はコンピュータ黎明期からあり続けたものの、莫大な計算コストが問題となって研究は遅々として進まず、長らく低迷していた。 しかし、コンピュータのハード性能の急激な進歩、インターネット普及によるデータ収集の容易化、よりも単純な演算の並列処理に優れたの低価格化、また、それらの計算資源の拡張を礎として、画像処理におけるディープラーニングの有用性が競技会で世界的に認知された頃からは急速に研究が活発となり、第三次人工知能ブームが到来したとされている。 歴史 [ ] 「」も参照 のの構造を模した機械学習における最初の手法であるが考案されたのは1957年であるが、計算機の性能の大幅な不足や、2層からなる単純パーセプトロンではの認識ができないなどの欠点があったため、研究が大きく続けられることはなかった。 その後、1980年代より、排他的論理和の問題を扱うことができる3層からなる多層パーセプトロンの学習を可能にするが開発されたが、非効率的なメカニズムや、動詞の過去形など複雑な認識ができない(そもそも3層ニューラルネットで任意関数は全て近似可能であり、がなぜ3層以上存在するのかが不明であった)などの要因により、1990年代後半には沈静化した。 今日のディープラーニングにつながる世界的に最も先駆的研究として、日本の福島邦彦(NHK放送技術研究所、その後大阪大学基礎工学部生物工学科)によって1979年に発表された が挙げられる。 ネオコグニトロンには自己組織化機能があり、自ら学習することによってパターン認識能力を獲得(概念の形成)していく。 応用例として、福島らは手書き文字データベース(ビッグデータ)から自己学習によって手書き文字認識能力(各文字の概念)が獲得されることを実証した。 しかし、当時は「手書き文字認識方式の一つ」と誤解され、その重要性についての認識が世間に広がらなかった。 利用 [ ] ディープラーニングは物体認識を中心にさまざまな分野で活用されている。 また、Googleをはじめとした多くのIT企業が研究開発に力を入れている。 また、自動運転車の障害物センサーにも使われている Googleの 4. 3 は、音声認識にディープラーニング技術を活用することで、精度を25から50パーセント向上させた。 2012年、との共同研究である ()は、1,000のの16,000のコアを使い、3日間での画像に反応するニューラルネットワークを構築したと発表して話題となった。 この研究では、200ドット四方の1,000万枚の画像を解析させている。 ただし、人間の脳には遠く及ばないと指摘されている。 GoogleLeNetと呼ばれるチームによるとの共同研究では、画像の説明文を自動で生成できる「Image to Text」と呼ばれるシステムを開発した。 これは、と自然言語処理を組み合わせ、ユーザーがアップロードした画像を認識し、説明文を表示するもの である。 2015年3月、Schroffらは800万人の2億枚の画像を99. 2016年1月、と呼ばれるシステムが中国系フランス人のであると2015年10月に対局し、5戦全勝の成績を収めていたことが発表された。 主に開発に携わったのは2013年にGoogleが買収したDeepMind。 囲碁はよりも盤面が広いために打てる手数の多さは比較にならないほどで人間のプロと互角に打てるようになるまでさらに10年はかかるという予測を覆した点と、囲碁に特化したエキスパートマシンではなく汎用的にも用いることができるシステムを使っている点に注目が集まった。 2016年から2017年にかけては、いずれも世界トップクラスの棋士であるのとのと対戦し、2016年の李世ドルとの5番勝負では4勝1敗、2017年の柯潔との3番勝負では3連勝を収めた。 「」、「」、「」、および「」も参照 中国ではに代表されるようにディープラーニングが国民に対する当局の監視強化を目的に急速に普及しており 、世界のディープラーニング用サーバーの4分の3を占めているとされる。 米国政府によれば2013年からディープラーニングに関する論文数では中国が米国を超えて世界一となっている。 ヒントンらと並んで「ディープラーニングの父」と呼ばれている ()は中国が市民の監視や独裁政治の強化に人工知能を利用していることに警鐘を鳴らした。 は、ユーザーがアップロードした画像を、ディープラーニングによって認識させ、何が写っているかの判別精度を向上させている。 また、人工知能研究ラボを2013年に立ち上げ 、その成果としてディープラーニング開発環境を2015年1月16日にで公開した。 これは、GPU環境において、従来のコードの23. 5倍の速度を実現しており 、ディープラーニングの研究開発の促進が期待されている。 によるディープラーニングを使ったニューラル(NMT)が登場したことで、翻訳の品質が大幅に向上した。 ネットワークモデル [ ] ネットワークモデルは現在も盛んに研究されており、毎年新しいものが提案されている。 畳み込みニューラルネットワーク [ ] Convolutional Neural Networks: CNN とは、全結合していない順伝播型ニューラルネットワークの一種。 特に2次元の畳込みニューラルネットワークは人間の視覚野のニューロンの結合と似たニューラルネットワークであり、人間の認知とよく似た学習が行われることが期待される。 結合がスパース(疎)であるため、全結合しているニューラルネットワークに比べて学習が高速である。 1979年に福島邦彦が発表したから発展し、1988年にHomma Toshiteruらが音素の認識に 、1989年にYann LeCunらが文字画像の認識に使用し 、1998年にLeCunらが発表したLeNet-5へと続き、2012年にILSVRCでの物体カテゴリ認識で優勝したアルゴリズムも深層畳み込みニューラルネットワークである。 ネオコグニトロンの時から深層であったが、近年は深層であることを強調するため、深層が頭につき、深層畳み込みニューラルネットワークと呼ばれることもある。 自然言語処理に対する応用もなされはじめた。 スタックトオートエンコーダ [ ] まず3層ので学習を行い、学習が完了したら次の層(4層目)をオートエンコーダとして学習する。 これを必要な分だけ繰り返していき、最後に全層の学習を行う。 事前学習とも呼ばれる。 類似技術にディープビリーフネットワーク、ディープボルツマンマシンなどがある。 Residual network [ ] 入力データを出力に変える変換を学習するのではなく、を学習する。 通常の多層ニューラルネットより消失がおきにくく、はるかに多層化できる。 実験的には1000層まで学習されたものもある。 欠点としては、入力次元数と出力次元数を変えることができない。 敵対的生成ネットワーク [ ] 詳細は「」を参照 Recurrent Neural Network: RNN とは、有向を持つニューラルネットワークのこと。 それ以前の入力によって変化するを保持する()。 動画像、音声、言語など、入力データの順序によって出力が変わる場合に有効である。 また、順伝播型ニューラルネットワークでは、近似できるピーク数が中間層の素子数に依存するのに対して、回帰型ニューラルネットワークでは無限の周期性を持つ関数を近似することが可能である。 1980年代から研究が始まり、1982年に発表されたが初期の研究。 その後ElmanネットワークやJordanネットワークが発表され、1997年にS. HochreiterおよびJ. Schmidhuberらがネットワーク(、Long short-term memory)を発表した。 特有の問題 [ ] 勾配消失問題 [ ] 確率的勾配法は誤差から勾配を計算して中間層の重みを修正するが、などは見てすぐにわかる通り、勾配が0に近い領域が存在する。 偶然その領域に進むと勾配が0に近くなり、重みがほぼ修正されなくなる。 多層NNでは一か所でも勾配が0に近い層が存在すると、それより下の層の勾配も全て0に近くなるため、確率的には層数が増えるほど学習が難しくなる。 詳しくは、も参照のこと。 過学習 [ ] トレーニングデータでは高識別率を達成しながら、テストデータでは識別率が低い現象。 も参照のこと。 局所最適解へのトラップ [ ] 学習が、大域的な最適解ではなく、局所的には適した解へと収束し、抜け出せなくなること。 0 - 1. 0に規格化されないため勾配消失問題が起きにくく、またシグモイド関数に比べると単純であるために計算量が小さく学習が速く進む等のメリットがある。 maxout [ ] 複数の次元の最大値を出力する関数。 CNNのプーリングと同じ計算である。 高性能と言われるが、性質上、次元が減少する。 も兼ねていると言える。 ドロップアウト [ ] はランダムに任意のニューロン(次元)を何割か無視してしまう技術である。 入力データを増やせずとも、次元を減らすことで解の性を上げることができる。 ドロップアウトして得た学習結果は、テスト時には同時に使用し、結果は平均して用いる。 これはと同様、検出率の低い識別器でも並列化することでを上げることができるためである。 スパースコーディング [ ] ()とも呼ばれる。 辞書行列と係数行列の内積()で入力データ 列ベクトル を近似するとき、係数行列は(非零の要素が僅かしかない行列)になる。 L1のこと。 この節に。 事項を箇条書きで列挙しただけの節は、本文として組み入れるか、または。 ( 2019年1月)• - ,• - Python。 関数型言語。 並列化に特化し、GPUのコードが自動的に生成される。 Pylearn2 - Python• Blocks - Python• - Python。 TensorFlowのラッパー。 Theanoでも動作可能。 Lasagne - Python• deepy - Python• - が提供するベース GPUベース のDNN用プリミティブライブラリ。 - 、が使用されている。 基本的な機能はEBlearnと同じ。 - Python• ReNom - Python• 以前はCNTKと呼ばれていた。 深層学習 人工知能学会 深層学習手法の全体像xiii• 岡谷貴之 深層学習 機械学習プロフェッショナルシリーズ 、2015年4月8日、まえがき、• , p. 107. エンタープライズ 2015年1月14日. 2015年5月30日閲覧。 , p. WirelessWire News 2015年5月20日. 2015年5月21日閲覧。 , p. 浅川 直輝 2014年10月1日. 日経 xTECH(クロステック). 2019年12月20日閲覧。 2015年6月30日閲覧。 電子通信学会論文誌A 1979年10月1日. 2017年8月16日閲覧。 2015年9月3日閲覧。 4gamer 2015年8月29日. 2015年9月1日閲覧。 マイナビニュース 2015年5月20日. 2015年5月26日閲覧。 2015年5月21日閲覧。 , p. wired 2014年11月20日. 2015年5月18日閲覧。 PC Watch 2014年4月17日. 2015年5月21日閲覧。 GIGAZINE 2014年12月13日. 2015年5月21日閲覧。 WIRED 2014年11月20日. 2015年5月30日閲覧。 WIRED 2014年9月9日. 2015年5月30日閲覧。 松尾豊東京大学大学院准教授の発表スライドから• ITTOUSAI 2016年1月28日. Engadget. 2016年3月2日閲覧。 CADE METZ 2016年1月31日. WIRED. 2016年3月2日閲覧。 2016年3月16日. 2018年2月7日閲覧。 2017年5月27日. 2018年2月7日閲覧。 2017年6月30日. 2018年2月7日閲覧。 2017年11月18日. 2018年2月7日閲覧。 2018年2月3日. 2018年2月7日閲覧。 2018年1月20日. 2018年2月7日閲覧。 2017年8月16日. 2018年2月7日閲覧。 2019年4月1日. 2019年4月5日閲覧。 2019年2月2日. 2019年4月5日閲覧。 ITMedia News 2013年12月10日. 2015年5月22日閲覧。 ITMedia News 2015年1月19日. 2015年5月22日閲覧。 ZDNet Japan 2015年1月19日. 2015年5月22日閲覧。 中澤敏明、 『情報管理』 2017年 60巻 5号 p. 299-306, :• Homma, Toshiteru; Les Atlas; Robert Marks II 1988. Advances in Neural Information Processing Systems 1: 31—40. Yann Le Cun June 1989. LeCun; B. Boser; J. Denker; D. Henderson; R. Howard; W. Hubbard; L. Jackel 1989. Neural Computation 1 4 : 541-551. Alex Krizhevsky; Ilya Sutskever; Geoffrey E. Hinton 2012. Advances in Neural Information Processing Systems 25: 1097-1105. 岡谷貴之 深層学習 p11• 参考文献 [ ]• 『AIの衝撃 人工知能は人類の敵か』講談社〈講談社現代新書〉、2015年3月20日、第1刷。 『クラウドからAIへ アップル、グーグル、フェイスブックの次なる主戦場』朝日新聞出版〈朝日新書〉、2013年7月30日、第1刷。 『人工知能は人間を超えるか ディープラーニングの先にあるもの』KADOKAWA〈角川EPUB選書〉、2015年3月11日、第1刷。 関連項目 [ ].

次の