国立大学法人東海国立大学機構 名古屋大学未来材料・システム研究所超高圧電子顕微鏡施設の山本悠太博士・技師、武藤俊介教授・施設長、田中信夫名誉教授らの研究グループは、名古屋大学大学院工学研究科の薩摩グループとの共同研究で、人工知能を用いた機械学習による、触媒微粒子の双晶の結晶構造の自動識別に成功しました。
今回開発した技術を基軸に、機械学習により画像内の物体を自動検出する技術であるRCNNに応用展開することで、実験で取得した画像を即座にその場で解析する、その場解析手法の確立が期待されます。
本研究成果は、2018年8月15日付の日本科学雑誌『Microscopy』に掲載されました。
- 畳み込みニューラルネットワークにより、微粒子触媒の双晶構造の有無を自動識別した。
- 実用的な正答率を得るためには、ネットワーク内で複数の学習層の繰り返しが有効だった。
- 識別には、微粒子の画像をハフ変換したパターンで学習・識別することが有効であると示した。
【背景】
金微粒子触媒が一酸化炭素の酸化反応に高い触媒活性を示すことはよく知られており、近年では、微粒子の結晶構造に双晶を持つものが持たないものよりも高い触媒活性を示すことが報告されています。
電子顕微鏡を使った古典的な微粒子の双晶の有無の識別方法として、暗視野観察法注1)があります。しかしながら、担持注2)した微粒子触媒では、担体由来のコントラストが強く出てしまうため、微粒子の双晶構造を暗視野観察した際の特徴的な独特のコントラストが打ち消されてしまいます。担体と微粒子触媒を識別するためには、高角度環状暗視野走査透過電子顕微鏡法(以下、HAADFSTEM)注3)が使われますが、得られた画像の解析は手作業で行われることが一般的でした。
そこで、近年最もよく使われている自動画像識別方法である畳み込みニューラルネットワーク(以下、CNN)に注目しました。CNNは、人口知能が、回答の正答率が高くなるように、ネットワーク内部の変数を学習データの繰り返し学習により更新・最適化していく仕組みのものです。本研究では、原子分解能HAADF-STEM画像をCNNに学習させ、双晶構造の有無の自動識別を試みました。
【内容】
原子分解能HAADF-STEMにより合計397個の微粒子を撮影しました。画像は、微粒子が中心位置であり、かつ、微粒子以外のものが極力入らないように正方形に切り出し、180ピクセル×180ピクセルの大きさに変換しました。それぞれの画像は、微粒子のHAADF-STEM像のシミュレーションソフトから得られる画像と比較をして、単結晶(双晶を含まない構造)のシミュレーション像と一致する微粒子の画像に単結晶というラベルを付け、双晶構造を含むシミュレーション像と一致する微粒子の画像には双晶というラベルを付けて、ひとつのデータセットとしました。また、微粒子の画像をハフ変換注4)で得られたパターンに置き換えたデータセットも用意しました。それぞれのデータセットは、学習用データセットと検証用データセットとして、7：3にランダムで分割しました。
最も単純なCNNは7層構造で、入力層、畳み込み層、ReLU層、最大プーリング層、全結合層、ソフトマックス層、識別層の順番に層が並んだネットワークです。入力層では、読み込む画像の画素数と同じ数のノード注5)が用意されており、画像の各画素の値を各ノードが受け取ります。ノードが、値を受け取った画素と同じ配列に並ぶと入力画像と同じ画像となり、それを特徴マップと呼びます。畳み込み層は、前の層の特徴マップに、フィルター処理を施すような働きをする層です。その際の変数は繰り返し学習の中で更新されていくため学習層であり、また、特徴マップの特徴を抽出する働きをします。ReLU層は、前の層の特徴マップの値に負の値が存在する場合、それを0に置き換えます。それにより、繰り返しの計算の発散を防ぎ高速化する効果があります。最大プーリング層は、前の層の特徴マップを一回り小さくし、特徴を強調する効果があります。全結合層には、識別して分類したい数と同じ数のノードが存在しており、前の層の特徴マップの全ノードと結合しています。その結合重みは、繰り返し学習の中で更新されていくため、全結合層も学習層と言えます。ソフトマックス層・識別層では、ネットワークとしての答えを決定し、それが正当か誤答かによって、学習層の変数を更新していきます。今回は、最も単純な7層構造のネットワークと、その他に、学習層である畳み込み層を何度も繰り返し配置したネットワーク、および畳み込み層、ReLU層、最大プーリング層のセットを繰り返し配置したネットワークを準備しました。
HAADF-STEM像を含むデータセットでの学習・検証では、単純な7層構造のネットワークおよび一部層を繰り返したネットワークのいずれにおいても、ネットワークは全ての画像を双晶構造だと回答しており、単結晶と双晶の識別はできませんでした(図1)。ハフ変換したパターンを含むデータセットでの学習・検証では、ネットワークの学習層の繰り返しがない場合よりも、繰り返しがある場合の方が、正答率が高くなる傾向が認められました。また、図2、図3に示すように、層を繰り返す回数が多くなるほど、正答率が上がる傾向が認められました。特に、図3における畳み込み・ReLU・最大プーリング層を3回繰り返し配置したネットワークにおいては、およそ85%の正答率を示すネットワークが得られました。これは、様々な合成条件で作成した多量の触媒試料のスクリーニング注6)を行うために十分な正答率であり、CNNによる双晶構造の有無の識別に成功した結果だと言えます。また、今回の検証では、学習にかかった時間は全て10分以下であり、検証にかかった時間は全て10秒以下でしたので、高速での学習・識別ができたと言えます。
【用語説明】
注1) 暗視野観察法：試料を透過した電子線のうち、回折や散乱した電子線を用いて結像する手法。双晶微粒子をこの手法で観察すると、バタフライコントラストと呼ばれる、蝶々が羽根を広げた様子に似た特徴的なコントラストが認められる。
注2) 担持：触媒微粒子が凝集すると触媒活性が落ちてしまうため、凝集しないように触媒微粒子を別の物体に載せる方法。
注3) HAADF-STEM集束した電子線を試料の照射し走査し、散乱した電子を環状の検出器で捉えてマッピングする観察方法。
注4) ハフ変換縦横(x-y)空間の画像を、距離と角度(ρ-θ)空間のパターンに変換するデジタル画像処理。直線や円の要素の検出に使われることが多い。図4(d)-(f)に示すように、微粒子の結晶構造に応じて、矢印を付けたような特徴的なパターンがハフ変換後に表れることを期待して、本研究で用いた。
注)5 ノード：何らかの値が格納されたもの。ノード同士がニューラルネットワーク内で結合する様子を人間の脳神経に見立てて、ノードを人工ニューロンと呼ぶこともある。
注)6 スクリーニング：ふるい分け。複数の対象の中から特定の条件を満たすものを選別すること。
【論文情報 】
雑誌名：M icroscopy
論文タイトル：Twinned/untwinned catalytic gold nanoparticles identified by applying a convolutional neuralnetwork to their Hough transformed Z contrastimages
著者：山本悠太、服部美月、大山順也、薩摩篤、田中信夫、武藤俊介
＊日本顕微鏡学会第35回論文賞受賞
