　ルールベースのアルゴリズムは膨大な回数のテストを必要とします。考えられる全ての状況を列挙できるほど環境を厳しく限定できない限り、新しい状況の中でルールが何らか望ましくないことを行う可能性に直面します。この限りないリスクに直面した研究者の中には、うまく定義されていない問題に対処するためにニューラル・ネットワークという古いアプローチを復活させた人もいました。

　定義された数学関数と分類ルールをイメージに適用して特徴を抽出し、オブジェクトを特定および分類し、予測可能なモデルを作るシステムとは異なり、ニューラル・ネットワークはノード（生物学との類似性からニューロンと呼ばれます）のアレイの連続したレイヤーに過ぎません。時間 t+1 における各ニューロンの出力は、一般に以前のレイヤーでの時間 t におけるいくつか（または全て）のニューロンの出力の非線形関数ですが、わずかにランダム化されることもあります（図 3）。

図 3. ニューロン・ネットワーク・モデルは、以前のレイヤーの全出力を現行レイヤーの各ニューロンの入力に結び付けます

　ニューラル・ネットワークを訓練するには、各ニューロンへの入力関数を選択するのではなく、指示された探索プロセスを使用します。要するに、各ニューロンに実行させたい関数の一般的な種類を決めたら、全てのニューロン関数の全てのパラメータをランダム化し、ネットワークの最初のレイヤーをイメージで表し、ネットワークがどれほど近づいてイメージを正しく分類できるかを確認します。

　ネットワークの最終ステージの1つの出力はイメージの中にライオンがいるかどうかを示すことがあります。実際のネットワーク出力と正しい分類の間の誤差を測定し、その誤差を使用して誤差が減少する方向にネットワーク全体の関数パラメータを調整します。これを膨大な数のトレーニング・イメージについて、繰り返します。

　ニューラル・ネットワークをビジョン処理に使用することが試みられたのは、10年程前でした。しかし、2つの問題によって研究は停滞しました。1つは、イメージの解像度が高くなるにつれてニューロンの数と結合が爆発的に増えること、2つは、ネットワークが成長するにつれてトレーニング時間が耐えられないほど延びることでした。

　しかし、2つの進歩によってこれらの問題は解消されました。最初の進歩は、畳み込みニューラル・ネットワーク（CNN）の出現です。CNN は、最初の数レイヤーにあるニューロンを小さな畳み込みエンジンで置き換えます。各ニューロンが、極めて多くのピクセルやそれより前のレイヤーからの入力と結び付いている可能性がある場合、畳み込みエンジンはわずかな数の信号、例えば16 x 16アレイのピクセルしか入力として扱いません。さらに畳み込みエンジンは、学習しなければならない任意関数の代わりに、入力をカーネルで畳み込むという1つのことしか行いません。学習はカーネル内の値を確立するためだけに行われます。

　CNNの重要性を評価する基準の1つは、Facebook、Google、スタンフォード大学、ノース・カロライナ大学など、関心を持つ研究者グループが支援する画像認識人工知能コンテスト「Imagenet Large-Scale Visual Recognition challenge（ILSVRC）」です。CNNはまたたく間にILSVRCを席巻し、ルールベースのシステムよりはるかに正確なオブジェクト分類を行うようになりました。しかし、これらの成果を得るためのトレーニング・プロセスは膨大なものになることがあります。

　Baidu（百度）ディープ・ラーニング研究所の著名な科学者である Ren Wu（任武）氏は、同氏の組織が少なくとも現時点で最高のILSVRC成果である、わずか 4.58％という誤認識率をどのようにして実現したかを基調講演の中で説明しました。同研究所は、最後の3～4レイヤーだけが完全に結合したニューロンで構成された、16レイヤーのCNNを使用してこの誤認識率を達成しました。

　しかし、本当の努力はトレーニングに払われました。同研究所は、色と照明を変え、光学的な歪みを導入してわずかに異なる Imagenetのトレーニング・セットを作成し、完成の域にあったトレーニング・イメージのセットを拡大しました。その結果、スーパーコンピュータベースのCNNモデルでも消化できないと思われるタスクである、約20億個のトレーニング・イメージのセットが作成されました。