AI（人工知能）とは

AI（人工知能）とは、意思決定を行い、タスクを実行するために人間の知能をシミュレートするコンピューターシステムの理論と開発を指します。

AI（人工知能）の関連情報

人工知能（AI）または機械知能（MI）は、Techopedia(英語)では「人間に代わって自律的に意思決定を行い、行動を実行することを学習できるテクノロジーの構築と管理に重点を置いたコンピューターサイエンスの分野」と定義されています。¹しかし、この定義はあまりにも一般的であり、AI技術が包含するものを理解するための包括的な定義として使用することはできません。AIは1つのタイプの技術ではなく、機械学習（ML）、自然言語処理（NLP）、自然言語理解（NLU）、コンピューター・ビジョン（CV）をサポートするために活用されることが多い、無数のハードウェアまたはソフトウェア技術に適用できる幅広い用語です。

Oracle Cloud Infrastructure(英語)では、「最も簡単に言えば、AIとは、人間の知能を模倣してタスクを実行し、収集した情報に基づいて反復的に改善できるシステムまたはマシンを指す」 ²としており、「AIはさまざまな形で現れる」としています。 ²

TechopediaやOracleの広範で一般的な定義に比べ、IBMのAIの定義はより具体的です。IBMはAIが「コンピューターや機械を活用して人間の心の問題解決能力や意思決定能力を模倣する」と述べています。³IBMは、「知能の創造」と「人間の知能を理解する機械」というこれらのアイデアに焦点を当て、John McCarthyの記事「What is Artificial Intelligence?（人工知能とは何か）（英語）」を引用して、AIの定義を続けています。McCarthyは「AIはインテリジェントな機械、特にインテリジェントなコンピュータープログラムを作るための科学と工学で、コンピューターを使用して人間の知能を理解するための類似のタスクと関連しているが、AIは生物学的に観察可能な方法に制限される必要はない」としています。⁴

IBMは、McCarthyの論文の約55年前に遡ってAIの探求を拡大し、数学者、暗号解読者、そして象徴的な「コンピューターサイエンスの父」であるAlan Turingに言及しています。人間とコンピューターを区別することを目的としたチューリングテストの考案者であるAlan Turingの1950年の論文「Computing Machinery and Intelligence（計算機械と知能）（英語）」は、現代のコンピューターサイエンスとAIの基礎の構築に貢献しました。間違いなく「機械は思考できるか？」という疑問を提起した最初の論文です。⁴

SASは「1950年代の初期のAI研究は問題解決と記号的手法を探求し、1960年代の研究は人間の基本的な推論を模倣するためにコンピュータを訓練することを探求した」と述べています。⁶この初期の研究は、意思決定支援システムや人間の能力を補完および強化するように設計できるスマート検索システムなど、今日のコンピューターに見られる自動化と形式的推論への道を開きました。

Turing’との比較で、IBMはそのAI哲学をより新しくしたものとしてStuart RussellとPeter Norvigの教科書「Artificial Intelligence（人工知能）（英語）」を紹介しています。1994年に初版が出版され、2020年4月に最新版が出版された「Artificial Intelligence: A Modern Approach（人工知能：現代的アプローチ）」は、AIを研究するための最も人気のあるリソースの1つとなっています。

この教科書で、RussellとNorvigはさまざまなバージョンのAIを探求しています。「一部のバージョンでは人間のパフォーマンスへの忠実さの観点から知性を定義しているが、合理性と呼ばれる知能の抽象的で正式な定義を好むバージョンもある」⁷とし、合理性を「正しいことをすること」と定義しています。⁷著者らは、AIの調査を続けながら、知能は「内的思考プロセスと推論、つまり知的行動の特性である」可能性もあると指摘しています。⁷

RussellとNorvigは、これらの考え方を「人間対理性」「思考対行動」という2つの次元に分類しています。⁷

IBMは、AIを探索するための4つの潜在的な組み合わせとして、次のようなアプローチを提示しています。

人間的アプローチ：

人間のように思考するシステム
人間のように行動するシステム

理想的なアプローチ：

合理的に思考するシステム
合理的に機能するシステム³

アラン・チューリングは、「機械は考えることができるか」と問いかけました⁵。IBMは、チューリングのAIの定義は、おそらく「人間のように行動するシステム」というヒューマン・アプローチを使うだろうと論じています⁴。

RussellとNorvigは「人間対理性、思考対行動という2つの側面から考えられる組み合わせは4つあり、4つすべてに支持者と研究プログラムがあった」と主張しています。⁷

Techopediaは、「次世代AIはデータを基にした意思決定を人間よりも速く正確に行うことができる、新しいタイプの脳に着想を得た回路やアーキテクチャを生み出すことが期待されている」と推測しています。¹

AIの歴史の概要

Alan Turing登場以前、AIの例のほとんどは神話や文学作品の中に見出されていました。ギリシャ神話には、おそらくAIの最も代表的な例が含まれています。Pamela McCorduckは著書「Machines Who Think（考える機械）(英語)」の中で、火と鍛冶の神である足の不自由なヘパイストスが「歩くのを助け、鍛冶を手伝う従者を作った」 ⁸と述べています。ヘパイストスのオートマトンの説明として、McCorduckはHomerの「イリアス」を次のように引用しています。

「これらは金色で、見た目は生きている若い女性のようです。その心には知性があり、その中には言葉があり、力があります。不滅の神々から物事の進め方を学んだのです。」⁹

おそらくギリシャ神話で最もよく知られているオートマトンはタロスでしょう。人や「青銅の雄牛や雄牛の頭をした男」¹⁰として描かれることもある巨大な青銅製のオートマトン、タロスはクレタ島を侵略者から守っていました。アキレスと同様、タロスの弱点は足首にありました。

Turingが「コンピューターサイエンスの父」であるならば、Charles Babbageは「コンピューターの父」といえます。¹¹Babbageは差分エンジンとその後継である分析エンジンを発明しました。対数を含む数値表を計算するように設計された分析エンジンには、中央処理装置とメモリが搭載されており、パンチカードでプログラムされており¹²、汎用コンピューターの先駆けとなっています。

次に象徴的なオートマトンは、Mary Shelleyが1818年に発表したSF・ゴシック小説「フランケンシュタイン」でしょう。記事「The Link Between Mary Shelley’s Frankenstein and AI（メアリー・シェリーのフランケンシュタインとAIのつながり）（英語）」で、著者のCharlotte Mckeeは「ヴィクター・フランケンシュタインの創造と人工知能の間には議論の余地のないつながりがある」としています。¹²Mckeeは「Shelleyが人工の存在について提起する質問は、AIの作成に関連し、汎用人工知能の可能性と、フランケンシュタインとAIを結びつける多くの倫理的懸念も探求する」と述べています。¹³

フランケンシュタインは善悪のどちらかを意図して作られたものではありません。小説全体を通して、フランケンシュタインは鋭い心と明瞭さを示し、読むことと話すことの両方を学び、幸せ、怒り、欲望という人間の感情を体験します。Mckeeはそれが「まさに機械知能の具現化であり、小説を通じ、まるでアルゴリズムのように学習していく」と主張します。¹³

20世紀に入り、AI、少なくとも「悪い機械」という概念は、舞台や銀幕から広まりました。フランケンシュタインの初期の翻案以外では、メディアにおけるAIの最も有名で影響力のある2つの例、特に演劇と無声映画の例としては、次のようなものがあります。

Karel ČapekのSF劇「RUR」または「Rossumovi Univerzální Roboti（英語）」（ロッサムの万能ロボット）は、「ロボット」という言葉を広めるのに寄与しました。¹⁴
Fritz Langのドイツ表現主義の偉大な映画作品「メトロポリス」(英語)は最も影響力のある無声映画の一つと考えられており、Roger Ebertは「『メトロポリス』は無声映画の偉大な業績の一つである」と述べています。¹⁵

ねじのチューリング

アラン・チューリングが科学に与えた影響は、コンピューターサイエンスやAIに留まらず、計り知れないものがあります。チューリングの業績として、ドイツ軍の暗号機エニグマに対抗するためのコードブレーカーとしての働きは、ナチスドイツの暗号化された通信を解読する上で非常に重要でした。BBCによれば、チューリングは第二次世界大戦を早期終結に導き、1,400万から2,100万人の命を救ったと推定されています。¹⁶

チューリングテストは、間違いなくAIの柱の1つです。「Computing Machinery and Intelligence（英語）」では当初「模倣ゲーム」⁵と呼ばれていたチューリングテストは、コンピューター（またはあらゆる機械）が知的かどうか、考えることができるかどうかを判断する手段です。

Turingは、人間のインタビュアーが、人間のような会話を模倣しようとしているコンピューターなどの機械と人間との会話を評価できると主張しました。被験者の1人が人間の言葉を模倣する機械であることを知っていたため、この人間のインタビュアーは2人の被験者を互いに分離し、各被験者に質問して回答を記録していました。各被験者のインタビュアーへの返答は書き取られるか、または入力されるため、機械が人間の話し言葉として言葉をどれだけうまく表現できるかに会話が左右されることはありません。

インタビュアーが機械と人間を確実に判断できない場合、機械はテストに合格します。機械の答えは、それ自体が正しい答えである必要はなく、人間が出すかもしれない答えであれば十分です。⁵

今日の人々にとって、逆チューリングテスト、つまり被験者がコンピューターではなく人間であることを証明しなければならないテストの体験は馴染みがあるものでしょう。CAPTCHA（Completely Automated Public Turing Test To Tell Computers And Humans Apart）は、おそらく逆チューリングテストの中で最も認識しやすいものでしょう。¹⁷一般的なCAPTCHAの例は次のとおりです。

reCAPTCHA- reCAPTCHAにはさまざまな種類がありますが、最もよく知られているのは「私はロボットではありません」というチェックボックスです。
Confidence Captcha, Picture identification CAPTCHA - ユーザーに複数の写真やタイルが提示され、信号機や子猫などの例をすべて選択するように求められます。
Word Problem CAPTCHA - 文字が打ち線が引かれたりぼやけたりして、歪んでいることが多い単語の画像がユーザーに表示され、単語を入力するように求められます。¹⁸

AIはチューリングテストに合格したか？

現代のあらゆる技術の進歩にもかかわらず、2022年6月（本記事執筆）時点で、チューリングテストに合格したAIは存在しません。¹⁹ この事実にもかかわらず、AIがチューリングテストに合格しなかったからといって、思考力、インテリジェントな機械、そしていつか機械がテストに合格する可能性を否定する証拠にはなりません。

シェフィールド大学の人工知能とロボット工学の教授であるNoel Sharkeyは、「機械が私たちをだまして人間だと信じ込ませることができなかったとしても、TuringはAIの目覚ましい進歩に興奮することでしょう」と主張しています。¹⁹同教授は続けて、Turingが「ディープブルーがチェスで世界チャンピオンのGary Kasparovを破ったとき、またはIBMの Jeopardy Watsonがアメリカのゲーム Jeopardyで史上最高の2人の人間の対戦相手を倒したと知ったら、喜びのあまり踊っていただろう」と想像しています。²⁰同教授は「チューリングテストは今でもAIの進歩を図式化する有用な方法であり、今後何世紀にもわたって人間がそのことについて議論するだろうと信じています」と結論付けています。²⁰

さまざまなAIの種類

AIは一般的に、「AIシステムが人間の能力を再現できる度合い」に基づいてカテゴリー分けされています²¹。AIはまだチューリングテストには合格していませんが、人間の機能を実行する上での熟練度の分類に役立ち、より単純で「あまり進化していないタイプ」²¹のAIと、人間のような機能や能力を発揮できるより進化したタイプのAIとの比較を可能にします。

Forbesによると、AIには、その能力と機能に基づき、大きく分けて2つの分類またはタイプがあります。具体的には、AIとAI対応マシンは、人間の心との類似性と、人間のように思考する能力、さらには感じる能力に基づいて分類されるとしています。²¹Java T Pointでは、これら7種類のAIがタイプ1グループとタイプ2グループの2つに分けられるとされています。

Techopediaは、超高速の情報処理に対する需要が高まる中、今日のデジタル処理ハードウェアではこのペースについていけないと指摘しています。¹今後のニーズに対応するために、研究者や開発者は脳からインスピレーションを得て、エネルギー効率が高くスケーラブルな方法で高速かつ適応学習機能を備えた人工ニューロンとシナプスの代替アーキテクチャを検討しています。¹タイプ1のグループは、知能別に分類された「AIの進化段階」¹で構成されており、以下の例が含まれます。

狭義の人工知能（ANI）または狭義のAI
汎用人工知能（AGI）または汎用AI
人工知能（ASI）またはスーパーAI/強力なAI

タイプ2のグループは、機能別に分類されたAIで構成され、次の例が含まれます。

反応型AI
限定記憶型AI
心の理論AI
自己認識型AI²²

弱いAIと強いAIの違いとは？

AIの進化段階は、より速く、より賢く、より効率的な情報処理への要求に基づいて、ある段階から次の段階へと移行していきます。哲学者のJohn R. Searleは、1980年の論文「Minds, Brains, and Programs（心、脳、プログラム）(英語)」の中で「弱いAIと強いAI」という用語を作り出したと考えられており、その中で「私が『強い』AIと呼ぶものを『弱い』または『慎重な』AIと区別することは有益だと思う」と述べています。²³

狭義のAIの「弱いものから強いもの」へのパフォーマンスレベルは汎用AIやスーパーAIと簡単に区別できます。Great Learningでは、弱いAIとは「特定のタスクを得意とし、教師あり学習と教師なし学習を使用してデータを処理する、範囲が限定された狭いアプリケーション」であると指摘しています。²⁴逆に、強力なAIは、より広い範囲のアプリケーションを使用し、驚異的な人間レベルの知能を持ち、データを処理するためにクラスタリングと関連付けを使用するとします。²⁴

狭義のAIとは？

進化するAIの第一段階であり、能力ベースのAIの中で最も一般的で利用しやすいカテゴリーであるANIは、現在存在する、そして過去に存在したすべてのAIを表しています。AppleのSiriとAmazonのAlexaはいずれも、日常生活で目にしたり使用したりする可能性のある狭義のAIの例です。狭義のAIの一般的な事前決定機能には、「音声認識、自然言語処理、コンピュータービジョン、機械学習、およびエキスパートシステム」¹が含まれます。

単に現存するAIを指す以外でも、狭義のAIの要件は単純です。具体的には人間のような知性を使って特定のタスクを実行することです。狭義のAIの「狭義の」とは、AIの限られた、通常は事前定義された機能の範囲を指します。このようなAIは多くの場合、単一の専用タスクを念頭に置いて作成されており、その制限やプログラミングの範囲外のタスクを実行することはできません。

IBMのWatsonやその他のスーパーコンピューターAIは、依然として狭義のAIと見なされています。エキスパートシステムアプローチ、ML、自然言語の進行をどのように使用しているかにかかわらず、「これらのシステムは、すべての反応型・限定記憶型AIに対応」しています。²¹ Forbesはさらに、「機械学習とディープ・ラーニングを使用して学習する最も複雑なAIでさえ、ANIに該当する」と述べています。²¹

汎用AIとは？

進化するAIの第2段階である汎用人工知能（AGI）とは、「人間のように学習し、知覚し、理解し、機能できる」AIを指します。²¹AGIシステムは、さまざまな能力を独立して構築し、ドメイン全体にわたる接続と能力を開発できます。この能力は「トレーニングに必要な時間を短縮し、人間の多機能能力を再現することで、AIシステムを人間と同等の能力を持つものにする」ものです。²¹汎用AIとは、いつの日かコンピューターが人間と同じくらい賢く、知的タスクを実行でき、「さまざまな刺激に従って自律的に機能する人間の心の能力」を持つようになるという夢といえます。¹

本稿執筆時点では、非公開で開発されている可能性はあるものの、現存する汎用AIシステムは知られていません。

スーパーAIとは？

AIの進化の第3段階であり最終段階であるASIは、人間の知能を超えるAIという仮説上の概念を指します。スーパーAIは、思考能力、推論能力、判断能力、計画能力、学習能力、コミュニケーション能力など、強力なAIの主要な特徴の多くを備えているはずです。²²その名の通り、ASIは人間の知能を超え、事実上あらゆる分野で最高の人間の知性を上回る知性を生み出す可能性があります。

反応型AIとは？

機能特化型AIの最初のタイプである反応型AIは、リアルタイムのデータを使用して意思決定を行います。「極めて限られた能力しか持たない）最も古いAIシステムのひとつである反応型AIは、記憶に基づく機能を欠き、（自身の）経験（や記憶）を現在の行動に役立てることができない」とされています。²¹このAIは人間と同じように学習する能力がなく、あらかじめ定義された入力や条件にのみ反応します。「1997年にチェスのグランドマスターであるギャリー・カスパロフを倒したマシン、IBMのディープ・ブルー」²¹も反応型AIの一例です。

限定記憶型とは？

機能特化型AIの2番目である限定記憶型は、過去の経験から保存されたデータを活用して意思決定を行います。このAIは反応型マシンの機能を備えており、多くの場合、限られた期間にデータを保存し、履歴データから学習を実証することができます。

限定記憶型は、今日のほとんどのAIシステムやアプリ、特にディープ・ラーニングを使用し、「将来の問題を解決するための参照モデルを形成するためにメモリに保存された大量のトレーニングデータによってトレーニングされる」ものです。²¹

自動運転車は、限定記憶型AIの一般的な例です。Edurekaは、今日の自動運転車は「道路を横断する民間人、急な道路、交通信号（および同様の道路ナビゲーション情報）をセンサーで識別して、より良い運転判断を下し、その学習経験を活用することで、将来の事故を防ぐことができる」としています。²⁵

心の理論AIとは？

機能特化型AIの3番目のタイプである心の理論AIは、ユーザーの意図や同様の主観的要素を意思決定に取り入れます。反応型AIや限定記憶型AIとは異なり、心の理論AIは現在、開発の初期概念段階、あるいは開発の初期段階にあります。Forbesでは、心の理論AIを、人間の感情、信念、社会的手がかり、思考プロセスを理解し、「主体のニーズを見極める」²¹ことができる「次のレベルのAIシステム」²¹と表現しています。Forbesは心の理論AIについてさらに、「人間のニーズを真に理解するには、AIマシンは人間を複数の要因によって心を形作ることができる個人として認識しなければならない」と述べています。²¹

自己認識型AIとは？

機能特化型AIの4番目かつ最後のAIである自己認識型AIは、人間の心に似た意識と、目標を立て、データ主導の意思決定を行う能力を特徴としています。これを書いている時点では、自己認識型AIは現時点では仮説的なアイデアに過ぎず、AI研究の最終目標となる可能性のある概念です。Forbesによると、自己認識型AIは他人の感情を理解して呼び起こすことができ、また独自の感情、ニーズ、信念、そして潜在的に欲望を持つことができます。²¹仮説であろうとなかろうと、自己認識型AIは、SFや同様の大衆文化の多くで容易に見つけることができます。

機能特化型AIをポーカープレイヤーに例えたら？

Techopediaでは、さまざまな機能特化型AIのタイプを区別するための楽しい例として、ポーカーゲームのプレイヤーにAIをそれぞれ例えています。

反応型プレイヤーは現在プレイ中の手札（カード）に基づいてすべての決定を下す
限定記憶型プレイヤーは自分自身と他のプレイヤーの過去の決定のみを考慮する
心の理論型プレイヤーは他のプレイヤーの行動の手がかりを考慮する
自己認識型AIプレーヤーは、お金のためにポーカーをすることが、時間と労力の最大限の活用かどうかを疑問に思う ¹

生成AIとは？

AIのサブセットである生成AIは、人間のようなテキスト、音声、コード、画像、シミュレーション、動画の制作を専門としています。これらのAIモデルは、非常に大規模なデータセットからパターンや構造を把握するためにDL技術を採用しています。その後、獲得したパターンにより、モデルはサンプリングを通じてコンテンツを作成できるようになります。

生成AIの多様な応用はさまざまな分野で有望な成果をもたらしており、継続的な研究開発がその限界を押し広げています。とはいえ、特に悪用される可能性や、欺瞞的、操作的、偽のコンテンツの生成に関しては、倫理的な懸念が生じます。したがって、生成AIの探求には、責任ある開発、使用、および採用の実践に関する議論が伴う必要があります。

機械学習とディープ・ラーニングとは

AIについて議論するとき、ディープ・ラーニングとMLはしばしば混同されますが、その理由を理解するのは難しいことではありません。いずれもタスクや目標の達成に重点を置いたAIのサブセットです。ディープ・ラーニングとMLの例は、自動運転車から顔認識ソフトウェアまで、今日では簡単に見つけることができます。ディープ・ラーニングとMLには共通の互換性がありますが、この2つを区別する点もたくさんあります。

ディープ・ラーニングの概要と仕組み

機械学習のサブフィールドであるディープ・ラーニングは、Techopedia(英語)では、機械学習アルゴリズムを複雑性と抽象度が増す階層に積み重ねる人工知能（AI）への反復的なアプローチと定義²⁶されており、各ディープ・ラーニングレベルは、階層の前の層から得られた知識を使用して作成されるとしています。²⁶

著者のMichael Middletonは、Flatiron Schoolのブログ記事「Deep Learning vs. Machine Learning — What's the Difference?（ディープラーニングと機械学習 — 違いは？）（英語）」で、ディープ・ラーニングモデルは機械学習に非常に洗練されたアプローチを導入し、特に人間の脳をモデルにしているため、[複雑なタスクを実行する] ように設定されていると述べています。²⁷Middletonは人間の脳との比較を続け、「複雑で多層的な『ディープ・ニューラル・ネットワーク』は、（ニューロンのような）ノード間でデータを高度に接続された方法で受け渡しできるように構築されており、その結果データの非線形変換がますます抽象的になっている」と指摘します。²⁷

IBMは、ディープ・ラーニングの「ディープ」という言葉について、入力と出力を含む3層以上で構成されるニューラル・ネットワークは、ディープ・ラーニング・アルゴリズムとみなすことができると指摘しています。³Middletonは、「ディープ・ニューラル・ネットワークをフィードして構築するには膨大な量のデータが必要ですが、すぐに結果を生成し始めることができ、プログラムが実行されれば人間の介入は比較的ほとんど不要である」と述べています。²⁷

Levityの同タイトルのブログ記事「Deep Learning vs. Machine Learning – What’s The Difference?」(英語)で、著者のArne Wolfewicz は、ディープ・ラーニングアルゴリズムは人間の心のようにデータを分析するだけでなく、「教師あり学習と教師なし学習を通じて、人工ニューラル・ネットワーク（ANN）と呼ばれる階層構造のアルゴリズムを使用して」分析を実行できると述べています。²⁸このANNは人間の脳の生物学的神経回路網に着想を得ており、標準的な機械学習モデルよりもはるかに高性能な学習プロセスを実現しているとしています。²⁸

Zendeskのブログ記事「(英語)Deep learning vs. machine learning: What’s the difference？（ディープ・ラーニングと機械学習：その違いは？）（英語）」の著者であるPatrick Grieveも、深層学習モデルの難しさと誤った結論について「他のAIの例と同様に、ディープ・ラーニングモデルは学習プロセスを正しく行うために多くのトレーニングを必要とします。しかし、意図したとおりに機能する場合、関数型ディープ・ラーニングは、真の人工知能のバックボーンであると多くの人が考える科学的な驚異として受け入れられることがよくあります」述べています。²⁹

Simplilearnの「Top 10 Deep Learning Algorithms You Should Know in 2022（2022年に知っておくべきディープ・ラーニングアルゴリズムトップ10）（英語）」という記事を執筆したAvijeet Biswalは、ディープ・ラーニング・アルゴリズムは自己学習機能を使用することが多いものの、「これらのアルゴリズムは脳が情報を計算する方法を反映するANNに依存している」と指摘しています。³⁰Biswalは「アルゴリズムは、トレーニングプロセス中に入力分布の未知の要素を使用して特徴を抽出し、オブジェクトをグループ化し、有用なデータパターンを発見し、このトレーニングプロセスは複数のレベルで行われ、アルゴリズムを使用してモデルを構築する」と続けます。³⁰

主なディープ・ラーニング・アルゴリズムの例

ディープ・ラーニングが現在広く使われているAIの中で最も複雑なものだという考えは誇張ではありません。ディープ・ラーニング・モデルでは、特定のタスクに対してさまざまな学習モデルが使用されます。Avijeet Biswalは、最も人気のディープ・ラーニング・アルゴリズムのトップ10として次を挙げています。

畳み込みニューラル・ネットワーク（CNNまたはConvNet）
長短期記憶ネットワーク（LSTM）
再帰型ニューラル・ネットワーク（RNN）
敵対的生成ネットワーク（GAN）
放射基底関数ネットワーク（RBFN）または放射基底ネットワーク
多層パーセプトロン（MLP）
自己組織化マップ（SOM）
制限付きボルツマンマシン（RBM）
ディープ・ビリーフ・ネットワーク（DBN）
オートエンコーダ（AE）³⁰

畳み込みニューラル・ネットワークとは

CNNはデータから特徴を処理・抽出する³⁰複数の層と、「画像内のさまざまなオブジェクトに重みとバイアスを割り当て、画像内のあるオブジェクトを別のオブジェクトと区別できる」²⁶アルゴリズムとして構成されており、「衛星画像の識別、医療画像の処理、時系列の予測、異常の検出」が含まれます。³⁰Biswalは「Yann LeCunが最初のCNNを開発したのは1988年で、当時はLeNetと呼ばれており、郵便番号や数字のような文字を認識するのに使われていた」と述べています。³⁰

以下は、CNNがデータを処理して特徴を抽出するときに活用する4つの層です。

畳み込み層 - 畳み込み演算を実行するためにさまざまなフィルターを使用する
整流線形単位（ReLU）- 要素の演算を実行し、整流された特徴マップの出力を含む
プーリング層 - 整流された特徴マップによって供給されるプーリングは特徴マップの次元を縮小するダウンサンプリング操作で、その後プーリング層は、プールされた特徴マップの2次元配列を平坦化し、連続した長い単一の線形ベクトルに変換する
全結合層 - プーリング層の平坦化されたマトリックスが入力として供給されるときに形成される、画像を分類して識別するプロセス ³⁰

長短期記憶ネットワークとは？

LSTMはRNNの一種で、情報を学習して保持し、以前に学習した情報を呼び出すように設計されています。学習能力があり、同様に長期記憶保持（長期依存性）を示すことができます。Techopediaでは、LSTMは「配列予測問題で順序依存性を学習でき、機械翻訳や言語モデリングでよく使われる」²⁶としています。
Biswalは、LSTMは「過去の入力を記憶しているため、時系列予測に有用であり、一般的に音声認識、作曲、医薬品開発に使用されている」と述べています。³⁰

LSTMがこのように機能するのは、3つの層またはゲートが通信するリンク構造があるためです。Rian Dolphinは、記事「LSTM Networks | A Detailed Explanation（LSTMネットワーク|詳細な説明）で、これらのゲートが忘却ゲート、入力ゲート、出力ゲートであると述べています。³¹

LSTMワークフローの例を次に示します。

忘却ゲートは、前の隠し状態（以前の入力の表現）とシーケンス内の新しい入力データに基づき、セル状態（ネットワークの長期記憶）のどの部分が有用で保持されるべきかを決定します。無関係なデータは忘却されます。
tanh活性化ニューラル・ネットワークである新しいメモリネットワーク（NMN）は、入力ゲートと通信して、ネットワークのセル状態に追加する必要がある新しい情報を決定し、セル状態を更新します。この決定は、以前の隠し状態と新しい入力データの両方に依存します。
出力ゲートは、以下の要素に基づいて新しい隠れ状態を決定します。
- 新しく更新されたセルの状態
- 以前の非表示状態
- 新しい入力データ³¹

再帰型ニューラルネットワークとは？

RNNはシーケンシャルなデータを記憶することができるアルゴリズムであり、「LSTMからの出力を現在のフェーズへの入力として供給できる（そして内部メモリにより以前の入力を記憶できる）有向サイクルを形成する接続」を特徴としています。³¹RNNは「音声認識、音声認識、時系列予測・分析、自然言語処理」²⁶、「画像キャプション、手書き認識、機械翻訳」³⁰によく使用されます。

敵対的生成ネットワークとは？

GANは新しいデータを生成するために互いに競合する2つのアルゴリズムで構成されています。Biswalはこの説明をさらに発展させ、それぞれ「GANには、偽データを生成することを学習するジェネレーターモデルとその誤った情報から学習するディスクリミネーターモデルの2つの要素がある」と述べています。³⁰

GANは「デジタル写真の復元やディープフェイク動画」²⁶ などのプログラムでリアルな画像や漫画のキャラクターの生成、人間の顔写真の作成、3Dオブジェクトのレンダリング³⁰などのプログラムでよく使用されます。ビデオゲーム開発者が古いビデオゲームの低解像度の2Dテクスチャを画像トレーニングによって4K以上の解像度で再現し、アップスケールするのに役立ちます。³⁰

GANワークフローの例を次に示します。

ディスクリミネーターはジェネレーターの偽データと実際のサンプルデータを区別することを学習します。
最初のトレーニングが表示されジェネレーターが偽のデータを生成すると、ディスクリミネーターはそれが誤りであることをすぐに認識します。
GANはその結果をジェネレーターとディスクリミネーターに送信してモデルを更新します。³⁰

放射基底関数ネットワークとは？

Techopediaでは、RBFNを「教師あり機械学習を使用して非線形分類器、低次元のベクトルで動作する単純な線形分類器よりも高度な関数を使用する非線形関数（高度な関数を使用する非線形関数）として機能する教師あり [ANN] の一種」と説明しています。³²Biswalは、RBFNについて「放射基底関数を活性化関数として使用し、入力層、隠れ層、出力層を含む特殊なタイプのフィードフォワード・ニューラル・ネットワークであり、主に分類、回帰、時系列予測に使用される」と述べています。³⁰

RBFNは次のようなフローと特徴によって機能します。

分類がまず、トレーニングセットの例に対する入力の類似性を測定することによって実行される。
- RBFN には、入力層に供給される入力ベクトルと RBF ニューロンの層があります。
この関数は入力の加重和を求め、出力層にはデータのカテゴリーやクラスごとに1つのノードが存在する。
- 隠れ層にはガウス伝達関数を含むニューロンがあり、これらの伝達関数の出力はニューロンの中心からの距離に反比例する。
- このネットワークの出力は入力の放射基底関数とニューロンのパラメーターの線形結合となる。³⁰

多層パーセプトロンとは？

Techopediaでは、MPLを「一連の入力から一連の出力を生成するフィードフォワード [ANN] であり、入力ノードが入力層と出力層の間に有向グラフとして接続されていることを特徴とするフィードフォワード [ANN]」と説明しています。³³Biswalは、MLPは「入力層と出力層の数は同じだが、隠れ層が複数ある可能性がある」と指摘しています。³⁰。Techopediaは、MLPはしばしば「入力層と出力層の間に有向グラフとして接続された入力ノードの複数の層」を特徴としており、ノードを通る信号経路は一方向にしか通らず、入力ノードを除く各ノードは非線形活性化関数を持つ」としています。³³

MLPは「ネットワークを訓練するための教師あり学習手法としてバックプロパゲーションを活用しており、教師あり学習を必要とする問題解決や、計算論的神経科学や並列分散処理の研究に広く利用されて」います。³³MPLは、音声認識、画像認識、機械翻訳などのアプリケーションでよく使用されます。

MPLワークフローの例を次に示します。

MLPがネットワークの入力層にデータをフィードする。
- ニューロンの層はグラフ状に接続され、信号が一方向に通過する。
MLPが入力層と隠れ層の間に存在する重みを使用して入力を計算する。
MLPが活性化関数を使用してどのノードを起動するかを決定する。
- 活性化関数には、ReLU、シグモイド関数、tanhなどがある。
MLP（多層パーセプトロン）は、トレーニングデータセットから独立変数と目的変数の相関を理解し、依存関係を学習するためにモデルを訓練します³⁰。

自己組織化マップとは？

Teuvo Kohonen教授によって発明され、自己組織化特徴マップ（SOFM）またはKohonenマップと呼ばれることもあるSOMは、Techopediaでは「教師なし学習を使用して問題空間の2次元マップを構築する [ANN] の一種で、問題空間は、米国議会での投票、色の地図、さらにはウィキペディアの記事間のリンクまで、何でも構わない」とされています。³⁴

言い換えれば、SOMは「自己組織化（ANN）により、データの次元を下げるデータ可視化を可能にし」ます。³⁰SOMは「六角形または長方形のグリッド上にデータの視覚的表現を生成する」ことにでデータの視覚化を活用します。³⁴これは主に、「人間が高次元のデータを簡単に視覚化できないという問題を解決し、ユーザーが高次元の情報を理解できるようにするため」に行われます。³⁰

具体的には、SOMは「人間の脳の視覚野が視神経から生成される信号を使って物体を視覚する方法をミラーリングし、ネットワーク内のすべてのノードが異なる入力に対して異なる反応をするようにする」ことを試みます。³⁴

MLPは教師あり学習にバックプロパゲーションを使用しますが、SOMは「勾配降下法によるバックプロパゲーションのようなエラー修正学習ではなく、ノードが最終的に専門化する競争学習」を活用します。³⁴SOMは「教師あり学習やエラー訂正学習とは異なるものの、アルゴリズムを訓練するためにエラー信号や報酬信号を使用しないため、教師なし学習の一種」とされます。³⁴

Techopediaによると、SOMSは入力データが与えられると、「ユークリッド距離または重み付けされたノード間の直線距離」を計算します。³⁴ベストマッチングユニット（BMU）とは、入力データに最も類似するネットワークのノードを指します。

SOMが「問題セットの処理を進めるにつれて、重みは実際のデータに近づき始め、SOMは、人間がこれらのパターンを認識する方法と同様に、データ内のパターンを視覚するように自己訓練」します。³⁴

SOMは「気象学、海洋学、プロジェクトの優先順位付け、石油・ガス探査」などの用途によく使用されます。³⁴

SOMワークフローの例を次に示します。

SOMは各ノードの重みを初期化し、トレーニングデータからランダムにベクトルを選択する。
SOMはすべてのノードを調べ、どの重みが最も可能性の高い入力ベクトルであるかを検出する。
- 勝者ノードはBMUと呼ばれる。
SOMはBMUの近隣を発見し、近隣の数は時間の経過とともに減少する。
SOMがサンプルベクトルに勝者の重みを与える。
- ノードがBMUに近づくほどその重みは変化する。
- 近隣がBMUから離れるほど学習は減少する。
ステップ2をN回繰り返す。³⁰

制限付きボルツマンマシンとは？

1985年、Geoffrey HintonはDavid AckleyとTerry Sejnowskiと共同でRBMを作成（英語）³⁵しました。Techopediaは、RBMを「生成ネットワークの一種」³⁶と説明しており、これが複雑な入力に取り組むために次元削減のタイプを活用する [協調的な] フィルタリング、特徴学習、分類に一般的に使用されます。³⁶Biswalは、RBMが「次元削減、回帰、トピックモデリング」³⁰にも使用され、「RBMはDBNの構成要素を構成する」と付け加えています。³⁰RBMは、個々のRBMを積み重ねてDBNなどの高度なモデルを作成する場合に特に使用されます。

RBMの名称は、モデルの『制限』となる階層間の通信がない³⁶ことと、RMBのノードが確率的またはランダムな決定を行うことに由来します。³⁶こうしたランダムなプロセスから、RBMは「確率的ニューラル・ネットワーク」と呼ばれることもあります。³⁰

Biswalは、RBMには可視ユニットと隠しユニットの2つの層があり、各可視ユニットはすべての隠れユニットに接続され、RBMにはすべての可視ユニットと隠れユニットに接続されたバイアスユニットがあり、出力ノードはないと述べています。³⁰

RBMのワークフローには、フォワードパスとバックワードパスの2つのフェーズがあります。³⁰

フォワードパスの段階では、RBMは...

入力を受け入れ、それを入力をエンコードする数値のセットに変換します。
すべての入力を個別の重みと1つの全体的なバイアスと組み合わせます。アルゴリズムは出力を隠れ層に渡します。

バックワードパスの段階では、RBMは...

その数値セットを取得し、それを変換して再構築された入力を形成します。
各アクティベーションを個々の重みと全体的なバイアスと組み合わせ、出力を可視層に渡して再構築します。
- 可視層では、RBMは再構成を元の入力と比較して、結果の品質を分析します。³⁰

ディープ・ビリーフ・ネットワークとは？

複雑なタイプの生成ニューラル・ネットワーク（GNN）に相当し、Techopediaでは、DBNを「各レイヤーに2つの目的（前の層の隠れ層と、次に来るものの可視層として機能）がある教師なしのディープ・ラーニング・アルゴリズム」と定義しています。²⁶

Biswalは、DBNは確率的な潜在変数（バイナリ値を持ち、しばしば隠れユニットと呼ばれる）の複数の層で構成される生成モデルであると指摘しています。³⁰

BiswalとTechopediaは、さまざまな小規模な教師なしニューラル・ネットワークで構成される」RBNのグループと総称しています。³⁷TechopediaはDBNを「層間の接続があり、各RBM層は前後の層と通信する」と説明しています。³⁷これらの層は接続されていますが、ネットワークには単一層のユニット間の接続は含まれていないとしています。³⁷

ディープ・ビリーフ・ネットワークの共通の特徴の1つは、層間には接続があっても、ネットワークには単一層内のユニット間の接続が含まれていないことです。

Techopediaによると、MLとニューラル・ネットワーク設計のパイオニアであるGeoffrey Hintonは、スタックRBMを「貪欲な」方法でトレーニングできるシステムを提供するものとして特徴付け、ディープ・ビリーフ・ネットワークをトレーニングデータの深い階層表現を抽出するモデルとして説明しています。³⁷

具体的には、「欲張り学習アルゴリズムは、トップダウンの生成重みを学習するためにレイヤーごとのアプローチを採用」しています。³⁰Biswalは「DBNは、各層の潜在変数の値が1回のボトムアップパスで推測できることを学習する」と述べています。³⁰

この貪欲な教師なしMLモデルは、エンジニアが、データのラベリングが少なく、ランダムな入力と反復的なプロセスに基づいて結果を組み立てる必要がある、構造化されていない、より堅牢なシステムを追求する方法を示しています。³⁷

DBNプロセスの一環として、上の2つの隠れ層でGibbsサンプリングのステップを実行し、上の2つの隠れ層によって定義されたRBMからサンプルを描画し、モデルの残りの部分を通る祖先サンプリングのシングルパスを使用して、可視ユニットからサンプルを描画します。³⁰

DBNは「画像認識、ビデオ認識、モーションキャプチャデータ」³⁰、「がんなどの疾患検出のためのヘルスケア分野」²⁶などの用途で一般的に使用されています。

オートエンコーダとは？

オートアソシエーターやディアボロネットワークとしても知られるAEは、入力から出力を再構成するフィードフォワードアプローチを活用し、圧縮やその他の機能を提供する教師なし [ANN]³⁸であり、入力と出力が同一です。³⁰

教師なし学習問題を解決するためにGeoffrey Hintonによって開発(英語)³⁹されたAEは、最初に入力を圧縮し、次にそれを送信して出力として解凍することによって機能します。この圧縮解除された出力は、多くの場合、元の入力と似ています。Techopediaは、このプロセスは「オートエンコーダーの性質、つまり類似した入力と出力が測定され、実行結果と比較される」ことを例示していると述べています。³⁸

オートエンコーダには、エンコーダとデコーダという2つの主要部分があります。エンコーダは入力をコードにマッピングし、デコーダはコードを入力の再構築にマッピングします。「元のデータはコード化された結果になり、ネットワークの後続のレイヤーはそれを最終的な出力に拡張する」ため、コードは第3の部分とみなされることがあります。³⁸

「ノイズ除去」AEはAEを理解するための便利なツールです。Techopediaによると、ノイズ除去AEは「元の入力とノイズの多い入力を使用して、出力を改良し、元の入力セットを表すものを再構築する」ことです。³⁹

AEは画像処理や創薬（・人気予測）を含む用途に一般的に使用されています。³⁰

AEワークフローの例を次に示します。

エンコーダーが入力を受信する。
入力は別の表現に変換される。
元の入力をできるだけ正確に再構築しようと試みる。
画像はエンコードされ、より小さな表現に縮小される。
- 画像がはっきりと見えない場合はAEニューラル・ネットワークに送られる。
この画像をデコードして再構成画像を生成する。³⁰

機械学習の概要と仕組み

TechopediaはMLをAIのサブトピックとして説明しており、データ内のパターンと関係を識別できるアルゴリズムモデルの構築、マシンという言葉をコンピュータープログラムの同義語としてコンテキスト化し、機械学習アルゴリズムが追加のデータを受け取るにつれて自動的に精度が高まる仕組みを表す単語の同義語としてコンテキスト化することに焦点を当てているとしています。⁴⁰

Patrick Grieveは、機械学習を「データを解析し、そのデータから学習し、学習した情報に基づいて意思決定を行うアルゴリズムを含む AIのアプリケーション」と定義しています。²⁹

Arne Wolfewiczは、機械学習をより簡単に「コンピュータがデータから学習するときの一般的な用語」²⁸と定義し、「アルゴリズムが明示的にプログラムされることなく特定のタスクを実行するために使用され、代わりにデータのパターンを認識し、新しいデータが到着すると予測を行うコンピュータサイエンスと統計学の交差点」と定義しています。²⁸

「機械学習」という用語は、1959年に米国のIBM社員であった、AIとコンピューターゲームの先駆者であるArthur Samuelが、論文「Some Studies in Machine Learning Using the Game of Checkers（チェッカーゲームを使用した機械学習に関するいくつかの研究）（英語）」で初めて使用しました。⁴¹AIの場合と同様に、MLのアイデアも新しいものではありませんでした。Techopediaは、「インターネットの出現やビッグデータ分析とクラウドコンピューティングの最近の進歩まで、MLの商業的な実用化は経済的に実現不可能であり、これはデータのパターンを見つけるためのMLアルゴリズムのトレーニングに非常に大きなデータセットが必要となることが理由だった」としています。⁴⁰

Wolfewiczは「これらのアルゴリズムの学習プロセスは、アルゴリズムに供給するために使用されるデータに応じて、教師ありまたは教師なしのいずれかになり得る」と述べています。²⁸この機械学習の例を挙げて次のように詳しく説明しています。

従来の機械学習アルゴリズムは線形回帰のように単純なものですが、例えば、高等教育を受けた年数を踏まえて収入を予測することを想定してみましょう。まず、関数を定義する必要があります。つまり、収入= y + x *教育年数ですね。次に、アルゴリズムに一連のトレーニングデータを渡します。例えば、一部の人の高等教育年数とそれに関連する収入に関するデータを含む簡単な表などです。次に、アルゴリズムに線を引かせます。例えば、通常の最小二乗（OLS）回帰などです。その後、アルゴリズムにテストデータを与えることができます。つまり、ご自身の高等教育の年数を与え、ご自身の収入を予測させるのです。²⁸

Wolfewiczは、「機械学習の原動力は普通の統計であり、アルゴリズムは明示的にプログラムされなくても、パターンと推論のみに基づいて予測を行うことを学習した」と主張しています。²⁸

Grieveは、「MLは複雑である一方で、結局のところ、MLは懐中電灯、車やコンピューターの画面と同じ機械的機能を果たしている²⁹とし、MLはデバイスが与えられたデータで継続的に機能を実行し、時間の経過とともに徐々に改善されることを意味すると解釈できる」と述べています。²⁹

今日の企業では、リスク分析、不正検出、音声および画像認識などの予測分析にMLがよく活用されています。

Grieveは、機械学習が「マルウェアを追い詰める(英語)データセキュリティ企業から有利な取引のアラートを求める金融専門家まで、複数の業界にまたがるさまざまな自動化タスクを支えており、AIアルゴリズムは仮想パーソナルアシスタントをシミュレートする方法で常に学習するようにプログラムされている」としています。²⁹ Techopediaは「予測分析やその他の同様の機械学習プロジェクトでは、コンピューターサイエンティスト、データサイエンティスト、機械学習エンジニアが頻繁に必要になる」と付け加えています⁴⁰

機械学習のトレーニングに使用されるアルゴリズムは？

MLのトレーニングに使用される3つの主要な学習アルゴリズムは次の例で構成されます。

教師あり学習 - 入力としてラベル付けされたトレーニングデータに渡され、出力として正解が表示されます。履歴データセットの結果を活用して、新しく受信されるデータの出力値を予測します。
教師なし学習 - ラベルのない学習データが与えられます。正しい出力を予測するよう要求されるのではなく、入力された学習データを使用してパターンを検出し、同様の動作を示す他のデータセットにこれらのパターンを適用しようとします。半教師あり機械学習として、トレーニング中に、少量のラベル付きデータと大量のラベルなしデータを使用する必要がある場合があります。
強化学習 - この学習アルゴリズムはトレーニングデータを受け取るのではなく、報酬のシグナルを与えられ、報酬を与えるデータのパターンを探します。その入力は、多くの場合、デジタル環境または物理環境との相互作用から得られます。⁴⁰

データサイエンティストとは？

Middletonは、「データサイエンティストを業界の目標を追求するために必要なモデルとアルゴリズムを作成し、コンピューターによって生成されたデータの処理と分析を監督する役割」だと説明しています。²⁷この役割には、PythonやJavaなどの言語を含むコーディングの専門知識と、企業や業界のビジネスや戦略的目標に対する強い理解が求められます。²⁷

機械学習エンジニアとは？

Middletonは、機械学習エンジニアを「データサイエンティストのモデルを実装し、それを企業の複雑なデータや技術エコシステムに統合して、入ってくるデータに基づいて行動する自動制御やロボットの実装とプログラミングを行う役割」だと説明しています。²⁷

Techopediaは、機械学習オペレーション（MLOps）がMLエンジニアの仕事の主な焦点であると指摘しています。MLOpsは、機械学習モデルのライフサイクル全体を管理するアプローチ⁴⁰で、このライフサイクルはトレーニングから日常的な使用、引退までが対象となります。MLエンジニアは、データモデリング、特徴エンジニアリング、プログラミングに加えて、数学と統計の知識を持っている傾向があります。⁴⁰

企業では、データサイエンティストとMLエンジニアがさまざまなAIベースのプロジェクトで協業することになると思われます。特定のビジネス問題を解決するためにどのタイプの学習アルゴリズムが最も効果的かを決定すること、あるいはどのデータを学習に使用すべきか、機械学習モデルの結果をどのように検証するかを決定すること」に取り組むこともあります。⁴⁰

機械学習モデルの概要と仕組み

Techopediaでは、MLモデルを「データに対して実行されたMLアルゴリズムの出力」と定義しています。⁴⁰モデルとアルゴリズムの区別に関しては、Finance Trainの記事「Difference Between Model and Algorithm（モデルとアルゴリズムの違い）」の著者はこう述べています。「アルゴリズムとは、問題を解決するために従うべき一連のルールであり、問題を解決するために正しい順序で従う必要のある一連のルールがあります。モデルとは、アルゴリズムを使って構築するものです。」⁴²

MLモデルを作成するためのワークフローの例を次に示します。

トレーニングデータを収集する。
データをトレーニング用に準備する。
使用する学習アルゴリズムを決定する。
学習アルゴリズムを学習する。
学習アルゴリズムの出力を評価する。
必要に応じて、出力を改善するためにトレーニングプロセスを制御する変数（ハイパーパラメーター(英語)）を調整する。⁴⁰

機械学習におけるバイアスとは？バイアスを防ぐには？

BMCBlogsの記事「Bias & Variance in Machine Learning: Concepts & Tutorials（機械学習におけるバイアスと分散: 概念とチュートリアル）(英語)」で、著者のShanika Wickramasingheは「より大きなデータセット、多様な実装、アルゴリズム、学習要件により、MLモデルの作成と評価はさらに複雑になっている」としています。⁴³さらに「アルゴリズムに問題があったり、データセットが汚染されていたりすると、MLモデルに悪影響を与える可能性がある」と続けます。⁴³

Techopediaによると、MLアルゴリズムの透明性と説明可能性が望まれているにもかかわらず、「機械学習のアルゴリズムの透明性は、特定の予測を行うためにどのアルゴリズムが使われたかを共有する以上に複雑な場合があり」ます。⁴⁰今日の人気のアルゴリズムの多くは無料で入手できますが、偏りが根付いていることが多い独自のトレーニングデータは独自のものであり、アクセスが困難です。

機械学習アルゴリズムにおけるバイアスとは？Wickramasingheはバイアスを次のように説明しています。

アルゴリズムの結果をあるアイデアに対して有利または不利に歪める現象。
MLプロセスにおける誤った仮定によって機械学習モデル自体に発生する体系的なエラー
平均的なモデル予測とグラウンドトゥルースの間の誤差。また、モデルがトレーニングデータセットとどの程度一致しているかを説明。
- 高バイアスのモデルはデータセットと厳密に一致しない。
- 低バイアスモデルはトレーニングデータセットと厳密に一致する。⁴³

Wickramasingheは高バイアスモデルには次の特徴があるとしています。

適切なデータ傾向を捉えられない
アンダーフィッティングの可能性
より一般化/過度に単純化されている
高いエラー率⁴³

機械学習における分散とは？分散とバイアスとの違いは？

ディープ・ラーニングや ML と同様に、MLにおけるバイアスと分散は混同され、混同されることがよくあります。Wickramasingheは分散を次のように説明しています。

トレーニングデータセットの異なる部分を使用する場合のモデルの変更。
モデル予測の変動性 - 与えられたデータセットに応じてML関数がどの程度調整できるか。分散は多数の特徴を持つ非常に複雑なモデルから生じます。
- バイアスが高いモデルは分散が小さくなる。
- 分散が大きいモデルはバイアスが小さくなる。⁴³

Wickramasingheは高分散モデルには次の特徴があるとしています。

データセット内のノイズ
オーバーフィッティングの可能性
複雑なモデル
すべてのデータポイントをできるだけ近づけようとしていること⁴³

アンダーフィッティングとオーバーフィッティングの概要と発生のタイミング

アンダーフィットとオーバーフィッティングは、モデルがどのようにデータと一致しないか、を表す用語です。⁴³

Wickramasingheは「モデルのフィッティングは、与えられたデータセットから正確な予測を返すかどうかに直結する」と指摘しています。⁴³

Techopediaは、アンダーフィッティングを「MLモデルが非常に単純で学習ができない場合に発生する状態」と説明しています。⁴⁴

著者は「予測モデルが訓練データでうまくいかない場合、アンダーフィッティングが最も可能性の高い理由である」と付け加えています。⁴⁴

反対に、オーバーフィッティングとは、機械学習やディープ・ニューラル・ネットワークのモデルが、新しいデータに対しての実行よりも、トレーニングデータに対しての実行で著しくパフォーマンスが高い場合に発生する状態と説明されています。⁴⁴

著者は、MLモデルが無関係な（ノイズの多い）データとパターンを形成する重要なデータを区別できないために新しいデータについて正確な予測ができない場合には⁴⁴オーバーフィッティングが原因の可能性が高いと述べています。

バイアスや分散を予防したり、軽減したりするには？

Wickramasingheは「バイアスと分散は反比例関係にあり、低バイアスかつ低分散のMLモデルは存在しません」とします。⁴³したがって、特定のデータセットに合わせてMLアルゴリズムを調整すると、バイアスが減少し、モデルの予測の不正確さの確率とともに分散が増加する可能性が高くなります。同様に、データセットにより適したモデルを作成することで、予測が不正確になるリスクが減り、分散が減り、バイアスのリスクが高まります。

データエンジニアには、このように分散とバイアスの間のバランスを常に取ることが求められます。Wickramasingheによれば「分散の大きさがMLアルゴリズムが悪いことを意味するわけではなく、機械学習アルゴリズムはある程度のばらつきに対応できるはずです。」⁴³

同氏は、データエンジニアは次の方法でバイアスと分散のトレードオフに取り組むことができると主張しています。

モデルの複雑さの増加 - 重大な分散エラーを発生させることなくモデルをトレーニングデータセットに合わせながら、バイアスと分散に対する説明責任を考慮に入れ、全体的なバイアスを減らし、分散を許容レベルまで増やします。
トレーニングデータセットの増加 — オーバーフィッティングモデルに対処するための推奨方法であり、この方法によりユーザーは大規模なデータセットと同様に、モデルを汚染するバリアンスエラーなしに複雑性を高めることができます。
- 大きなデータセットは、アルゴリズムがデータを簡単に一般化するためのより多くのデータポイントを提供しますが、トレーニングデータセットを増やすことの主な問題は、アンダーフィットモデルや低バイアスモデルがトレーニングデータセットにそれほど敏感ではないことです。そのため、分散やバイアスの高いモデルを扱う場合、解決策としてはデータを増やすことが推奨されます。⁴³

Wickramasingheは、一般的なアルゴリズムと、バイアスと分散の間で予想される動作を一覧にした表を示しています。

アルゴリズム	バイアス	分散
線形回帰	高バイアス	低分散
意思決定ツリー	低バイアス	高分散
バギング	低バイアス	高分散（決定木未満）
ランダムフォレスト	低バイアス	高分散（決定木やバギング未満）⁴³

人工知能、機械学習、ディープ・ラーニングの類似点と相違点は？

Wolfewiczは AI、ML、ディープ・ラーニングを次のように定義しています。

AI - 通常は人間の知性を必要とするタスクを実行できるコンピューターシステムの理論と発展。
ML- 明示的にプログラムされることなく学習する能力をコンピュータに与えるAIのサブセット。
ディープ・ラーニング- 人間の脳の生物学的なニューラル・ネットワークにインスパイアされたアルゴリズムの階層構造であるANNに依存するMLの特殊なサブセット。MLは、標準的な機械学習モデルよりもはるかに高性能な学習プロセスを活用し、自力でインテリジェントな判断を下すことができます。²⁸

Middletonは、機械学習とディープ・ラーニングの主な違いには以下の要素が関係していると主張しています。

人間の介入- Grieveはこう述べています。「基本的なMLモデルは、新しいデータを取り込むにつれて特定の機能を実行するのが徐々にうまくなるとはいえ、人間の介入は必要です。AIアルゴリズムが不正確な予測を返す場合、エンジニアが介入して調整する必要があります。ディープ・ラーニングモデルでは、アルゴリズムは独自のニューラル・ネットワークを介して予測が正確かどうかを判断でき、人間の助けは必要ありません。」²⁹Middletonは、「MLは結果を得るためにより継続的な人間の介入を必要とし、ディープ・ラーニングは確立が相対的に複雑であるもののその後の介入は最小限で済む」と述べています。²⁷
ハードウェア -「MLプログラムはディープ・ラーニングアルゴリズムよりも複雑ではなく、多くの場合、従来のコンピュータで実行できますが、ディープ・ラーニングシステムははるかに強力なハードウェアとリソースを必要とします。この電力需要により、グラフィック処理装置の使用が促進されます。GPUは、高帯域幅のメモリと、スレッド並列性（多くの処理を同時に効率的に実行する能力）によるメモリ転送のレイテンシー（遅延）を隠せる点で有用です。」²⁷
時間 - MLシステムは、セットアップと操作は迅速ですが、結果の出力には限界があります。ディープ・ラーニングシステムはセットアップに時間がかかりますが、結果を瞬時に生成できます。ただし、より多くのデータが利用可能になるにつれ、経時的に品質が向上する可能性があります。²⁷
アプローチ -MLは構造化されたデータを必要とし、線形回帰のような伝統的なアルゴリズムを使用します。ディープ・ラーニングは ANNを採用しており、大量の非構造化データに対応できるように構築されています。²⁷
応用- MLはメールの受信トレイ、銀行、診察室ですでに使われています。ディープ・ラーニング技術は、自動運転車や高度な手術を行うロボットなど、より複雑で自律的なプログラムを可能にします。²⁷

機械学習とディープ・ラーニングが日常生活に及ぼす影響

私たちが今日使用しているテクノロジーの多くは、私たちが当たり前として捉えている機械学習とディープ・ラーニングのアルゴリズムに依存しています。Grieveは、カスタマーサービスでは、今日のAIアプリは「セルフサービスの促進、エージェントの生産性の向上、ワークフローの信頼性の向上に使用されている」と述べています。²⁷

顧客からの問い合わせが次々とこれらのアルゴリズムに送られ、情報が集約され、処理されてから、顧客への回答が生成されます。Grieveは、機械学習とディープ・ラーニングはどちらも「NLPを強化し、コンピューターがテキストと音声を理解できるようにするのに役立ちますが、Amazon AlexaとAppleのSiriは、音声認識を使用して消費者の質問に答えることができる『仮想エージェント』の2つの良い例」と述べています。²⁷

チャットボットは、顧客に応答するためのAIを活用したテクノロジーのもう1つの例です。Grieveは、「ZendeskのAIチャットボットであるAnswer Botは、サポートチケットのコンテキストを理解し、顧客に提案すべきヘルプ記事を学習するために、ディープ・ラーニングモデルを組み込んでいる」と指摘しています。²⁷