このページは管理人が機械学習のお勉強をする上でどうしても引っ掛かり、いろいろと調査を行って、ある程度自分の中で腑に落ちた情報を書き留める場所です。 間違った記述がある可能性があるのでご注意ください。
機械学習は「コンピュータを用いてデータから自動的にデータの特徴や性質を見つける技術」の総称である。
教師あり学習は基本的に、ある入力データ\( \boldsymbol x \)とそれに対する回答（正解データ）\( \boldsymbol y \)の間にある未知の関数\( f \)を計算によって自動的に求めることを目指す。 未知の関数\( f \)はモデルと呼ばれる。数式で書くと次のようになる。 $$ \boldsymbol y = f (\boldsymbol x) $$ モデルの形は当然ながら機械学習の手法によって異なってくる。
脳の神経回路網を模した機械学習モデル。 機械学習の中でも教師あり学習に分類される。
AI（人工知能）という言葉は広義には「計算という概念に基づき、人の知能を何らかの手段を用いて模倣・再現したもの」である。 必ずしもAIをつくるための手段はコンピュータである必要はないが、現代においてはコンピュータ以外に存在しないため、事実上AIは「人の知能をコンピュータを用いて模倣・再現したもの」である。 ただし、どこまでいっても計算（数学）の域は出ないので、数値化できない（センシングできない）事象に対しては依然として無力であることに留意したい。 逆に言えば、物理世界のすべての情報を数値化できる世界になれば、AIは猛威をふるう技術となり得るかもしれない。
（たとえば、iPS細胞を使って人間の脳を作ったとして、それはあくまで「人工脳」であり、「人工知能」ではないという解釈になるだろうか。）
なお、そもそも「知能」という言葉の定義が曖昧であるがゆえに、どこからどこまでが人工知能であるかという線引きは非常に難しく、専門家の中でも度々議論されている。 人のような振る舞いをするAIがあったとして、その中身の仕組みを知っているか否かで人工知能と呼べるか否かも変わってくるのではないだろうか。 仮に人の知能を数式で完全に表現できたとすると、それはもはや知能と呼べるものなのか疑問が残るところである。 （しかし、そんな世界は管理人が生きている間には拝めないだろうし、訪れることもないだろうと思う。）
AIの分野では「学習」という言葉が飛び交うが、あくまで計算のことを表す言葉であり、人の知的活動としての「学習」とは別である。 （ただし、人の知的活動としての「学習」をヒントにしたであろう技術は多い。） あくまで計算の振る舞いが人の学習能力のように見えるだけであることに注意されたい。
ディープラーニング（深層学習）とは「さまざまな粒度の概念を階層構造に基づいて学習する手法」の総称である。 本来は「ディープラーニング＝深層ニューラルネットワークの学習」ではないが、一般に普及したディープラーニングの手法が事実上ニューラルネットワークのみであるために、このような認識が浸透した。
機械学習と統計学は非常に似ている。 たとえば、線形回帰モデルは機械学習にも統計学にも頻繁に登場する。 では機械学習と統計学の違いは何かというと、機械学習は数理モデルの出力（予測）を重視し、統計学は数理モデル自体の性質や計算過程を重視する。 \( \boldsymbol y = f(\boldsymbol x) \)という数理モデルがあるなら、機械学習は\( \boldsymbol y \)、統計学は\( f \)に着目する。 端的な例でいえば、統計学でニューラルネットワークのような複雑怪奇な数理モデルはまず使われることはない。 なお、ニューラルネットワークをはじめとした機械学習技術には統計学の知識が多分に活用されているので、「機械学習は統計学の延長線上の技術」という解釈もできる。
量的変数の中でも、離散量は数えられる（とびとびの値を取る）量、連続量は無限に連続的に値を取れる量、と定義されている。 デジタル・アナログも同じ。 ただし、この分類は対立するものではない。 たとえば、お金は円という硬貨を単位にとびとびの値を取るため、お金＝離散量と分類できる。 一方で、取り得る金額の桁が1兆、1京と増えていくと、もはやそれは連続量である。 つまり、データの粒度によって、離散量・連続量のどちらとでも見ることができる。
もう一つ別の例を挙げると、サイコロの目は一般的に1,2,3,4,5,6の6つなので、離散量として分類される。 しかし仮に10,000面のサイコロがあったとすれば、それは連続量として扱うことが自然だろう。 要するに、離散量・連続量の分類はデータの取り得る値の範囲に左右され、かつ主観によって決定されるということになる。 このあたりの話題は強化学習における状態や環境の離散・連続とも関連しているように考えられる。
物理世界は原子という粒の集まりで成り立っているように、数の本質は「離散量」であり、「何を1とするか」でデータの見方が大きく変わる。 それが膨大な範囲の値を取り得る場合、「連続量」として分類され得る、という認識である。