User:P1ayer/備頁/機器學習概論

機器學習概論（Outline of machine learning），作為机器学习的概述和主題指南。在计算机科学中認為，機器學習是一個軟體計算中的子領域，在人工智能從研究發展模式识别和計算學習理論。 1959年，亞瑟·塞繆爾（Arthur Samuel）將機器學習定義為“一個使電腦無需明確編程即可學習的能力的研究領域”。 機器學習探索了可以学习的算法的研究，和構建從数据中做出預測。 這樣的算法通過根據輸入觀測值的示例訓練集構建数学模型來進行操作，以便做出表示為輸出的數據驅動的預測或決策，而不是嚴格遵循靜態程序指令。

機器學習是什麼類型的東西？

• 一門学术
• 科学的分支
  • 一種應用科學
    • 计算机科学的子領域
      • 人工智能的分支
      • 軟計算的子領域
    • 统计学的應用

機器學習的分支

機器學習的子領域

• 計算學習理論（Computational learning theory）– 研究机器学习演算法的設計與分析。
• 文法歸納（Grammar induction）
• 元學習（Meta learning）

涉及機器學習的跨學科領域

• 對抗機器學習（Adversarial machine learning）
• 预测分析（Predictive analytics）
• 量子機器學習（Quantum machine learning）
• 機器人學習（Robot learning）
  • 發展型機器人（Developmental robotics）

機器學習的應用

機器學習的應用

• 生物信息学（Bioinformatics）
• 医学信息学（Biomedical informatics）
• 计算机视觉（Computer vision）
• 客户关系管理（Customer relationship management）
• 数据挖掘（Data mining）
• 電子郵件Email過濾（Email filtering）
• 倒單擺（Inverted pendulum） – 平衡系統。
• 自然语言处理 (Natural language processing，簡稱NLP)
  • 自動摘要（Automatic summarization）
  • 自動分類法建構（Automatic taxonomy construction）
  • 對話系統（Dialog system）
  • 文法檢查器（Grammar checker）
  • 語言識別（Language recognition）
    • 手写识别（Handwriting recognition）
    • 光学字符识别（Optical character recognition，簡稱OCR）
    • 语音识别（Speech recognition）
  • 机器翻译（Machine translation）
  • 問答系統（Question answering）
  • 语音合成（Speech synthesis）
  • 文本挖掘（Text mining）
    • 術語頻率–逆向文件頻率（Term frequency–inverse document frequency，簡稱tf–idf）
  • 文本簡化（Text simplification）
• 模式识别（Pattern recognition）
  • 臉部辨識系統（Facial recognition system）
  • 手写识别（Handwriting recognition）
  • 计算机视觉 （Image recognition）
  • 光学字符识别（Optical character recognition，簡稱OCR）
  • 语音识别（Speech recognition）
• 推薦系統（Recommendation system）
  • 協同過濾（Collaborative filtering）
  • 內容型過濾（Content-based filtering）
  • 混合推薦系統（Hybrid recommender systems） – 基於協作和基於內容型的過濾。
• 网络搜索引擎（Search engine）
  • 搜尋引擎最佳化（Search engine optimization，簡稱SEO）
• 社会工程学（Social Engineering）

機器學習的硬體

• 圖形處理器（Graphics processing unit，簡稱GPU）
• 张量处理器（Tensor processing unit，簡稱TPU）
• 視覺處理器（Vision processing unit，簡稱VPU）

機器學習的工具

• 比較深度學習的軟體（Comparison of deep-learning software）

機器學習框架

專有的機器學習框架

• 亚马逊云计算服务（Amazon Machine Learning）
• Microsoft Azure Machine Learning Studio
• DistBelief – 由 TensorFlow 取代

開源的機器學習框架

• Apache Singa
• Apache MXNet
• Caffe
• PyTorch
• mlpack
• TensorFlow
• Torch
• Microsoft Cognitive Toolkit（CNTK）
• Accord.NET

機器學習的程式庫

• Deeplearning4j
• Theano
• Scikit-learn
• Keras

機器學習的演算法

機器學習的演算法

機器學習的演算法的種類

• Almeida–Pineda循環反向傳播（Almeida–Pineda recurrent backpropagation）
• 樣式擷取演算法（ALgorithms Of Pattern EXtraction，簡稱ALOPEX）
• 反向传播算法（Backpropagation，簡稱BP）
• Bagging算法（Bootstrap aggregating，引導聚合，又稱裝袋算法）
• CN2算法
• 建構技能樹（Constructing skill trees）
• Dehaene–Changeux模型（Dehaene–Changeux model）
• 擴散圖（Diffusion map）
• 基於支配的粗糙設定逼近（Dominance-based rough set approach）
• 動態時間扭曲（Dynamic time warping）
• 錯誤驅動的學習（Error-driven learning）
• 進化多模態最佳化（Evolutionary multimodal optimization）
• 最大期望算法（Expectation–maximization algorithm）
• FastICA
• 正反雙向演算法（Forward–backward algorithm）
• GeneRec
• 由規則集生成的基因演算法（Genetic Algorithm for Rule Set Production）
• 增長自組織映像（Growing self-organizing map）
• 超基底函數網路（Hyper basis function network）
• IDistance
• K-近邻算法（K-nearest neighbors algorithm）
• 向量輸出的核心方法（Kernel methods for vector output）
• 核主成分分析（Kernel principal component analysis）
• Leabra
• Linde–Buzo–Gray演算法（Linde–Buzo–Gray algorithm）
• 區域離群因子（Local outlier factor）
• 邏輯學習機（Logic learning machine）
• LogitBoost
• 歧管對齊（Manifold alignment）
• 马尔可夫链蒙特卡洛（Markov chain Monte Carlo，簡稱MCMC）
• 最小冗余特征选择（Minimum redundancy feature selection）
• 專家組合（Mixture of experts）
• 多核心學習（Multiple kernel learning）
• 非負矩陣分解（Non-negative matrix factorization）
• 線上機器學習（Online machine learning）
• 袋外錯誤（Out-of-bag error）
• 前額葉皮質基底神經節工作記憶（Prefrontal cortex basal ganglia working memory）
• 主要價值學習價值（Primary value learned value，簡稱PVLV）
• Q学习（Q-learning）
• 二次無約束二進制最佳化（Quadratic unconstrained binary optimization）
• 查詢級功能（Query-level feature）
• Quickprop
• 径向基函数网络（Radial basis function network）
• 隨機加權多數演算法（Randomized weighted majority algorithm）
• 强化学习（Reinforcement learning）
• 重複進行增量修剪以減少錯誤（Repeated incremental pruning to produce error reduction，簡稱RIPPER）
• Rprop
• 基於規則的機器學習（Rule-based machine learning）
• 技能鏈（Skill chaining）
• 稀疏PCA（Sparse PCA）
• 狀態–動作–獎勵–狀態–動作（State–action–reward–state–action，簡稱SARSA）
• 隨機梯度下降（Stochastic gradient descent）
• 結構化kNN（Structured kNN）
• T分布隨機相鄰嵌入（T-distributed stochastic neighbor embedding，簡稱t-SNE）
• 時差學習（Temporal difference learning，簡稱TD）
• 喚醒睡眠演算法（Wake-sleep algorithm）
• 加權式多數決演算法（Weighted majority algorithm）

機器學習的方法

• 實例為基的演算法（Instance-based algorithm）
  • K-近邻算法 (K-nearest neighbors algorithm，簡稱KNN)
  • 學習向量量化（Learning vector quantization，簡稱LVQ）
  • 自组织映射（Self-organizing map，簡稱SOM）
• 迴歸分析（Regression analysis）
  • 邏輯迴歸（Logistic regression）
  • 普通最小平方迴歸（Ordinary least squares regression，簡稱OLSR）
  • 線性回歸（Linear regression）
  • 逐步迴歸（Stepwise regression）
  • 多元自適應回歸樣條（Multivariate adaptive regression splines，簡稱MARS）
• 正則化的演算法（Regularization algorithm）
  • 吉洪诺夫正则化（Ridge regression）
  • Lasso算法（Least Absolute Shrinkage and Selection Operator，簡稱LASSO）
  • 彈性網（Elastic net）
  • 最小角回归（Least-angle regression，簡稱LARS）
• 统计分类（Statistical classification）
  • 機率分類器（Probabilistic classifier）
    • 朴素贝叶斯分类器（Naive Bayes classifier）
  • 二進制分類器（Binary classifier）
  • 线性分类器（Linear classifier）
  • 階層式分類器（Hierarchical classifier）

降維

降维（Dimensionality reduction）

• 典型相关（Canonical correlation analysis，簡稱CCA）
• 因子分析（Factor analysis）
• 特徵提取（Feature extraction）
• 特征选择（Feature selection）
• 独立成分分析 （Independent component analysis，簡稱ICA）
• 線性判別分析 （Linear discriminant analysis，簡稱LDA）
• 多维标度（Multidimensional scaling，簡稱MDS）
• 非負矩陣分解（Non-negative matrix factorization，簡稱NMF）
• 偏最小二乘回归（Partial least squares regression，簡稱PLSR）
• 主成分分析（Principal component analysis，簡稱PCA）
• 主成分迴歸（Principal component regression，簡稱PCR）
• 投影尋蹤（Projection pursuit）
• 薩蒙映射（Sammon mapping）
• T分布隨機相鄰嵌入 (T-distributed stochastic neighbor embedding，簡稱t-SNE)

集成學習

集成学习（Ensemble learning）

• AdaBoost
• 提升方法（Boosting）
• Bagging算法（Bootstrap aggregating，引導聚合，又稱裝袋算法）
• 整體平均（Ensemble averaging） – 與創建一個模型相反，創建多個模型並將它們組合以產生所需輸出的過程。 通常，一組模型的性能要優於任何單個模型，因為模型的各種錯誤會『平均化』。
• 梯度提升技术（Gradient boosted decision tree，簡稱GBDT）
• 梯度推升機器（Gradient boosting machine，簡稱GBM）
• 随机森林（Random Forest）
• 堆疊式一般化（Stacked Generalization） (blending)

元學習

元學習（Meta learning）

• 归纳偏置（Inductive bias）
• 元数据（Metadata）

強化學習

强化学习（Reinforcement learning）

• Q学习（Q-learning）
• 狀態–動作–獎勵–狀態–動作（State–action–reward–state–action，簡稱SARSA）
• 時差學習（Temporal difference learning，簡稱TD）
• 學習自動機（Learning Automata）

監督式學習

監督式學習（Supervised learning）

• AODE
• 人工神经网络（Artificial neural network）
• 關聯規則學習演算法（Association rule learning algorithms）
  • 先验算法（Apriori algorithm）
  • Eclat演算法（Eclat algorithm）
• 案例推论（Case-based reasoning）
• 高斯過程迴歸（Gaussian process regression）
• Gene expression programming
• 資料處理的群組方法（Group method of data handling，簡稱GMDH）
• 歸納邏輯程式設計（Inductive logic programming）
• 實例為基的學習（Instance-based learning）
• 惰性學習（Lazy learning）
• 學習自動機（Learning Automata）
• 學習向量量化（Learning Vector Quantization，簡稱LVQ）
• 邏輯模型樹（Logistic Model Tree）
• 最小訊息長度（Minimum message length） – (決策樹，決策圖等)
  • K-近邻算法（Nearest Neighbor Algorithm）
  • 類比模式法（Analogical modeling）
• 機率近似正確學習（Probably approximately correct learning，簡稱PAC）
• 降低規則（Ripple down rules） – 知識獲取方法
• 符號機器學習演算法（Symbolic machine learning algorithms）
• 支持向量机（Support vector machine）
• 随机森林（Random Forests）
• 集成学习（Ensembles of classifiers）
  • Bagging算法（Bootstrap aggregating，引導聚合，又稱裝袋算法）
  • 提升方法（Boosting）
• 次序分類（Ordinal classification）
• 信息模糊網絡（Information fuzzy networks，簡稱IFN）
• 條件隨機域（Conditional Random Field）
• 方差分析（Analysis of variance，簡稱ANOVA）
• 二次分類器（Quadratic classifier）
• K-近邻算法（k-nearest neighbor）
• 提升方法（Boosting）
  • SPRINT
• 貝氏網路（Bayesian network）
  • 樸素貝葉斯（Naive Bayes）
• 隐马尔可夫模型（Hidden Markov model）
  • 分層隱藏式馬可夫模型（Hierarchical hidden Markov model）

貝葉斯

貝氏統計（Bayesian statistics）

• 貝葉斯知識庫（Bayesian knowledge base）
• 樸素貝葉斯（Naive Bayes）
• 高斯樸素貝葉斯（Gaussian Naive Bayes）
• 多項樸素貝葉斯（Multinomial Naive Bayes）
• 平均單項依賴性估計值（Averaged One-Dependence Estimators，簡稱AODE）
• 貝氏信賴網路（Bayesian Belief Network，簡稱BBN）
• 貝氏網路（Bayesian network，簡稱BN）

決策樹演算法

• 决策树（Decision tree）
• 决策树学习（Classification and regression tree，簡稱CART）
• ID3算法 （Iterative Dichotomiser 3，簡稱ID3）
• C4.5演算法
• C4.5算法（C5.0 algorithm）
• 卡方自動交互作用偵測（Chi-squared Automatic Interaction Detection，簡稱CHAID）
• 決策樹樁（Decision stump）
• 條件決策樹（Conditional decision tree）
• ID3演算法
• 随机森林 （Random forest）
• SLIQ

線性分類器

线性分类器（Linear classifier）

• 線性判別分析（Fisher's linear discriminant）
• 線性回歸（Linear regression）
• 邏輯迴歸（Logistic regression）
• 多項邏輯迴歸（Multinomial logistic regression）
• 朴素贝叶斯分类器（Naive Bayes classifier）
• 感知器（Perceptron）
• 支持向量机（Support vector machine）

無監督學習

無監督學習（Unsupervised learning）

• 最大期望算法（Expectation-maximization algorithm）
• 向量量化（Vector Quantization）
• 生成地形圖（Generative topographic map）
• 信息瓶颈（Information bottleneck method）

人工神經網路

人工神经网络（Artificial neural network）

• 前馈神经网络（Feedforward neural network）
  • 极限学习机（Extreme learning machine）
  • 卷积神经网络（Convolutional neural network）
• 循环神经网络（Recurrent neural network）
  • 長短期記憶（Long short-term memory，簡稱LSTM）
• 邏輯學習機（Logic learning machine）
• 自组织映射（Self-organizing map）

關聯規則學習

關聯規則學習（Association rule learning）

• 先验算法（Apriori algorithm）
• 关联规则学习（Eclat algorithm）
• FP-growth演算法（FP-growth algorithm）

層次聚類

層次聚類（Hierarchical clustering）

• 簡單連結聚類（Single-linkage clustering）
• 概念聚類（Conceptual clustering）

聚類分析

聚类分析（Cluster analysis）

• BIRCH
• DBSCAN
• 最大期望算法（Expectation-maximization algorithm，簡稱EM）
• 模糊聚类（Fuzzy clustering）
• 層次聚類（Hierarchical clustering）
• K-平均算法（K-means clustering）
• K-中位數（K-medians）
• 均值偏移（Mean-shift）
• OPTICS（OPTICS algorithm）

異常檢測

异常检测（Anomaly detection）

• K-近邻算法 (k-nearest neighbors classification，簡稱k-NN)
• 區域異常係數（Local outlier factor）

半監督學習

半監督學習（Semi-supervised learning）

• 主動學習（Active learning） – 是半監督學習的特殊情況，其中學習算法能夠交互式地查詢用戶（或某些其他信息源），以便在新數據點上獲得所需的輸出。
• 生成模型（半監督學習）（Generative models）
• 低密度分離（半監督學習）（Low-density separation）
• 基於圖的方法（半監督學習）（Graph-based methods）
• 協同訓練（Co-training）
• 轉導 (機器學習)（Transduction）

深度學習

深度学习（Deep learning）

• 深度置信網路（Deep belief network）
• 玻尔兹曼机（Boltzmann machine）
• 卷积神经网络（Convolutional neural network）
• 循环神经网络（Recurrent neural network）
• 階層式時序記憶（Hierarchical temporal memory）
• 生成对抗网络（Generative adversarial network）
• 深度波茲曼機（Deep Boltzmann Machine，簡稱DBM）
• 堆疊式自動編碼器（Stacked Auto-Encoders）

其他機器學習的方法與問題

• 异常检测（Anomaly detection）
• 關聯規則學習（Association rule learning）
• 偏誤及變異數之困境（Bias-variance dilemma）
• 统计分类（Statistical classification）
  • 多標籤分類（Multi-label classification）
• 聚类分析（Cluster analysis|Clustering）
• 資料預處理（Data Pre-processing）
• 经验风险最小化（Empirical risk minimization）
• 特徵工程
• 表征学习（Feature learning）
• 排序學習法（Learning to rank）
• 奧坎學習（Occam learning）
• 線上機器學習（Online machine learning）
• PAC學習（PAC learning）
• 迴歸分析（Regression analysis）
• 强化学习（Reinforcement Learning）
• 半監督學習（Semi-supervised learning）
• 統計學習（Statistical learning）
• 結構化預測（Structured prediction）
  • 圖模式（Graphical model）
    • 貝氏網路（Bayesian network，簡稱BN）
    • 條件隨機域 （Conditional random field，簡稱CRF）
    • 隐马尔可夫模型 （Hidden Markov model，簡稱HMM）
• 無監督學習（Unsupervised learning）
• VC理论（VC theory）

機器學習的研究

• 人工智慧專案列表（List of artificial intelligence projects）
• 機器學習研究的數據集列表（List of datasets for machine learning research）

機器學習的歷史

機器學習的歷史

• 機器學習的時間線（Timeline of machine learning）

機器學習的專案

• DeepMind
• 谷歌大脑（Google Brain）

機器學習的組織

• 知识工程和机器学习实验室（Knowledge Engineering and Machine Learning Group）

機器學習的會議和研討會

• Artificial Intelligence and Security (AISec) (co-located workshop with CCS)
• 神经信息处理系统大会 （Conference on Neural Information Processing Systems，簡稱NIPS）
• ECML PKDD
• 國際機器學習大會（International Conference on Machine Learning，簡稱ICML）
• ML4ALL (Machine Learning For All)

機器學習的刊物

機器學習的相關書籍

• 西內啟. 《機器學習的數學基礎 : AI、深度學習打底必讀 !》. 旗標. ISBN 9789863126140. 
• Alice Zheng, Amanda Casari. 《機器學習：特徵工程》. 歐萊禮. ISBN 9789865024833. 

機器學習的期刊

• 機器學習 (期刊)（Machine Learning）
• 機器學習研究期刊（Journal of Machine Learning Research，簡稱JMLR）
• 神經計算 (期刊)（Neural Computation）

在機器學習有影響力的人

• Alberto Broggi
• Andrei Knyazev
• Andrew McCallum
• 吴恩达（Andrew Ng）
• Anuraag Jain
• Armin B. Cremers
• Ayanna Howard
• Barney Pell
• Ben Goertzel
• Ben Taskar
• Bernhard Schölkopf
• Brian D. Ripley
• Christopher G. Atkeson
• Corinna Cortes
• 杰米斯·哈萨比斯（Demis Hassabis）
• 道格拉斯·莱纳特（Douglas Lenat）
• 邢波（Eric Xing）
• Ernst Dickmanns
• 杰弗里·辛顿（Geoffrey Hinton） – co-inventor of the backpropagation and contrastive divergence training algorithms
• Hans-Peter Kriegel
• Hartmut Neven
• Heikki Mannila
• 伊恩·古德费洛（Ian Goodfellow） – Father of Generative & adversarial networks
• Jacek M. Zurada
• Jaime Carbonell
• Jeremy Slovak
• Jerome H. Friedman
• John D. Lafferty
• John Platt – invented SMO and Platt scaling
• Julie Beth Lovins
• 于尔根·施密德胡伯（Jürgen Schmidhuber）
• Karl Steinbuch
• Katia Sycara
• Leo Breiman – invented bagging and random forests
• Lise Getoor
• Luca Maria Gambardella
• Léon Bottou
• Marcus Hutter
• Mehryar Mohri
• Michael Collins
• 迈克尔·乔丹 (学者)（Michael I. Jordan）
• Michael L. Littman
• Nando de Freitas
• Oren Etzioni
• Pedro Domingos
• Peter Flach
• Pierre Baldi
• Pushmeet Kohli
• 雷蒙德·库茨魏尔（Ray Kurzweil）
• Rayid Ghani
• Ross Quinlan
• Salvatore J. Stolfo
• 塞巴斯蒂安·特龙（Sebastian Thrun）
• Selmer Bringsjord
• Sepp Hochreiter
• Shane Legg
• Stephen Muggleton
• Steve Omohundro
• Tom M. Mitchell
• Trevor Hastie
• Vasant Honavar
• 弗拉基米尔·万普尼克（Vladimir Vapnik） – co-inventor of the SVM and VC theory
• 杨立昆（Yann LeCun） – invented convolutional neural networks
• Yasuo Matsuyama
• 约书亚·本希奥（Yoshua Bengio）
• Zoubin Ghahramani

另見

• Outline of artificial intelligence
  • 计算机视觉各主题列表（Outline of computer vision）
• Outline of robotics
• Accuracy paradox
• Action model learning
• 激活函数（Activation function）
• Activity recognition
• ADALINE
• Adaptive neuro fuzzy inference system
• Adaptive resonance theory
• Additive smoothing
• Adjusted mutual information
• AIVA
• AIXI
• AlchemyAPI
• AlexNet
• Algorithm selection
• Algorithmic inference
• Algorithmic learning theory
• AlphaGo
• AlphaGo Zero
• Alternating decision tree
• Apprenticeship learning
• Causal Markov condition
• Competitive learning
• Concept learning
• 决策树学习
• Distribution learning theory
• Eager learning
• End-to-end reinforcement learning
• Error tolerance (PAC learning)
• Explanation-based learning
• 特征 (机器学习)
• GloVe
• Hyperparameter
• IBM Machine Learning Hub
• Inferential theory of learning
• 學習自動機（Learning automata）
• Learning classifier system
• Learning rule
• 容错学习问题（Learning with errors）
• M-Theory (learning framework)
• 機器學習控制（Machine learning control）
• Machine learning in bioinformatics
• Margin
• Markov chain geostatistics
• 马尔可夫链蒙特卡洛 (MCMC)
• Markov information source
• 马尔可夫逻辑网络
• Markov model
• 马尔可夫网络
• Markovian discrimination
• Maximum-entropy Markov model
• Multi-armed bandit
• Multi-task learning
• Multilinear subspace learning
• Multimodal learning
• Multiple instance learning
• Multiple-instance learning
• Never-Ending Language Learning
• Offline learning
• Parity learning
• Population-based incremental learning
• Predictive learning
• Preference learning
• Proactive learning
• Proximal gradient methods for learning
• 語意分析
• Similarity learning
• 稀鬆字典學習
• Stability (learning theory)
• 统计学习理论
• Statistical relational learning
• Tanagra
• 迁移学习
• Variable-order Markov model
• Version space learning
• Waffles
• Weka
• 损失函数（Loss function）
  • 分類問題之損失函數（Loss functions for classification）
  • 均方误差 （Mean squared error，簡稱MSE）
  • Mean squared prediction error (MSPE)
  • Taguchi loss function
• Low-energy adaptive clustering hierarchy

其他

• Anne O'Tate
• 蚁群算法（Ant colony optimization algorithms）
• Anthony Levandowski
• Anti-unification (computer science)
• Apache Flume
• Apache Giraph
• Apache Mahout
• Apache SINGA
• Apache Spark
• Apache SystemML
• Aphelion (software)
• Arabic Speech Corpus
• Archetypal analysis
• Arthur Zimek
• 蚁群算法（Artificial ants）
• Artificial bee colony algorithm
• Artificial development
• Artificial immune system
• 天文统计学
• 平均單項依賴性估計值（Averaged One-Dependence Estimators，簡稱AODE）
• 词袋模型（Bag-of-words model）
• Balanced clustering
• Ball tree
• Base rate
• 蝙蝠算法（Bat algorithm）
• Baum-Welch算法（Baum–Welch algorithm）
• Bayesian hierarchical modeling
• Bayesian interpretation of kernel regularization
• Bayesian optimization
• Bayesian structural time series
• Bees algorithm
• Behavioral clustering
• Bernoulli scheme
• Bias–variance tradeoff
• Biclustering
• BigML
• Binary classification
• Bing
• Bio-inspired computing
• Biogeography-based optimization
• 双标图（Biplot）
• Bondy's theorem
• Bongard problem
• Bradley–Terry model
• BrownBoost
• Brown clustering
• Burst error
• CBCL (MIT)
• CIML community portal
• CMA-ES
• CURE data clustering algorithm
• Cache language model
• Calibration (statistics)
• Canonical correspondence analysis
• Canopy clustering algorithm
• Cascading classifiers
• Category utility
• CellCognition
• Cellular evolutionary algorithm
• Chi-square automatic interaction detection
• 染色體 (遺傳演算法)（Chromosome）
• Classifier chains
• Cleverbot
• Clonal selection algorithm
• Cluster-weighted modeling
• Clustering high-dimensional data
• 集群錯覺（Clustering illusion）
• CoBoosting
• Cobweb (clustering)
• Cognitive computer
• Cognitive robotics
• Collostructional analysis
• Common-method variance
• Complete-linkage clustering
• 计算机自动设计（Computer-automated design）
• Concept class
• Concept drift
• Conference on Artificial General Intelligence
• Conference on Knowledge Discovery and Data Mining
• Confirmatory factor analysis
• 混淆矩阵（Confusion matrix）
• Congruence coefficient
• Connect (computer system)
• Consensus clustering
• Constrained clustering
• Constrained conditional model
• Constructive cooperative coevolution
• Correlation clustering
• Correspondence analysis
• Cortica
• Coupled pattern learner
• Cross-entropy method
• 交叉驗證（Cross-validation）
• 交叉 (遗传算法)（Crossover）
• 布谷鸟搜索算法（Cuckoo search）
• Cultural algorithm
• Cultural consensus theory
• 维数灾难（Curse of dimensionality）
• DADiSP
• DARPA LAGR Program
• Darkforest
• 达特矛斯会议（Dartmouth workshop）
• DarwinTunes
• Data Mining Extensions
• Data exploration
• Data pre-processing
• Data stream clustering
• Dataiku
• Davies–Bouldin index
• 决策边界（Decision boundary）
• Decision list
• Decision tree model
• Deductive classifier
• DeepArt
• DeepDream
• Deep Web Technologies
• 定義長度（Defining length）
• Dendrogram
• Dependability state model
• Detailed balance
• Determining the number of clusters in a data set
• Detrended correspondence analysis
• Developmental robotics
• Diffbot
• 差分进化算法（Differential evolution）
• Discrete phase-type distribution
• 判别模型（Discriminative model）
• Dissociated press
• Distributed R
• Dlib
• 文档分类（Document classification）
• Documenting Hate
• Domain adaptation
• Doubly stochastic model
• Dual-phase evolution
• Dunn index
• Dynamic Bayesian network
• 動態貝氏網路（Dynamic Bayesian network）
• 動態馬可夫壓縮（Dynamic Markov compression）
• Dynamic topic model
• Dynamic unobserved effects model
• EDLUT
• ELKI
• Edge recombination operator
• Effective fitness
• Elastic map
• Elastic matching
• Elbow method (clustering)
• Emergent (software)
• Encog
• 熵率（Entropy rate）
• Erkki Oja
• Eurisko
• European Conference on Artificial Intelligence
• Evaluation of binary classifiers
• Evolution strategy
• Evolution window
• Evolutionary Algorithm for Landmark Detection
• 进化算法（Evolutionary algorithm）
• Evolutionary art
• Evolutionary music
• Evolutionary programming
• Evolvability (computer science)
• Evolved antenna
• Evolver (software)
• Evolving classification function
• Expectation propagation
• Exploratory factor analysis
• F-score
• FLAME clustering
• Factor analysis of mixed data
• 因子图（Factor graph）
• Factor regression model
• Factored language model
• Farthest-first traversal
• Fast-and-frugal trees
• Feature Selection Toolbox
• Feature hashing
• 特徵縮放（Feature scaling）
• 特征 (机器学习)（Feature vector）
• 萤火虫算法（Firefly algorithm）
• First-difference estimator
• First-order inductive learner
• Fish School Search
• Fisher kernel
• Fitness approximation
• Fitness function
• Fitness proportionate selection
• Fluentd
• Folding@home
• 正規概念分析法（Formal concept analysis）
• 前向算法（Forward algorithm）
• Fowlkes–Mallows index
• Frederick Jelinek
• Frrole
• Functional principal component analysis
• 遗传算法
• GLIMMER
• Gary Bryce Fogel
• Gaussian adaptation
• 高斯过程（Gaussian process）
• Gaussian process emulator
• 基因预测（Gene prediction）
• General Architecture for Text Engineering
• 泛化误差（Generalization error）
• Generalized canonical correlation
• Generalized filtering
• Generalized iterative scaling
• Generalized multidimensional scaling
• 生成对抗网络（Generative adversarial network）
• 生成模型（Generative model）
• 遗传算法（Genetic algorithm）
• Genetic algorithm scheduling
• Genetic algorithms in economics
• Genetic fuzzy systems
• Genetic memory (computer science)
• 遺傳運算元（Genetic operator）
• 遗传编程（Genetic programming）
• Genetic representation
• Geographical cluster
• Gesture Description Language
• Geworkbench
• Glossary of artificial intelligence
• 语言年代学（Glottochronology）
• Golem (ILP)
• Google matrix
• Grafting (decision trees)
• 格拉姆矩阵（Gramian matrix）
• Grammatical evolution
• Granular computing
• GraphLab
• Graph kernel
• Gremlin
• Growth function
• HUMANT (HUManoid ANT) algorithm
• Hammersley–Clifford theorem
• Harmony search
• 赫布理论（Hebbian theory）
• Hidden Markov random field
• Hidden semi-Markov model
• 分層隱藏式馬可夫模型（Hierarchical hidden Markov model）
• Higher-order factor analysis
• Highway network
• Hinge loss
• Holland's schema theorem
• Hopkins statistic
• 霍森－科佩尔曼算法（Hoshen–Kopelman algorithm）
• Huber loss
• IRCF360
• 伊恩·古德费洛（Ian Goodfellow）
• Ilastik
• Ilya Sutskever
• Immunocomputing
• Imperialist competitive algorithm
• Inauthentic text
• Incremental decision tree
• Induction of regular languages
• 归纳偏置（Inductive bias）
• Inductive probability
• 归纳编程（Inductive programming）
• Influence diagram
• Information Harvesting
• Information fuzzy networks
• Information gain in decision trees
• Information gain ratio
• Inheritance (genetic algorithm)
• Instance selection
• Intel RealSense
• Interacting particle system
• Interactive machine translation
• 国际人工智能联合会议（International Joint Conference on Artificial Intelligence）
• International Meeting on Computational Intelligence Methods for Bioinformatics and Biostatistics
• International Semantic Web Conference
• 安德森鸢尾花卉数据集（Iris flower data set）
• Island algorithm
• Isotropic position
• 项目反应理论（Item response theory）
• Iterative Viterbi decoding
• JOONE
• Jabberwacky
• 雅卡尔指数（Jaccard index）
• Jackknife variance estimates for random forest
• Java Grammatical Evolution
• Joseph Nechvatal
• Jubatus
• Julia (编程语言)
• Junction tree algorithm
• K-SVD
• K-means++
• K-medians clustering
• K-medoids
• KNIME
• KXEN Inc.
• K q-flats
• Kaggle
• 卡尔曼滤波（Kalman filter）
• Katz's back-off model
• Kernel adaptive filter
• 核密度估计（Kernel density estimation）
• Kernel eigenvoice
• Kernel embedding of distributions
• Kernel method
• Kernel perceptron
• 随机森林（Kernel random forest）
• Kinect
• Klaus-Robert Müller
• Kneser–Ney smoothing
• Google知识图谱（Knowledge Vault）
• Knowledge integration
• LIBSVM
• LPBoost
• Labeled data
• LanguageWare
• Language Acquisition Device (computer)
• Language identification in the limit
• 語言模型（Language mode）
• 大间隔最近邻居（Large margin nearest neighbor）
• 隐含狄利克雷分布（Latent Dirichlet allocation）
• 潜在类别模型（Latent class model）
• 潜在语义学（Latent semantic analysis）
• 潜变量（Latent variable）
• Latent variable model
• Lattice Miner
• Layered hidden Markov model
• Learnable function class
• Least squares support vector machine
• Leave-one-out error
• Leslie P. Kaelbling
• Linear genetic programming
• Linear predictor function
• Linear separability
• 顾凌云（Lingyun Gu）
• Linkurious
• Lior Ron (business executive)
• List of genetic algorithm applications
• List of metaphor-based metaheuristics
• List of text mining software
• Local case-control sampling
• Local independence
• Local tangent space alignment
• Locality-sensitive hashing
• Log-linear model
• 邏輯模型樹（Logistic Model Tree）
• Low-rank approximation
• Low-rank matrix approximations
• MATLAB
• MIMIC (immunology)
• Apache MXNet
• Mallet (software project)
• Manifold regularization
• Margin-infused relaxed algorithm
• Margin classifier
• Mark V. Shaney
• Massive Online Analysis
• Matrix regularization
• Matthews correlation coefficient
• Mean shift
• 均方误差（Mean squared error）
• Mean squared prediction error
• Measurement invariance
• Medoid
• MeeMix
• Melomics
• Memetic algorithm
• Meta-optimization
• Mexican International Conference on Artificial Intelligence
• Michael Kearns (computer scientist)
• 最小哈希（MinHash）
• 混合模型（Mixture model）
• Mlpy
• Models of DNA evolution
• Moral graph
• Mountain car problem
• Movidius
• Multi-armed bandit
• Multi-label classification
• Multi expression programming
• 多元分类（Multiclass classification）
• Multidimensional analysis
• Multifactor dimensionality reduction
• 多線性主成分分析（Multilinear principal component analysis）
• Multiple correspondence analysis
• Multiple discriminant analysis
• Multiple factor analysis
• 多重序列比對（Multiple sequence alignment）
• Multiplicative weight update method
• Multispectral pattern recognition
• 突變 (遺傳演算法)（Mutation）
• MysteryVibe
• N元语法（[N-gram）
• NOMINATE (scaling method)
• Native-language identification
• Natural Language Toolkit
• Natural evolution strategy
• Nearest-neighbor chain algorithm
• Nearest centroid classifier
• 最邻近搜索（Nearest neighbor search）
• 近鄰結合法（Neighbor joining）
• Google Nest
• NetMiner
• NetOwl
• Neural Designer
• Neural Engineering Object
• Neural Lab
• Neural modeling fields
• Neural network software
• NeuroSolutions
• Neuro Laboratory
• Neuroevolution
• Neuroph
• Niki.ai
• Noisy channel model
• Noisy text analytics
• 非线性降维（Nonlinear dimensionality reduction）
• Novelty detection
• Nuisance variable
• Numenta
• One-class classification
• ONNX
• OpenNLP
• 線性判別分析
• Oracle Data Mining
• Orange (software)
• Ordination (statistics)
• 過適（Overfitting）
• PROGOL
• PSIPRED
• Pachinko allocation
• PageRank
• Parallel metaheuristic
• Parity benchmark
• Part-of-speech tagging
• 粒子群优化（Particle swarm optimization）
• 路径依赖（Path dependence）
• Pattern language (formal languages)
• Peltarion Synapse
• 困惑度（Perplexity）
• Persian Speech Corpus
• Picas (app)
• Pietro Perona
• Pipeline Pilot
• Piranha (software)
• Pitman–Yor process
• Plate notation
• Polynomial kernel
• Pop music automation
• Population process
• Portable Format for Analytics
• Predictive Model Markup Language
• Predictive state representation
• Preference regression
• Premature convergence
• Principal geodesic analysis
• Prior knowledge for pattern recognition
• Prisma
• Probabilistic Action Cores
• 随机上下文无关文法（Probabilistic context-free grammar）
• 概率潜在语义分析（Probabilistic latent semantic analysis）
• Probabilistic soft logic
• Probability matching
• Probit model
• Product of experts
• Programming with Big Data in R
• Proper generalized decomposition
• 决策树剪枝（Decision tree pruning）
• Pushpak Bhattacharyya
• Q methodology
• Qloo
• Quality control and genetic algorithms
• Quantum Artificial Intelligence Lab
• 等候理論（Queueing theory）
• Quick, Draw!
• R语言
• Rada Mihalcea
• Rademacher complexity
• 径向基函数核（Radial basis function kernel）
• Rand index
• Random indexing
• Random projection
• Random subspace method
• Ranking SVM
• RapidMiner
• Rattle GUI
• 雷蒙德·卡特尔（Raymond Cattell）
• Reasoning system
• Regularization perspectives on support vector machines
• Relational data mining
• Relationship square
• 相关向量机（Relevance vector machine）
• Relief (feature selection)
• Renjin
• Repertory grid
• Representer theorem
• Reward-based selection
• Richard Zemel
• Right to explanation
• 云机器人（RoboEarth）
• Robust principal component analysis
• RuleML Symposium
• Rule induction
• Rules extraction system family
• 統計分析系統（SAS）
• SNNS
• SPSS Modeler
• SUBCLU
• Sample complexity
• Sample exclusion dimension
• Santa Fe Trail problem
• Savi Technology
• Schema (genetic algorithms)
• Search-based software engineering
• Selection (genetic algorithm)
• Self-Service Semantic Suite
• Semantic folding
• Semantic mapping (statistics)
• Semidefinite embedding
• Sense Networks
• Sensorium Project
• Sequence labeling
• 序列最小优化算法（Sequential minimal optimization）
• Shattered set
• Shogun (toolbox)
• Silhouette (clustering)
• SimHash
• SimRank
• Similarity measure
• 简单匹配系数（Simple matching coefficient）
• 即时定位与地图构建（Simultaneous localization and mapping）
• Sinkov statistic
• Sliced inverse regression
• 蛇梯棋（Snakes and Ladders）
• Soft independent modelling of class analogies
• Soft output Viterbi algorithm
• 所罗门诺夫的归纳推理理论（Solomonoff's theory of inductive inference）
• SolveIT Software
• Spectral clustering
• Spike-and-slab variable selection
• 统计机器翻译（Statistical machine translation）
• Statistical parsing
• Statistical semantics
• Stefano Soatto
• 史蒂芬·沃爾夫勒姆（Stephen Wolfram）
• Stochastic block model
• Stochastic cellular automaton
• Stochastic diffusion search
• Stochastic grammar
• 轉移矩陣（Stochastic matrix）
• 通用隨機抽樣（Stochastic universal sampling）
• Stress majorization
• String kernel
• Structural equation modeling
• Structural risk minimization
• Structured sparsity regularization
• Structured support vector machine
• Subclass reachability
• Sufficient dimension reduction
• Sukhotin's algorithm
• Sum of absolute differences
• Sum of absolute transformed differences
• 群体智能（Swarm intelligence）
• Switching Kalman filter
• Symbolic regression
• Synchronous context-free grammar
• Syntactic pattern recognition
• TD-Gammon
• TIMIT
• Teaching dimension
• Teuvo Kohonen
• Textual case-based reasoning
• Theory of conjoint measurement
• Thomas G. Dietterich
• Thurstonian model
• 主题模型（Topic mode）
• Tournament selection
• 训练集、验证集和测试集（Training, test, and validation sets）
• Transiogram
• Trax Image Recognition
• Trigram tagger
• Truncation selection
• Tucker decomposition
• UIMA
• UPGMA
• Ugly duckling theorem
• Uncertain data
• Uniform convergence in probability
• Unique negative dimension
• Universal portfolio algorithm
• User behavior analytics
• VC维（VC dimension）
• VIGRA
• Validation set
• VC理论（Vapnik–Chervonenkis theory）
• Variable-order Bayesian network
• Variable kernel density estimation
• Variable rules analysis
• Variational message passing
• Varimax rotation
• 向量量化（Vector quantization）
• Vicarious (company)
• 维特比算法（Viterbi algorithm）
• Vowpal Wabbit
• WACA clustering algorithm
• WPGMA
• Ward's method
• 黃鼠狼程式（Weasel program）
• Whitening transformation
• Winnow (algorithm)
• Win–stay, lose–switch
• Witness set
• Wolfram语言（Wolfram Language）
• Wolfram Mathematica
• Writer invariant
• XGBoost
• Yooreeka
• Zeroth (software)

延伸導讀

• Trevor Hastie, Robert Tibshirani and Jerome H. Friedman (2001). The Elements of Statistical Learning, Springer. ISBN 0-387-95284-5.
• Pedro Domingos (September 2015), The Master Algorithm, Basic Books, ISBN 978-0-465-06570-7
• Mehryar Mohri, Afshin Rostamizadeh, Ameet Talwalkar (2012). Foundations of Machine Learning, The MIT Press. ISBN 978-0-262-01825-8.
• Ian H. Witten and Eibe Frank (2011). Data Mining: Practical machine learning tools and techniques Morgan Kaufmann, 664pp., ISBN 978-0-12-374856-0.
• David J. C. MacKay. Information Theory, Inference, and Learning Algorithms Cambridge: Cambridge University Press, 2003. ISBN 0-521-64298-1
• Richard O. Duda, Peter E. Hart, David G. Stork (2001) Pattern classification (2nd edition), Wiley, New York, ISBN 0-471-05669-3.
• Christopher Bishop (1995). Neural Networks for Pattern Recognition, Oxford University Press. ISBN 0-19-853864-2.
• 弗拉基米尔·万普尼克 (1998). Statistical Learning Theory. Wiley-Interscience, ISBN 0-471-03003-1.
• Ray Solomonoff, An Inductive Inference Machine, IRE Convention Record, Section on Information Theory, Part 2, pp., 56–62, 1957.
• Ray Solomonoff, "An Inductive Inference Machine" A privately circulated report from the 1956 Dartmouth Summer Research Conference on AI.

外部連結

• Data Science: Data to Insights from MIT (machine learning)
• Popular online course by 吴恩达, at Coursera. It uses GNU Octave. The course is a free version of 史丹佛大學's actual course taught by Ng, see.stanford.edu/Course/CS229 available for free].
• mloss is an academic database of open-source machine learning software.