机器学习基本概念

一、机器学习概述

1、机器学习 VS 传统编程

• 传统编程：程序员需要明确地告诉计算机如何去解决一个问题。通常是编写规则，输入数据，然后得到输出。--> 基于规则编程
• 机器学习：其目的是创建一个模型，该模型可以从数据中学习规律，并根据这些规律做出预测或决策。
• 传统编程适合一些规则非常明确的任务，而机器学习在复杂或者模糊的任务中，通常会有更好的表现，尤其是那些难以用明确规则来描述的任务。

2、机器学习的核心思想

通过训练生成模型(模型通常是数学函数或其他复杂结构--神经网络)。模型从给定的训练数据中找到一些关系或规律，在未来遇到未知的数据时，进行预测。

二、机器学习的技术名词

1、过拟合和欠拟合

用来描述机器学习模型在训练和泛化方面的表现。

• 过拟合: 形容 模型在给定的训练数据上表现很好，但在遇到未知数据的时候，模型就难以预测到结果了 --> 学习能力太强，学多了
• 欠拟合: 模型在训练数据和测试数据上的表现都不好。这是因为模型太简单了，完全没有捕捉到数据中的复杂规律。 --> 学习能力太弱，学少了

2、训练集、验证集和测试集

• 训练集: 拿来让机器学习的那些数据集，目的是为了用来拟合模型。--> 比例大概70%
• 验证集: 在模型训练过程当中，用来对模型性能做初步的评估，主要用于模型参数调优。--> 比例大概15%
• 测试集: 最终用来评估模型效果的。--> 比例大概15%