仅用于站内搜索，没有排版格式，具体信息请跳转上方微信公众号内链接
点击上方“小白学视觉”，选择加\“星标\“或“置顶”
重磅干货，第一时间送达
前言
文章详解scikit-learn工具库的用法，覆盖机器学习基础知识、SKLearn讲解、SKLearn三大核心API、SKLearn高级API等内容。
编辑丨关于数据分析与可视化
https ://www. showmeai.tech/article-detail/203
我们在上一篇SKLearn入门与简单应用案例[ 1]https ://www. showmeai.tech/article-detail/202里给大家讲到了SKLearn工具的基本板块与使用方法，在本篇内容中，我们展开讲解SKLearn的进阶与核心内容。SKLearn中有六大任务模块，如下图所示：分别是分类、回归、聚类、降维、模型选择和预处理。
SKLearn官网：https ://scikit-learn. org/stable/[2]
SKLearn的快速使用方法也推荐大家查看ShowMeAI的文章和速查手册AI建模工具速查|Scikit-learn使用指南[ 3]
在SKLearn中，因为做了上层的封装，分类模型、回归模型、聚类与降维模型、预处理器等等都叫做估计器(estimator)，就像在Python里『万物皆对象』，在SKLearn里『万物皆估计器』。
在本篇内容中，我们将给大家进一步深入讲解scikit-learn工具库的使用方法，力求完整覆盖SKLearn工具库应用的方方面面。本文的内容板块包括：
①机器学习基础知识：机器学习定义与四要素：数据、任务、性能度量和模型。机器学习概念，以便和SKLearn对应匹配上。
②SKLearn讲解：API设计原理，SKLearn几大特点：一致性、可检验、标准类、可组合和默认值，以及SKLearn自带数据以及储存格式。
③SKLearn三大核心API讲解：包括估计器、预测器和转换器。这个板块很重要，大家实际应用时主要是借助于核心API落地。
关于本节内容，强烈推荐大家阅读ShowMeAI文章图解机器学习|机器学习基础知识[ 4]和图解机器学习|模型评估方法与准则[ 5]，ShowMeAI对相关知识内容展开做了详细讲解。
何为机器学习？大师汤姆米切尔（TomMitchell）对机器学习定义的原话是：
这段英文中有两个词computerprogram和learn，翻译成中文就是机器(计算机程序)和学习，整体翻译下来就是说：如果计算机程序在T任务上的性能(由P衡量)随着经验E而提高，则称计算机程序从经验E中学习某类任务T。
由上述机器学习的定义可知机器学习包含四个元素：
数据(Data)
任务(Task)
性能度量(QualityMetric)
算法(Algorithm)
数据(data)是信息的载体。数据可以有以下划分方式：
从『数据具体类型』维度划分：结构化数据和非结构化数据。
结构化数据(structureddata)是由二维表结构来逻辑表达和实现的数据。
非结构化数据是没有预定义的数据，不便用数据库二维表来表现的数据。非结构化数据包括图片，文字，语音和视频等。
从『数据表达形式』维度划分：原始数据和加工数据。
从『数据统计性质』维度划分：样本内数据和样本外数据。
对于非结构数据，通常神经网络有更好的效果，可以参考ShowMeAI的文章Python机器学习算法实践[ 6]中的图像建模例子。
机器学习模型很多时候使用的是结构化数据，即二维的数据表。我们这里以iris花瓣数据集举例，如下图。
下面术语大家在深入了解机器学习前一定要弄清楚：
每行的记录(这是一朵鸢尾花的数据统计)，称为一个『样本(sample)』。
反映样本在某方面的性质，例如萼片长度(SepalLength)、花瓣长度(PetalLength)，称为『特征(feature)』。
特征上的取值，例如『样本1』对应的5. 1、3. 5称为『特征值(featurevalue)』。
关于样本结果的信息，例如Setosa、Versicolor，称为『类别标签(classlabel)』。
包含标签信息的示例，则称为『样例(instance)』，即样例=(特征,标签)。
从数据中学得模型的过程称为『学习(learning)』或『训练(training)』。
在训练数据中，每个样例称为『训练样例(traininginstance)』，整个集合称为『训练集(trainingset)』。
根据学习的任务模式(训练数据是否有标签)，机器学习可分为几大类。上图画出机器学习各类之间的关系。
监督学习(有标签)
无监督学习(无标签)
半监督学习(有部分标签)
强化学习(有延迟的标签)
回归和分类任务中最常见的误差函数以及一些有用的性能度量如下，详细内容可以参考ShowMeAI文章机器学习评估与度量准则[ 7]。
SKLearn作为通用机器学习建模的工具包，包含六个任务模块和一个数据导入模块：
监督学习：分类任务[ 8]
监督学习：回归任务[ 9]
无监督学习：聚类任务[ 10]
无监督学习：降维任务[ 11]
模型选择任务[ 12]
数据预处理任务[ 13]
数据导入模块[ 14]
首先看看SKLearn默认数据格式和自带数据集。
Sklearn里模型能直接使用的数据有两种形式：
Numpy二维数组(ndarray)的稠密数据(densedata)，通常都是这种格式。
SciPy矩阵(scipy. sparse.matrix)的稀疏数据(sparsedata)，比如文本分析每个单词(字典有100000个词)做独热编码得到矩阵有很多0，这时用ndarray就不合适了，太耗内存。
SKLearn里面有很多自带数据集供用户使用。
比如在之前文章Python机器学习算法实践中用到的鸢尾花数据集，包含四个特征(萼片长/宽和花瓣长/宽)和三个类别。
我们可以直接从SKLearn里面的datasets模块中引入，代码如下(代码可以在线上Jupyter环境[ 15]中运行)：
#导入工具库fromsklearn. datasetsimportload_irisiris=load_iris()#数据是以『字典』格式存储的，看看iris的键有哪些。iris. keys()
输出如下：
dict_keys([‘data’,’target’,’target_names’,’DESCR’,’feature_names’,’filename’])
读取数据集的信息：
输出如下：
构建Dataframe格式的数据集：
输出如下：
sepallength(cm)
sepalwidth(cm)
petallength(cm)
petalwidth(cm)
species
0
5. 1
3. 5
1. 4
0. 2
setosa
1
4. 9
3. 0
1. 4
0. 2
setosa
2
4. 7
3. 2
1. 3
0. 2
setosa
147
6. 5
3. 0
5. 2
2. 0
virginica
148
6. 2
3. 4
5. 4
2. 3
virginica
149
5. 9
3. 0
5. 1
1. 8
virginica
我们使用seaborn来做一些数据分析，查看一下数据的分布特性。这里使用到的是成对维度的关联分析，关于seaborn的使用方法可以参阅ShowMeAI的文章seaborn工具与数据可视化教程[ 16]。
#使用Seaborn的pairplot查看两两特征之间的关系sns. pairplot(iris_data,hue=’species’,palette=’husl’)
前面提到的是鸢尾花iris数据集，我们通过load_iris加载进来，实际上SKLearn有三种引入数据形式。
打包好的数据：对于小数据集，用sklearn. datasets.load_*
分流下载数据：对于大数据集，用sklearn. datasets.fetch_*
随机创建数据：为了快速展示，用sklearn. datasets.make_*
上面这个星号*指代具体文件名，如果大家在Jupyter这种IDE环境中，可以通过tab制表符自动补全和选择。
datasets. load_
datasets. fetch_
datasets. make_
比如我们调用load_iris
fromsklearnimportdatasetsdatasets. load_iris
输出如下：
我们调用load_digits加载手写数字图像数据集
digits=datasets. load_digits()digits. keys()
输出：
dict_keys([‘data’,’target’,’target_names’,’images’,’DESCR’])
我们再来看看通过fetch拉取数据的示例：
#加州房屋数据集california_housing=datasets. fetch_california_housing()california_housing. keys()
输出：
dict_keys([‘data’,’target’,’feature_names’,’DESCR’])
我们前面提到SKLearn里万物皆估计器。估计器是个非常抽象的叫法，不严谨的一个理解，我们可以视其为一个模型(用来回归、分类、聚类、降维)，或一套流程(预处理、网格搜索交叉验证)。
本节三大API其实都是估计器：
估计器(estimator)通常是用于拟合功能的估计器。
预测器(predictor)是具有预测功能的估计器。
转换器(transformer)是具有转换功能的估计器。
任何可以基于数据集对一些参数进行估计的对象都被称为估计器，它有两个核心点：
①需要输入数据。
②可以估计参数。
估计器首先被创建，然后被拟合。
创建估计器：需要设置一组超参数，比如
线性回归里超参数normalize=True
K均值里超参数n_clusters=5
拟合估计器：需要训练集
在监督学习中的代码范式为model. fit(X_train,y_train)
在无监督学习中的代码范式为model. fit(X_train)
拟合之后可以访问model里学到的参数，比如线性回归里的特征系数coef，或K均值里聚类标签labels，如下(具体的可以在SKLearn文档的每个模型页查到)。
model. coef_
model. labels_
下面看看监督学习的『线性回归』和无监督学习的『K均值聚类』的具体例子。
fromsklearn. linear_modelimportLinearRegressionmodel=LinearRegression(normalize=True)model
输出：
LinearRegression(copy_X=True,fit_intercept=True,n_jobs=None,normalize=True)
创建完后的估计器会显示所有的超参数（比如刚才设置的normalize=True），未设置的超参数都使用默认值。
自己创建一个简单数据集（一条直线上的数据点），简单讲解一下估计器里面的特征。
importnumpyasnpimportmatplotlib. pyplotaspltx=np. arange(10)y=2*x+1plt. plot(x,y,’o’)
在我们生成的数据里，X是一维，我们做一点小小的调整，用np. newaxis加一个维度，把[1,2,3]转成[[1],[2],[3]]，这样的数据形态可以符合sklearn的要求。接着把X和y送入fit()函数来拟合线性模型的参数。
X=x[:,np. newaxis]model. fit(X,y)
输出为：
LinearRegression(copy_X=True,fit_intercept=True,n_jobs=None,normalize=True)
拟合完后的估计器和创建完似乎没有差别，但我们已经可以用model. param_访问到拟合完数据的参数了，如下代码。
print(model. coef_)print(model. intercept_)#输出结果#[2.]#0. 9999999999999982
我们来看看聚类[ 17]的例子，先从SKLearn的cluster中导入KMeans，初始化模型对象命名为model，设置超参数n_cluster为3(为了展示方便而我们知道用的iris数据集有3类，实际上可以设置不同数量的n_cluster)。
虽然iris数据里包含标签y，但在无监督的聚类中我们不会使用到这个信息。
fromsklearn. clusterimportKMeansmodel=KMeans(n_clusters=3)model
输出为：
iris数据集包含四维特征(萼片长、萼片宽、花瓣长、花瓣宽)，在下面的例子中我们希望可视化，这里我们简单选取两个特征(萼片长、萼片宽)来做聚类并且可视化结果。
注意下面代码X=iris. data[:,0:2]其实就是提取特征维度。
fromsklearn. datasetsimportload_irisiris=load_iris()X=iris. data[:,0:2]model. fit(X)
输出为：
拟合完后的估计器和创建完似乎没有差别，但我们已经可以用model. param_访问到拟合完数据的参数了，如下代码。
print(model. cluster_centers_,’\n’)print(model. labels_,’\n’)print(model. inertia_,’\n’)print(iris. target)[[5. 773584912.69245283][6. 812765963.07446809][5. 0063.428]][222222222222222222222222222222222222222222222222221110101010000001000000001111000000001000000000000010111101111110011110101011001111100111011101110110]37. 05070212765958[ 000000000000000000000000000000000000000000000000001111111111111111111111111111111111111111111111111122222222222222222222222222222222222222222222222222]
这里解释一下KMeans模型这几个参数：
model. clustercenters：簇中心。三个簇意味着有三个坐标。
model. labels_：聚类后的标签。
model. inertia_：所有点到对应的簇中心的距离平方和(越小越好)
虽然上面以有监督学习的LinearRegression和无监督学习的KMeans举例，但实际上你可以将它们替换成其他别的模型，比如监督学习的LogisticRegression和无监督学习的DBSCAN。它们都是『估计器』，因此都有fit()方法。
使用它们的通用伪代码如下：
预测器是估计器做的一个延展，具备对数据进行预测的功能。
预测器最常见的是predict()函数：
model. predict(X_test)：评估模型在新数据上的表现。
model. predict(X_train)：确认模型在老数据上的表现。
为了进行新数据评估，我们先将数据分成80:20的训练集(X_train,y_train)和测试集(X_test,y_test)，再用从训练集上拟合fit()的模型在测试集上预测predict()。
对于分类问题，我们不仅想知道预测的类别是什么，有时我们还希望获取预测概率等信息。前者用predict()，后者用predict_proba()。
预测器里还有额外的两个函数可以使用。在分类问题中：
score()返回的是分类准确率。
decision_function()返回的是每个样例在每个类下的分数值。
使用它们的通用伪代码如下：
转换器是一种估计器，也有拟合功能，对比预测器做完拟合来预测，转换器做完拟合来转换。核心点如下：
估计器里fit+predict
转换器里fit+transform
本节介绍两大类转换器：
将类别型变量(categorical)编码成数值型变量(numerical)
规范化(normalize)或标准化(standardize)数值型变量
①LabelEncoder&OrdinalEncoder
LabelEncoder和OrdinalEncoder都可以将字符转成数字，但是：
LabelEncoder的输入是一维，比如1dndarray
OrdinalEncoder的输入是二维，比如DataFrame
除了LabelEncoder，OrdinalEncoder也可以完成编码。如下代码所示：
上面这种编码的问题是，在编码过后会带来不同类别的大小关系，比如这里3种颜色其实本质上是平等的，没有大小关系。
我们的另外一种类别型数据编码方式，独热向量编码(one-hotencoding)可以解决这个问题，大家继续往下看。
②OneHotEncoder
独热向量编码其实就是把一个整数用向量的形式表现。上图右侧就是对颜色做独热向量编码。转换器OneHotEncoder可以接受两种类型的输入：
①用LabelEncoder编码好的一维数组
②DataFrame
一、用LabelEncoder编码好的一维数组(元素为整数)，重塑(用reshape(-1,1))成二维数组作为OneHotEncoder输入。
输出为：
‘with4storedelementsinCompressedSparseRowformat>
上面结果解释如下：
第3行打印出编码结果[ 2012]。
第5行将其转成独热形式，输出是一个『稀疏矩阵』形式，因为实操中通常类别很多，因此就一步到位用稀疏矩阵来节省内存。
想看该矩阵里具体内容，用toarray()函数。
OHE_y. toarray()
输出为：
array([[0.,0.,1.],[1.,0.,0.],[0.,1.,0.],[0.,0.,1.]])
二、用DataFrame作为OneHotEncoder输入。
OHE=OneHotEncoder()OHE. fit_transform(enc_DF).toarray()
输出为：
array([[0.,0.,1.],[1.,0.,0.],[0.,1.,0.],[0.,0.,1.]])
数据要做的最重要的转换之一是特征缩放(featurescaling)。类似逻辑回归，神经网络这种计算型模型，对于不同特征的幅度大小差异是敏感的。
具体来说，对于某个特征，我们有两种变换方法：
标准化(standardization)：每个维度的特征减去该特征均值，除以该维度的标准差。
规范化(normalization)：每个维度的特征减去该特征最小值，除以该特征的最大值与最小值之差。
①MinMaxScaler
如上图所示，MinMaxScaler会根据特征的最大最小取值，对数据进行幅度缩放。
输出为：
array([[0.],[0. 005],[0. 01],[0. 015],[0. 02],[1.]])
②StandardScaler
StandardScaler做的事情是调整数据分布，尽量接近正态分布。
输出为：
array([[-0. 47424487],[-0. 46069502],[-0. 44714517],[-0. 43359531],[-0. 42004546],[2. 23572584]])
注意：fit()函数只能作用在训练集上，如果希望对测试集变换，只要用训练集上fit好的转换器去transform即可。不能在测试集上fit再transform，否则训练集和测试集的变换规则不一致，模型学习到的信息就无效了。
ensemble. BaggingClassifier
ensemble. VotingClassifier
multiclass. OneVsOneClassifier
multiclass. OneVsRestClassifier
multioutput. MultiOutputClassifier
model_selection. GridSearchCV
model_selection. RandomizedSearchCV
pipeline. Pipeline
如上图：分类器统计每个子分类器的预测类别数，再用『多数投票』原则得到最终预测。回归器计算每个子回归器的预测平均值。
最常用的Ensemble估计器排列如下：
AdaBoostClassifier：逐步提升分类器
AdaBoostRegressor：逐步提升回归器
BaggingClassifier：Bagging分类器
BaggingRegressor：Bagging回归器
GradientBoostingClassifier：梯度提升分类器
GradientBoostingRegressor：梯度提升回归器
RandomForestClassifier：随机森林分类器
RandomForestRegressor：随机森林回归器
VotingClassifier：投票分类器
VotingRegressor：投票回归器
我们用鸢尾花数据iris，拿以下estimator来举例：
含同质估计器RandomForestClassifier
含异质估计器VotingClassifier
首先将数据分成80:20的训练集和测试集，并引入metrics来计算各种性能指标。
随机森林RandomForestClassifier通过控制n_estimators超参数来决定基估计器的个数，在这里是4棵决策树(森林由树组成)；此外每棵树的最大树深为5(max_depth=5)。
输出为：
元估计器和预估器一样也有fit()。下面看看随机森林里包含的估计器个数和其本身。
print(RF. n_estimators)RF. estimators_
输出为：
拟合RF完再做预测，用metrics里面的accuracy_score来计算准确率。训练准确率98. 33%，测试准确率100%。
RF-Accuracy(Train):1RF-Accuracy(Test):0. 9667
和随机森林由同质分类器『决策树』不同，投票分类器由若干个异质分类器组成。下面我们用VotingClassifier建立个含有逻辑回归(Logisticregression)、随机森林(RandomForest)和高斯朴素贝叶斯(GNB)三个分类器的集成模型。
RandomForestClassifier的基分类器只能是决策树，因此只用通过控制n_estimators超参数来决定树的个数，而VotingClassifier的基分类器要输入每个异质分类器。
结果如下：
看看Ensemble集成模型里包含的估计器个数和其本身。
print(len(Ensemble. estimators_))Ensemble. estimators_
结果如下：
对比元估计器和它三个组成元素的表现，下过表现如下：
#拟合LR. fit(X_train,y_train)RF. fit(X_train,y_train)GNB. fit(X_train,y_train)
sklearn. multiclass可以处理多类别(multi-class)的多标签(multi-label)的分类问题。下面我们会使用数字数据集digits作为示例数据来讲解。我们先将数据分成80:20的训练集和测试集。
#导入数据fromsklearn. datasetsimportload_digitsdigits=load_digits()digits. keys()
输出如下：
#输出结果dict_keys([‘data’,’target’,’target_names’,’images’,’DESCR’])
下面我们切分数据集：
输出如下
ThesizeofX_trainis(1437,64)Thesizeofy_trainis(1437,)ThesizeofX_testis(360,64)Thesizeofy_testis(360,)
训练集和测试集分别有1437和360张图像。每张照片是包含8×8的像素，我们用flatten操作把2维的8×8展平为1维的64。
看看训练集中前100张图片和对应的标签（如下图）。像素很低，但基本上还是能看清。
手写数字有0-9十类，但手头上只有二分类估计器（比如像支撑向量机）怎么用呢？我们可以采取以下策略处理：
一对一(OnevsOne，OvO)：一个分类器用来处理数字0和数字1，一个用来处理数字0和数字2，一个用来处理数字1和2，以此类推。N个类需要N(N-1)/2个分类器。
一对其他(OnevsAll，OvA)：训练10个二分类器，每一个对应一个数字，第一个分类『1』和『非1』，第二个分类『2』和『非2』，以此类推。N个类需要N个分类器。
①OneVsOneClassifier
考虑一个具体天气多分类问题，天气可以是晴天、阴天和雨天，在OvO中，三个分类器为f1、f2和f3。
f1负责区分橙色和绿色样本
f2负责区分橙色和紫色样本
f3负责区分绿色和紫色样本
在下图的例子中，f1和f2都预测为橙色，f3预测为紫色。根据多数原则得到的结合预测为橙色，如下图所示。
回到数字分类问题上，代码及结果如下：
10*9/2=45，10类总共45个OvO分类器。
print(len(ovo_lr. estimators_))ovo_lr. estimators_
结果如下：
训练集分类全对，测试集准确率98%。
#运行结果OvOLR-Accuracy(Train):1OvOLR-Accuracy(Test):0. 9806
②OneVsRestClassifier
在OvA中，把数据分成“某个”和“其他”
图一，某个=橙色，其他=绿色和紫色
图二，某个=绿色，其他=橙色和紫色
图三，某个=紫色，其他=橙色和绿色
三分类分解成三个二分类，对应的分类器为f1、f2和f3。
f1预测负类，即预测绿色和紫色
f2预测负类，即预测橙色和紫色
f3预测正类，即预测紫色
三个分类器都预测了紫色，根据多数原则得到的预测是紫色，即阴天。
回到数字分类问题上，代码和结果如下：
10类总共10个OvA分类器。
print(len(ova_lr. estimators_))ova_lr. estimators_
结果如下：
训练集准确率几乎100%，测试集准确率96%。代码与结果如下：
OvALR-Accuracy(Train):6. 9993OvALR-Accuracy(Test}:6. 9639
到目前为止，所有的样例都总是被分配到仅一个类。有些情况下，你也许想让分类器给一个样例输出多个类别。在无人驾驶的应用中，在下图识别出有车和指示牌，没有交通灯和人。
物体识别是一个复杂的深度学习问题，我们在这里暂且不深入探讨。我们先看一个简单点的例子，在手写数字的例子上，我们特意为每个数字设计了两个标签：
标签1：奇数、偶数
标签2：小于等于4，大于4
我们构建多标签y_train_multilabel，代码如下（OneVsRestClassifier也可以用来做多标签分类）：
[[TrueTrue][FalseFalse][FalseFalse]…[FalseFalse][FalseFalse][FalseFalse]]
看下图训练集第1和2个图片是数字4和5，对应上面两种标签结果为：
[TrueTrue]：4是偶数，小于等于4
[FalseFalse]：5不是偶数，大于4
我们这次用y_train_multilabel来训练模型。代码如下
有两个估计器，每个对应一个标签。
print(len(ova_ml. estimators_))ova_ml. estimators_
运行结果如下：
展示一下测试集上100张图片。
第一张图片是数字2，它是偶数(标签1为true)，小于等于4(标签2为true)。
print(y_test[:1])print(ova_ml. predict(X_test[:1,:]))
[2][[11]]
sklearn. multioutput可以处理多输出(multi-output)的分类问题。
多输出分类是多标签分类的泛化，在这里每一个标签可以是多类别(大于两个类别)的。一个例子就是预测图片每一个像素(标签)的像素值是多少(从0到255的256个类别)。
Multioutput估计器有两个：
MultiOutputRegressor：多输出回归
MultiOutputClassifier：多输出分类
这里我们只关注多输出分类。
首先引入MultiOutputClassifier和RandomForestClassifier。
fromsklearn. multioutputimportMultiOutputClassifierfromsklearn.ensembleimportRandomForestClassifier
在手写数字的例子上，我们也为特意每个数字设计了多标签而且每个标签的类别都大于二。
标签1：小于等于4，4和7之间，大于等于7(三类)
标签2：数字本身(十类)
代码如下：
#运行结果array([[0,4],[1,5],[2,7],[1,5],[2,9],[2,9]])
用含有100棵决策树的随机森林来解决这个多输入分类问题。
看看这个模型在测试集前五张照片上的预测。
MO. predict(X_test[:5,:])
array([[0,2],[0,2],[0,0],[2,9],[1,5]])
这个ndarray第一列是标签1的类别，第二列是标签2的类别。预测结果是这五张照片分别显示数字2、2、0、9、5(标签2)，它们前三个数2、2、0都小于等于4(标签1第一类)，第四个数9大于等于7(标签1第二类)，而第五个数5在4和7之间(标签1第三类)。
再看看真实标签。
array([[0,2],[0,2],[0,0],[2,9],[1,5]])
对比参考结果标签，模型预测的结果还是很不错的。
模型选择(ModelSelction)在机器学习非常重要，它主要用于评估模型表现，常见的ModelSelection估计器有以下几个：
cross_validate：评估交叉验证的结果。
learning_curve：构建与绘制学习曲线。
GridSearchCV：用交叉验证从超参数候选网格中搜索出最佳超参数。
RandomizedSearchCV：用交叉验证从一组随机超参数搜索出最佳超参数。
这里我们只关注调节超参数的两个估计器，即GridSearchCV和RandomizedSearchCV。我们先回顾一下交叉验证（更详细的讲解请查看ShowMeAI文章图解机器学习|模型评估方法与准则）。
K-折交叉验证(K-foldcrossvalidationset)，指的是把整个数据集平均但随机分成K份，每份大概包含m/K个数据(m是总数据数)。
在这K份，每次选K-1份作为训练集拟合参数，在剩下1份验证集上进行评估计算。由于遍历了这K份数据，因此该操作称为交叉验证。操作如下图所示
下图展示了两个调参的估计器：『网格搜索』和『随机搜索』。
网格搜索调参：参数1在[1,10,100,1000]中取值，参数2在[0. 01,0. 1,110]中取值，注意并不是等间距取值。模型在所有16组超参数上实验，选取交叉验证误差最小的参数。
随机搜索调参：根据指定分布随机搜索，可以选择独立于参数个数，比如log(参数1)服从0到3的均匀分布，log(参数2)服从-2到1的均匀分布。
应用方式与参考代码如下：
输出结果如下：
这里我们对代码做一个解释：
前5行引入相应工具库。
第7-8行准备好数据X和y，创建一个含20个决策树的随机森林模型。
第10-14和23-27行为对随机森林的超参数『最大树深、最多特征数、最小可分裂样本数、分裂标准』构建候选参数分布与参数网格。
第15-18行是运行随机搜索。
第18-30行是运行网格搜索。
运行结果里：
第一行输出每种追踪法运行的多少次和花的时间。
第二行输出最佳超参数的组合。
第三行输出最高得分。
在本例中，随机搜索比网格搜索用更短时间内找到一组超参数，获得了更高的得分。
Pipeline估计器又叫流水线，把各种估计器串联(Pipeline)或并联(FeatureUnion)的方式组成一条龙服务。用好了它真的能大大提高效率。
Pipeline将若干个估计器按顺序连在一起，比如：特征提取→降维→拟合→预测
Pipeline的属性永远和最后一个估计器属性一样：
如果最后一个估计器是预测器，那么Pipeline是预测器。
如果最后一个估计器是转换器，那么Pipeline是转换器。
下面是一个简单示例，使用Pipeline来完成『填补缺失值-标准化』这两步的。我们先构建含缺失值NaN的数据X。
我们用以下流程组件构建Pipeline：
处理缺失值的转换器SimpleImputer。
做规划化的转换器MinMaxScaler。
因为最后一个估计器是转换器，因此pipeline也是个转换器。下面我们来运行一下，我们发现值都被填满了，而且两列也被标准化了。
X_proc=pipe. fit_transform(X)
来验证上面流水线的参数，我们可以按顺序来运行这两个转换器，结果是一样的。
X_impute=SimpleImputer(missingvalues=np. nan,strategy=’mean’).fit_transform(X)X_impute
X_normalize=MinMaxScaler().fit_transform(X_impute)X_normalize
运行结果
array([[1.,0. 12],[0. 77777778,0. 72],[0. 55555556,6. 48],[0. 52,1],[0. 04444444,1.],[0. 11111111,9.],[0. 08888889,6. 92],[0. 34166667,6. 52],[0. 15555556,0. 4]])
如果我们想在一个节点同时运行几个估计器，我们可用FeatureUnion。在下面的例子中，我们首先建立一个DataFrame数据，它有如下特点：
前两列字段『智力IQ』和『脾气temper』都是类别型变量。
后两列字段『收入income』和『身高height』都是数值型变量。
每列中都有缺失值。
结果如下：
我们现在按下列步骤来清洗数据。
对类别型变量：获取数据→中位数填充→独热编码
对数值型变量：获取数据→均值填充→标准化
上面两步是并行进行的。
首先我们自己定义一个从DataFrame里面获取数据列的类，起名叫DataFrameSelector。
上述代码在transform函数中，我们将输入的DataFrameX根据属性名称来获取其值。
接下来建立流水线full_pipe，它并联着两个流水线
categorical_pipe处理分类型变量
DataFrameSelector用来获取
SimpleImputer用出现最多的值来填充None
OneHotEncoder来编码返回非稀疏矩阵
numeric_pipe处理数值型变量
DataFrameSelector用来获取
SimpleImputer用均值来填充NaN
normalize来规范化数值
代码如下：
我们打印结果如下：
X_proc=full_pipe. fit_transform(X)print(X_proc)
[[1. 0.120. 1.0. 0.1.][0. 777777780.721. 0.0. 1.0.][0. 555555560.481. 0.0. 0.1.][0. 0.520. 0.1. 1.0.][0. 044444441.0. 1.0. 1.0.][0. 111111110.1. 0.0. 1.0.][0. 088888890.920. 1.0. 1.0.][0. 341666670.520. 1.0. 1.0.][0. 155555560.40. 1.0. 1.0.]]
下面我们对上面讲解到的sklearn工具库应用知识做一个总结。
SKLearn的设计下，它的主要API遵循五大原则
所有对象的接口一致且简单，在『估计器』中
创建：model=Constructor(hyperparam)
拟参：
有监督学习：model. fit(X_train,y_train)
无监督学习：model. fit(X_train)
在『预测器』中
有监督学习里预测标签：y_pred=model. predict(X_test)
无监督学习里识别模式：idx_pred=model. predict(Xtest)
在『转换器』中
创建：trm=Constructor(hyperparam)
获参：trm. fit(X_train)
转换：X_trm=trm. transform(X_train)
所有估计器里设置的超参数和学到的参数都可以通过实例的变量直接访问来检验其值，区别是超参数的名称最后没有下划线_，而参数的名称最后有下划线_。举例如下：
通例：model. hyperparameter
特例：SVC. kernel
通例：model. parameter_
特例：SVC. support_vectors_
SKLearn模型接受的数据集的格式只能是『Numpy数组』和『Scipy稀疏矩阵』。超参数的格式只能是『字符』和『数值』。不接受其他的类！
模块都能重复『连在一起』或『并在一起』使用，比如两种形式流水线(pipeline)
任意转换器序列
任意转换器序列+估计器
SKLearn给大多超参数提供了合理的默认值，大大降低了建模的难度。
sklearn的建模应用流程框架大概如下：
是『有监督』的分类或回归？还是『无监督』的聚类或降维？确定好后基本就能知道用Sklearn里哪些模型了。
这步最繁琐，要处理缺失值、异常值；要编码类别型变量；要正规化或标准化数值型变量，等等。但是有了Pipeline神器一切变得简单高效。
这步最简单，训练用估计器fit()先拟合，评估用预测器predict()来评估。
启动ModelSelection估计器里的GridSearchCV和RandomizedSearchCV，选择得分最高的那组超参数(即模型)。
SKLearn入门与简单应用案例:https ://www. showmeai.tech/article-detail/202
SKLearn官网:https ://scikit-learn. org/stable/
AI建模工具速查|Scikit-learn使用指南:https ://www. showmeai.tech/article-detail/108
图解机器学习|机器学习基础知识:https ://www. showmeai.tech/article-detail/185
图解机器学习|模型评估方法与准则:https ://www. showmeai.tech/article-detail/186
Python机器学习算法实践:https ://www. showmeai.tech/article-detail/201
机器学习评估与度量准则:https ://www. showmeai.tech/article-detail/186
监督学习：分类任务:https ://scikit-learn. org/stable/supervised_learning. html#supervised-learning
监督学习：回归任务:https ://scikit-learn. org/stable/supervised_learning. html#supervised-learning
无监督学习：聚类任务:https ://scikit-learn. org/stable/modules/clustering. html#clustering
无监督学习：降维任务:https ://scikit-learn. org/stable/modules/decomposition. html#decompositions
模型选择任务:https ://scikit-learn. org/stable/model_selection. html#model-selection
数据预处理任务:https ://scikit-learn. org/stable/modules/preprocessing. html#preprocessing
数据导入模块:https ://scikit-learn. org/stable/datasets. html
线上Jupyter环境:https ://jupyter. org/try
seaborn工具与数据可视化教程:https ://www. showmeai.tech/article-detail/151
聚类:https ://www. showmeai.tech/article-detail/197
下载1：OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。
下载2：Python视觉实战项目52讲
在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。
下载3：OpenCV实战项目20讲
在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。
交流群
欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三+上海交大+视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~
