化枌屺嗴习并利用随愺棧构艀需牞岁重要性原理縊唟用！

Datawhale干货೛

量辑：很据派THU，来源：氆围多丆知书院

本文亦2000墄，建订阅读8人钟
本文对随机最朎帀个甘势瘯征选择上做一个简单的介绍解

随机森林是以神篏桑为埜学习器的集成学验瓈泆。随量栈林非常简南，易于实亰，计算弍留基很小子勴䭦人惊的混昈廏在刡类和回归上）猂建了十分惊人皡经能�数此，随机森林亹賕䨭为⛸互佨阨的孥习杞帯瘴平的法”ㅁ

一、随应森林RF简廋

叁觻渧觮决策㠑白然法，黟的随渭森斗恒定的密晿珂解的述嚏机森林瘍琌滓厄纄簨夯渉嗮个步骤概括澨

嬨有练数放嚄蚁方法（bootstrap）行样本集丮选莡n乀梱蜹作为间丂因仃集。

用沽样得到的样本集生成一棵决策树。在生成的每一个结点：

知机不。复坶选抺d乘通徇

苹用分d个特征分别对栺文集进行划分，找到最佳的划分特征（可用基尼睞敱、增益到或輺伌这堺益判别￐供

重奢步騐1到毁骤2共k濙伀k即为鐌柶溧攟中具策棸瘼个数的

用賕）可勥的随杻森林盹测试样本连袥适测，并用票选法决定预测的结果。

湰囈毆衿盏耂圸岎礰䏑态机篮林箚泇ﰈ图片出自式训2）：

没错，就是这个到处都是随机取值的算法，在分类和回归上有着极佳的效果，是不是觉得强的没法解释~

然而本文的重点不是这个，而是接×来的特征重要性评估。

二态特征重蟺桀觑学

现实情况下，一个数慳集中往往有成百上前个特征，如何在其中选择比结果影注最大的那几个特征，以此来缩减建立模型时的特征数是我们比较关心的问题。这样，方法其寳下姒，比如主成分分析，lasso等等。不过，这里我们要介绍的是用随机森林来对进肹赞征筛选。

用随査森林进行特征重要性评估的思想其实很简单，说白了就是看看每个特征在阅机森林中的每棵树上做了多大的贡献，然后取个平均值，最后比一比特征䭋閇的贡献大小。

好了，那么这个贡献是怎么一个说法呢？通常可以用基尼指数（Gini index）或者袋外数据（OOB）错误率作为评价指标来衡量。

我们这里只介绍用基尼指数来评价的方法，首先对另一种方法做个简单介绍，具体可以参考文献2：

的定义为：在 RF 的每棵树中，使用随机抽取的训练自助样本建树，并计算袋外数据 OOB）的预测错误率，然后随机置换变量X，的观测值后再次建树并计算 OOB 的预测错误率，最后计算两次 OOB 错误率的差值经过标准化处理后在所有树中的平均值即为变量，的置换重要性 ()

我们将变量重要性评分(variable importance measures)用

来表示，将Gini指数用来表示，假设有个特征

，，，棵决策树，个类别，现在要计算出每个特征的Gini指数评分

，亦即第个特征在RF所有决策树中节点分裂不纯度的平均改变量。

第棵树节点的

指数的计算公式为：

其中，表示有个类别，表示节点

中类别所占的比例。直观地说，就是随便从节点中随机抽取两个样本，其类别标记不一致的概率。

特征在第棵树节点的重要性，即节点分枝前后的

指数变化量为：

其中，和

分别表示分枝后两个新节点的指数。如果，特征在决策树 i 中出现的节点为集合，那么

在第棵树的重要性为：

假设 RF 中共有 I 棵树，那么：

最后，把所有求得的重要性评分做一个归一化处理即可。

三、举个例子

值得庆幸的是，sklearn已经帮我们封装好了一切，我们只需要调用其中的函数即可。

我们以UCI上葡萄酒的例子为例，首先导入数据集。

import pandas as pdurl = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data'df = pd.read_csv(url, header = None)df.columns = ['Class label', 'Alcohol', 'Malic acid', 'Ash', 'Alcalinity of ash', 'Magnesium', 'Total phenols', 'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins', 'Color intensity', 'Hue', 'OD280/OD315 of diluted wines', 'Proline']

然后，我们来大致看下这是一个怎么样的数据集：

import numpy as npnp.unique(df['Class label'])

输出为：

array([1, 2, 3], dtype=int64)

可见共有3个类别。然后再来看下数据的信息：

df.info()

输出为：

'pandas.core.frame.DataFrame'>RangeIndex: 178 entries, 0 to 177Datacolumns (total 14 columns):Classlabel                     178 non-null int64Alcohol178 non-null float64Malicacid                      178 non-null float64
Ash178 non-null float64Alcalinityof ash               178 non-null float64Magnesium178 non-null int64Totalphenols                   178 non-null float64Flavanoids178 non-null float64Nonflavanoidphenols            178 non-null float64Proanthocyanins178 non-null float64Colorintensity                 178 non-null float64Hue178 non-null float64OD280/OD315of diluted wines    178 non-null float64Proline178 non-null int64dtypes: float64(11), int64(3)memoryusage: 19.5 KB

可见除去class label之外共有13个特征，数据集的大小为178。按照常规做法，将数据集分为训练集和测试集。

try:from sklearn.cross_validation import train_test_splitexcept:from sklearn.model_selection import train_test_splitfrom sklearn.ensemble import RandomForestClassifierx, y = df.iloc[:, 1:].values, df.iloc[:, 0].valuesx_train, x_test, y_train, y_test = train_test_split(x, y, test_size = 0.3, random_state = 0)feat_labels = df.columns[1:]forest = RandomForestClassifier(n_estimators=10000, random_state=0, n_jobs=-1)forest.fit(x_train, y_train)

好了，这样一来随机森林就训练好了，其中已经把特征的重要性评估也做好了，我们拿出来看下。

importances = forest.feature_importances_indices = np.argsort(importances)[::-1]for f in
 range(x_train.shape[1]):print("%2d) %-*s %f" % (f + 1, 30, feat_labels[indices[f]], importances[indices[f]]))

输出的结果为：

1) Color intensity                0.1824832) Proline                        0.1586103) Flavanoids                     0.1509484) OD280/OD315 of diluted wines   0.1319875) Alcohol                        0.1065896) Hue                            0.0782437) Total phenols                  0.0607188) Alcalinity of ash              0.0320339) Malic acid                     0.02540010) Proanthocyanins                0.022351
11) Magnesium                      0.02207812) Nonflavanoid phenols           0.01464513) Ash                            0.013916

对的就是这么方便。如果要筛选出重要性比较高的变量的话，这么做就可以：

threshold = 0.15x_selected = x_train[:, importances > threshold]x_selected.shape

输出为：

import pandas as pdurl = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data'df = pd.read_csv(url, header = None)df.columns = ['Class label', 'Alcohol', 'Malic acid', 'Ash', 'Alcalinity of ash', 'Magnesium', 'Total phenols', 'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins', 'Color intensity', 'Hue', 'OD280/OD315 of diluted wines', 'Proline']0

瞧，这不，帮我们选好了3个重要性大于0.15的特征了吗~

参考文献

[1] Raschka S. Python Machine Learning[M]. Packt Publishing, 2015.
[2] 杨凯, 侯艳, 李康. 随机森林变量重要性评分及其研究进展[J]. 2015.

来源：https://blog.csdn.net/zjuPeco/article

作者：zjuPeco

import pandas as pdurl = 'http://archive.ics.uci.edu/ml/machine-learning-databases/wine/wine.data'df = pd.read_csv(url, header = None)df.columns = ['Class label', 'Alcohol', 'Malic acid', 'Ash', 'Alcalinity of ash', 'Magnesium', 'Total phenols', 'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins', 'Color intensity', 'Hue', 'OD280/OD315 of diluted wines', 'Proline']1
往期精彩回顾




适合初学者入门人工智能的路线及资料下载
(图文+视频)机器学习入门系列下载
机器学习及深度学习笔记等资料打印
《统计学习方法》的代码复现专辑
机器学习交流qq群955171419，加入微信群请扫码