1.缺失值/异常值处理
这里分四种情况讨论（当然具体使用哪种方法还是要根据具体业务进行分析和调整哈~）：
- 数据量很大，缺失值较少：因为有足够的数据量，删除小部分数据可能对结果影响不大，因此这种情况我可能把缺失数据对应的行删除。
- 数据量很大，缺失值较多：如果这个特征很重要，可能需要做一下插值，如果这个特征不是很重要，我会把整个特征删掉。
- 数据量不大，缺失值较少：因为数据量不是很大，如果直接删除对应的数据，数据量就会更少，对模型的训练造成影响，因此这种情况我可能会进行插值。
- 数据量不大，缺失值较多：如果这个特征很重要，可能需要做一下插值，如果这个特征不是很重要，我会把整个特征删掉。
##用均值插值,也可以用中位数"median",众数"most_frequent"
from sklearn import preprocessing
imp =preprocessing.Imputer(missing_values='NaN', strategy='mean', axis=0)
X=np.array([[1, 2], [np.nan, 3], [7, 6]])
imp.fit(X)
imp.transform(X)
Out[184]:
array([[ 1., 2.],
[ 4., 3.],
[ 7., 6.]])
2.定量特征二值化
有些数值特征可能没有实际的数值意义，需要将其转化成布尔值，如逻辑回归中需要将结果映射成0、1变量，可以用sklearn中的Binarizer（）方法。
from sklearn import preprocessing
import numpy as np
x = np.array([
[ 1., -1., 2.],
[ 2., 0., 0.],
[ 0., 1., -1.]])
###默认threshld = 0.0，即大于0.0的映射成1，小于等于0.0的映射成0
bina = preprocessing.Binarizer(threshold=1.0)
bina_x = bina.fit_transform(x)
Out[90]:
array([[ 0., 0., 1.],
[ 1., 0., 0.],
[ 0., 0., 0.]])
3. 定性特征哑编码(one-hot encoding)
有些类别类型的变量一般无法直接应用在需要进行数值型计算的算法里，比如 LR，可以对这类特征变成多个二值特征(但这些特征会线性相关，因此在做回归时，需要剔除一个特征，这个剔除的特征可以用其它特征线性表出)。例如，数据集中有2种性别[male,female]，三种可能的地方[line1,line2,other]，则会生成5个特征，前2个特征为编码性别，接下来3个特征为地方编码。可以有两种实现方式：一种用sklearn自带的OneHotEncoder()，但是这个方法要求输入数据是数值型，即需要将[male,female]转化成[1,0]这种类型；另一种实现方式是用pandas库中的get_dummies()函数，这个不需要转换，并且如果有数值类型的特征不需要哑编码的时候，这种方法是比较适用的，它会自动检测到，只对类别型变量进行哑编码。
from sklearn import preprocessing
import pandas as pd
df = pd.DataFrame({'sex':['male','female','male'],'city':['line1','line2','other'],'value':[1,2,3.5]})
pd.get_dummies(df)
Out[164]:
value city_line1 city_line2 city_other sex_female sex_male
0 1.0 1 0 0 0 1
1 2.0 0 1 0 1 0
2 3.5 0 0 1 0 1
##用OneHotEncoder()
enc = preprocessing.OneHotEncoder()
df = pd.DataFrame({'city':[0,1,2],'sex':[1,0,1]})
enc.fit_transform(df).toarray()
Out[169]:
array([[ 1., 0., 0., 0., 1.],
[ 0., 1., 0., 1., 0.],
[ 0., 0., 1., 0., 1.]])
注意：哑编码后的特征都是线性相关的，例如：上面的前3列是线性相关的，l3 = -l2 - l1 + 1,后两列也是线性相关的，l4 = -l5 +1,其中li 表示第i列，因此在做模型训练的时候要把其中相关的特征去掉，对于回归模型尤其重要。
4. 数据标准化/中心化/归一化
为了取消由于量纲不同、自身变异或者数值相差较大所引起的误差，即使变量无量纲化，通常用到的方法有标准化，中心化，归一化等。
-
数据标准化（或者零-均值标准化）：
其中μ是样本的均值，σ是样本的标准差。
from sklearn import preprocessing
scaler = preprocessing.StandardScaler().fit(x)
scaler.transform(x)
Out[93]:
array([[ 0. , -1.22474487, 1.33630621],
[ 1.22474487, 0. , -0.26726124],
[-1.22474487, 1.22474487, -1.06904497]])
-
数据中心化：
其中μ是样本的均值。
这个sklearn好像没有现成的代码，不过这个也很简单，我自己写了一个。
##axis=0，表示按列求均值
x-np.mean(x, axis=0)
Out[96]:
array([[ 0. , -1. , 1.66666667],
[ 1. , 0. , -0.33333333],
[-1. , 1. , -1.33333333]])
-
数据归一化：
其中min是样本中最小值，max是样本中最大值，最大值与最小值非常容易受异常点影响。
from sklearn import preprocessing
minmaxscaler = preprocessing.MinMaxScaler()
minmaxscaler.fit_transform(x)
Out[100]:
array([[ 0.5 , 0. , 1. ],
[ 1. , 0.5 , 0.33333333],
[ 0. , 1. , 0. ]])
5.生成多项式特征
在特征构造时，我们可能需要构造一些非线性特征或交叉特征，sklearn也提供了相应的函数，如果有两个特征（x1,x2）,则构造完后会生成（1, X1, X2, X1^2, X1X2, X2^ 2），python代码如下：
from sklearn import preprocessing
##构造2次多项式， 默认也是2次
poly = preprocessing.PolynomialFeatures(2)
poly_x = poly.fit_transform(x)
poly_x
Out[110]:
array([[ 1., 1., -1., 2., 1., -1., 2., 1., -2., 4.],
[ 1., 2., 0., 0., 4., 0., 0., 0., 0., 0.],
[ 1., 0., 1., -1., 0., 0., -0., 1., -1., 1.]])
##查看多项式的名字
poly.get_feature_names()
Out[107]: ['1', 'x0', 'x1', 'x2', 'x0^2', 'x0 x1', 'x0 x2', 'x1^2', 'x1 x2', 'x2^2']
个人见解，如有错误，欢迎指正呀~
后面会继续补充，欢迎关注呀~
网友评论