ML01 数据预处理

发表于 | 更新于 | 分类于 |

数据预处理

跟着github上的学习教程，对机器学习的知识进行再学习。着重练习代码编写和问题解决能力。

github教程地址：https://github.com/MLEveryday/100-Days-Of-ML-Code/blob/master/Code/Day%201_Data_Preprocessing.md

如上面的思维导图所示，所有的算法在运行之前，一般均需导入数据并对数据做简单的处理。

是基于 ```numpy``` 的一个包工具，提供高效操作大型数据库的工具。据说，它是使得成为高效数据分析工具的重要因素之一。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

之后需要对数据做基本分析，并处理脏数据及缺失数据。```sklearn```包提供了对数据预处理的方法。

然后拆分数据集，分成训练集与测试集等。之后，对数据特征处理，做缩放及归一化处理。归一化处理问题，下一篇文章记一下。

示例：

```python
import numpy as np
import pandas as pd
from sklearn.preprocessing import Imputer, LabelEncoder, OneHotEncoder
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 使用pandas导入管理数据集
dataset = pd.read_csv('../datasets/Data.csv')
X = dataset.iloc[:, :-1].values
Y = dataset.iloc[:, 3].values

# 使用sklearn处理缺失数据
imputer = Imputer(missing_values="NaN", strategy="mean", axis=0)
imputer = imputer.fit(X[:, 1:3])
X[:, 1:3] = imputer.transform(X[:, 1:3])

# 解析分类数据
labelencoder_X = LabelEncoder()
X[:, 0] = labelencoder_X.fit_transform(X[:, 0])

# 创建虚拟变量
onehotencoder = OneHotEncoder(categorical_features=[0])
X = onehotencoder.fit_transform(X).toarray()
labelencoder_Y = LabelEncoder()
Y = labelencoder_Y.fit_transform(Y)

# 拆分训练数据集和测试数据集
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size=0.2, random_state=0)

print("归一化前：")
print(X_test, "\n----\n", X_train)
print(Y_test, "\n----\n", Y_train)

# 归一化处理
sc_X = StandardScaler()
X_train = sc_X.fit_transform(X_train)
X_test = sc_X.fit_transform(X_test)

print("\n归一化后：")
print(X_test, "\n----\n", X_train)
print(Y_test, "\n----\n", Y_train)