数据挖掘步骤
图1为知识挖掘的步骤
数据处理:
?标准化处理
?离散化 (Discretization)
?连续值->离散值,分类中常用
?取样 (Sampling)
?维度缩减 (Dimensionality Reduction)
?维度灾难 (Curse of Dimensionality)
?维度过高造成过学习等一系列问题,不利于数据挖掘处理。
?特征选取
?Gain、CHI、MI
?特征抽取
?Principal Components Analysis (PCA)
?Singular Value Decomposition (SVD)
标准化处理
?如果数值型属性的量纲和单位不同,在计算对象距离(相似度)之前,必须把不同的度量单位统一成相同的度量单位。
?由于属于不同概念范畴的属性具有不同的含义,所以把所有的属性转化成某个特定的度量单位是不现实,也是不可能的。
?常用方法
?标准化:把属性的值域映射到一个相同的区间。
?经过标准化处理后,每个属性对距离的度量有着等同的作用。
数据理解:
A. 从数据源抽取数据
B. 用表格图形技术透视数据
C. 处理缺失值
数据准备:
A. 针对记录的数据准备,如选择记录、对记录排序
B. 针对字段的数据准备,如生成新字段
C. 针对文件的数据准备,如合并文件
标准化-数值型属性
?样本Xi?D , xij是Xi在第j个属性上的值,常用的标准化方法有: