看到一篇数据预处理很全面的文章，所以将链接贴了过来 https://www.jianshu.com/p/37e529c8baa9
对上述文章的补充
词标准化
最大匹配算法
前向最大匹配算法：
前向最大匹配算法
后向最大匹配算法：
后向最大匹配算法
基于语言模型的分词方法
1
2
在进行计算时，会对类乘取log，将类乘转化为log累加，可以避免数值过小
3
利用编辑距离拼写纠错流程：
(1) 判断是否是措词： 当前词在vocab中没有出现，那么当前词就是拼写错误
(2) 生成候选词： 对错词生成编辑距离为1到k的词,然后将生成的词与vocab比较，若生成的词在vocab中就保留，若不在就说明当前词是错词，直接删除。
1
(3) 利用噪声信道模型来选取候选词
流程如下图所示：
2.png
参考文献：
精品笔记 ML AI 斯坦福机器学习笔记 GTD 数据预处理 数据预处理 预处理终版.
大师兄的Python机器学习笔记:数据预处理大师兄的Python机器学习笔记:实现评估模型 一、重抽样方法 1. ...
看到一篇数据预处理很全面的文章，所以将链接贴了过来 https://www.jianshu.com/p/37e52...
数据归一化Preprocessing.MinMaxScaler公式 (x-min(x))/(max(x)-min(...
本文内容 本文为笔者个人的学习笔记，包括以下内容 TCGA count数据下载 count数据预处理，标准化 差异...
第一天机器学习100天|Day1数据预处理，我们学习了数据预处理。知道了，数据预处理是机器学习中最基础和最麻烦，未...
数据预处理 前言： What's This：我自己的学习笔记，如果你不想看GitHub，这里搬运的应该也很全面。 ...
大师兄的数据分析学习笔记(十三）：特征预处理（四）[https://www.jianshu.com/p/e5582...
大师兄的数据分析学习笔记(十二）：特征预处理（三）[https://www.jianshu.com/p/5e334...
大师兄的数据分析学习笔记(十一）：特征预处理（二）[https://www.jianshu.com/p/fe9c6...
本文标题：学习笔记-数据预处理
本文链接：https://www.haomeiwen.com/subject/wszsphtx.html
网友评论