跟着小云蹭热点，利用LASSO回归和SVM-REF两种机器学习算法进行特征变量筛选
机器学习，在现在生信文章中出现的频率越来越高，尤其是通过几种机器学习算法相结合的策略来识别相关疾病的特征基因，在现在是最火的生信分析热点，今天小云带着小伙伴也来蹭蹭热点，通过LASSO回归和SVM-REF两种机器学习算法进行特征变量筛选，最后将两种算法获得的交叉基因作为特征基因；这就是小果为大家今天带来的分享内容，接下来和小云一起开启今天的学习之旅吧！
1.何为LASSO回归和SVM-REF算法?
在进行实操之前小云想为大家简单的介绍一下这两种算法，SVM-REF（support vector machine - recursive feature elimination）是基于支持向量机的机器学习方法， 通过删减svm产生的特征向量来寻找最佳变量；LASSO回归（logistic regression）也是机器学习的方法之一，通过寻找分类错误最小时的λ来确定变量，主要用于筛选特征变量，构建最佳分类模型。
今天小云想利用这两种算法进行特征选择，最后取两种方法得到的交叉基因作为特征基因，话不多说，跟着小果开始今天的实操吧！
2. 载入需要的R包
library(tidyverse)
library(glmnet)
source('msvmRFE.R')
library(VennDiagram)
library(sigFeature)
library(e1071)
library(caret)
library(randomForest)
3.数据准备
svm.csv，行名为样本名，第一列为分组信息，其他列为基因所对应的表达矩阵。
4.LASSO回归和SVM-REF筛选特征变量
train <- read.csv("svm.csv",row.names = 1,
as.is = F) #后面svmRFE函数要求group的类型为factor
dim(train)
train[1:4,1:4]
# 转为lasso需要的格式
x <- as.matrix(train[,-1])
(y <- ifelse(train$group == "NR", 0,1)) #把分组信息换成01
fit = glmnet(x, y, family = "binomial", alpha = 1, lambda = NULL)
# 绘制LASSO回归曲线图
pdf("1A_lasso.pdf", width = 30, height = 15)
plot(fit, xvar = "dev", label = TRUE)
dev.off()
#绘制LASSO回归10折交叉验证图
cvfit = cv.glmnet(x, y,
nfold=10, #例文描述：10-fold cross-validation
family = "binomial", type.measure = "class")
pdf("2cvfit.pdf")
plot(cvfit)
dev.off()
#查看最佳lambda
cvfit$lambda.min
# 获取LASSO选出来的特征
myCoefs <- coef(cvfit, s="lambda.min")
lasso_fea <- myCoefs@Dimnames[[1]][which(myCoefs != 0 )]
(lasso_fea <- lasso_fea[-1])
# 把lasso找到的特征保存到文件
write.csv(lasso_fea,"3feature_lasso.csv")
#SVM-REF算法输入数据
input <- train
#采用五折交叉验证 (k-fold crossValidation）
svmRFE(input, k = 5, halve.above = 100) #分割数据，分配随机数
nfold = 5
nrows = nrow(input)
folds = rep(1:nfold, len=nrows)[sample(nrows)]
folds = lapply(1:nfold, function(x) which(folds == x))
results = lapply(folds, svmRFE.wrap, input, k=5, halve.above=100) #特征选择
top.features = WriteFeatures(results, input, save=F) #查看主要变量
head(top.features)
#把SVM-REF找到的特征保存到文件
write.csv(top.features,"4feature_svm.csv")
# 选前300个变量进行SVM模型构建，选取的变量越多，运行速度越慢！
featsweep = lapply(1:300, FeatSweep.wrap, results, input) #300个变量
#save(featsweep,file = "featsweep.RData")
# 画图
no.info = min(prop.table(table(input[,1])))
errors = sapply(featsweep, function(x) ifelse(is.null(x), NA, x$error))
#绘制基于SVM-REF算法的错误率曲线图
pdf("5B_svm-error.pdf",width = 5,height = 5)
PlotErrors(errors, no.info=no.info) #查看错误率
dev.off()
#绘制基于SVM-REF算法的正确率曲线图
#dev.new(width=4, height=4, bg='white')
pdf("6B_svm-accuracy.pdf",width = 5,height = 5)
Plotaccuracy(1-errors,no.info=no.info) #查看准确率
dev.off()
# 图中红色圆圈所在的位置，即错误率最低点
which.min(errors)
#比较lasso和SVM-REF方法一找出的特征变量，画Venn图
(myoverlap <- intersect(lasso_fea, top.features[1:which.min(errors), "FeatureName"])) #交集
#统计交叉基因有多少个
summary(lasso_fea%in%top.features[1:which.min(errors), "FeatureName"])
#绘制venn图
pdf("7C_lasso_SVM_venn.pdf", width = 15, height = 8)
grid.newpage()
venn.plot <- venn.diagram(list(LASSO = lasso_fea, #画图
SVM_RFE = as.character(top.features[1:which.min(errors),"FeatureName"])), NULL,
fill = c("#E31A1C","#E7B800"),
alpha = c(0.5,0.5), cex = 4, cat.fontface=3,
category.names = c("LASSO", "SVM_RFE"),
main = "Overlap")
grid.draw(venn.plot)
dev.off()
5. 结果文件
1.1A_lasso.pdf
该结果图片为Lasso回归图。
2. 2cvfit.pdf
该结果图片为10折交叉验证图。
3.5B_svm-error.pdf
该结果图片为基于SVM-RFE算法5折交叉验证的错误率曲线图。
4.6B_svm-accuracy.pdf
该结果图片为基于SVM-RFE算法5折交叉验证的正确率曲线图
5.3feature_lasso.csv
该结果是基于Lasso算法经过特征选择，筛选出的特征基因。
6.4feature_svm.csv
该结果是基于SVM-REF算法经过特征选择，筛选出的特征基因，FeatureName表示基因名
7.7C_lasso_SVM_venn.pdf
该结果图片为通过LASSO回归和SVM-REF算法进行特征选择，最后取两种方法得到的16个交叉基因作为特征基因的Venn图。
最终小云顺利完成了利用 lassso回归和SVM-REF两种机器学习算法进行了特征基因筛选，机器学习相关其他分析内容欢迎尝试本公司新开发的云平台生物信息分析小工具，零代码完成分析，云平台网址：http://www.biocloudservice.com/home.html，主要包括lasso回归模型筛选特征基因(http://www.biocloudservice.com/116/116.php),随机森林的十折交叉验证
(http://www.biocloudservice.com/646/646.php),svm-ref支持向量机的机器学习(http://www.biocloudservice.com/372/372.php)等机器学习相关的小工具，欢迎大家来尝试哟，今天小果的分享就到这里啦！
