app开发者平台在数字化时代的重要性与发展趋势解析
790
2022-08-28
手把手教你批量读取数据文件
曾经有网友问我如何读取磁盘中数个文件的数据,并把这些数据合并到一张数据表中。这期就跟大家讲讲如何完成如下四种情况的文件批量读取:
1、对于文件名有规律的情况
解决方案:
# 设置R的工作空间
setwd('D:\\data file\\data1')
#res <- NULL
# 初始化数据框,用于后面的数据合并
data1 <- data.frame()
#通过循环完成数据合并
for (i in 1:4){
# 构造数据路径
path <- paste0(getwd(),'\\','test',i,'.xlsx')
#res <- c(res,path)
# 读取并合并数据
data1 <- rbind(data1,read_excel(path = path))
}
2、对于文件名没有规律的情况
解决方案:
# 设置工作空间
setwd('D:\\data file\\data2')
# 读取该工作空间下的所有文件名
filenames <- dir()
# 初始化数据框,用于后面的数据合并
data2 <- data.frame()
#通过循环完成数据合并
for (i in filenames){
# 构造数据路径
path <- paste0(getwd(),'\\',i)
#res <- c(res,path)
# 读取并合并数据
data2 <- rbind(data2,read_excel(path = path))
}
3、对于文件名没有规律的情况,并且只读取某做后缀的文件
解决方案:
# 设置工作空间
setwd('D:\\data file\\data3')
# 读取该工作空间下的所有文件名
filenames <- dir()
# 通过正则,获取所有xlsx结尾的文件名
filenames2 <- grep('\\.xlsx', filenames, value = TRUE)
# 初始化数据框,用于后面的数据合并
data3 <- data.frame()
#通过循环完成数据合并
for (i in filenames2){
# 构造数据路径
path <- paste0(getwd(),'\\',i)
#res <- c(res,path)
# 读取并合并数据
data3 <- rbind(data3,read_excel(path = path))
}
4、文件内容结构不一致,但变量名称一致
解决方案
# 加载第三方扩展包,用于编写SQL语句
library(sqldf)
# 设置工作空间
setwd('D:\\data file\\data4')
# 读取该工作空间下的所有文件名
filenames <- dir()
# 通过正则,获取所有xlsx结尾的文件名
filenames2 <- grep('\\.xlsx', filenames, value = TRUE)
# 初始化数据框,用于后面的数据合并
data4 <- data.frame()
#通过循环完成数据合并
for (i in filenames2){
# 构造数据路径
path <- paste0(getwd(),'\\',i)
#res <- c(res,path)
# 使用read_excel函数读取xlsx文件
data <- read_excel(path = path)
# 使用sqldf函数编写SQL语句,并把结果合并起来
data4 <- rbind(data4, sqldf("select id,name,gender,age from data"))
}
以上四种情况是日常工作中最为常见的,这里通过R语言完成了这几种批量读取数据的落地,希望可以帮助到需要的朋友。
下期预告:SVM理论与实战
每天进步一点点2015
学习与分享,取长补短,关注小号!
长按识别二维码 马上关注
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~