手把手教你批量读取数据文件

网友投稿 790 2022-08-28

手把手教你批量读取数据文件

手把手教你批量读取数据文件

曾经有网友问我如何读取磁盘中数个文件的数据,并把这些数据合并到一张数据表中。这期就跟大家讲讲如何完成如下四种情况的文件批量读取:

1、对于文件名有规律的情况

解决方案:

# 设置R的工作空间

setwd('D:\\data file\\data1')

#res <- NULL

# 初始化数据框,用于后面的数据合并

data1 <- data.frame()

#通过循环完成数据合并

for (i in 1:4){

# 构造数据路径

path <- paste0(getwd(),'\\','test',i,'.xlsx')

#res <- c(res,path)

# 读取并合并数据

data1 <- rbind(data1,read_excel(path = path))

}

2、对于文件名没有规律的情况

解决方案:

# 设置工作空间

setwd('D:\\data file\\data2')

# 读取该工作空间下的所有文件名

filenames <- dir()

# 初始化数据框,用于后面的数据合并

data2 <- data.frame()

#通过循环完成数据合并

for (i in filenames){

# 构造数据路径

path <- paste0(getwd(),'\\',i)

#res <- c(res,path)

# 读取并合并数据

data2 <- rbind(data2,read_excel(path = path))

}

3、对于文件名没有规律的情况,并且只读取某做后缀的文件

解决方案:

# 设置工作空间

setwd('D:\\data file\\data3')

# 读取该工作空间下的所有文件名

filenames <- dir()

# 通过正则,获取所有xlsx结尾的文件名

filenames2 <- grep('\\.xlsx', filenames, value = TRUE)

# 初始化数据框,用于后面的数据合并

data3 <- data.frame()

#通过循环完成数据合并

for (i in filenames2){

# 构造数据路径

path <- paste0(getwd(),'\\',i)

#res <- c(res,path)

# 读取并合并数据

data3 <- rbind(data3,read_excel(path = path))

}

4、文件内容结构不一致,但变量名称一致

解决方案

# 加载第三方扩展包,用于编写SQL语句

library(sqldf)

# 设置工作空间

setwd('D:\\data file\\data4')

# 读取该工作空间下的所有文件名

filenames <- dir()

# 通过正则,获取所有xlsx结尾的文件名

filenames2 <- grep('\\.xlsx', filenames, value = TRUE)

# 初始化数据框,用于后面的数据合并

data4 <- data.frame()

#通过循环完成数据合并

for (i in filenames2){

# 构造数据路径

path <- paste0(getwd(),'\\',i)

#res <- c(res,path)

# 使用read_excel函数读取xlsx文件

data <- read_excel(path = path)

# 使用sqldf函数编写SQL语句,并把结果合并起来

data4 <- rbind(data4, sqldf("select id,name,gender,age from data"))

}

以上四种情况是日常工作中最为常见的,这里通过R语言完成了这几种批量读取数据的落地,希望可以帮助到需要的朋友。

下期预告:SVM理论与实战

每天进步一点点2015

学习与分享,取长补短,关注小号!

长按识别二维码 马上关注

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:教你明白啥是朴素贝叶斯分类器
下一篇:C# 程序员最常犯的 10 个错误
相关文章

 发表评论

暂时没有评论,来抢沙发吧~