洞察纵观鸿蒙next版本,如何凭借FinClip加强小程序的跨平台管理,确保企业在数字化转型中的高效运营和数据安全?
2345
2022-09-30
使用bypy直接-百度网盘数据到服务器?
目录
问题描述解决方案注意数据存放在百度网盘的位置-关于速度
问题描述
客户一个测序原始数据在百度网盘上待分析。一般思路是-到本地,再转移到服务器。但这样相当于数据转移两次,如果客户不给你账号密码,可能还得转移三次。而百度网盘这尿性,-会很慢很慢。
解决方案
网上查了下,百度网盘提供了一个开放的api,使用服务器的命令行即可直接-数据。
pip install bypy
第一次使用的时候,因为需要注册访问百度网盘api,所以随便输入一个bypy命令,如:bypy info
这时会命令行返回一个网址,打开此网址,登录百度网盘之后,得到验证码。(客户提供即可)
返回命令行输入此验证码,即可使bypy得到百度网盘api使用权限,接下来就可以使用bypy管理百度网盘文件的上传-了。
程序会利用不同的服务器进行认证,认证成功会显示百度网盘的容量,如果一次没成功,可以多试几次。认证成功后,会显示百度网盘空间的大小。
执行 bypy 或者 bypy help。
$ bypyusage: bypy [-h] [-V] [-d] [-v] [-r RETRY] [-q] [-t TIMEOUT] [-s SLICE] [--chunk CHUNK] [-e] [-f] [--no-resume-download] [--include-regex INCREGEX] [--on-dup ONDUP] [--no-symlink] [--disable-ssl-check] [--cacerts CACERTS] [--mirror MIRROR] [--select-fastest-mirror] [--rapid-upload-only] [--resume-download-revert-back RCOUNT] [--move] [--processes PROCESSES] [--downloader DOWNLOADER] [--downloader-arguments DOWNLOADER_ARGS] [--config-dir CONFIGDIR] [-c] [command ...]bypy v1.7.12 - Python client for Baidu Yun (Personal Cloud Storage) 百度云/百度网盘 Python 客户端
注意数据存放在百度网盘的位置
数据需要放在百度网盘一级目录下的apps文件夹,有的可能是“我的应用数据”,我试图新建或修改文件名为apps,显示失败。所以这时“apps”就是“我的应用数据”,比如:
bypy list 显示百度网盘 /apps(我的应用数据)/bypy 目录下的所有文件。
$ bypy list/apps/bypy ($t $f $s $m $d):D RNA-seq OE,Crispr 0 2022-08-12, 16:40:46$ bypy list RNA-seq\ OE,Crispr//apps/bypy/RNA-seq OE,Crispr ($t $f $s $m $d):D 1.rawdata 0 2022-08-12, 16:40:46F Report-P101SC18081936-01-J024-B24-21.zip 2002206 2022-08-12, 16:40:46 dbe71e6b7rdd9b9b982a761e93856ae4$ bypy list RNA-seq\ OE,Crispr/1.rawdata//apps/bypy/RNA-seq OE,Crispr/1.rawdata ($t $f $s $m $d):D C01-1_FRAS210125923-2r 0 2022-08-12, 16:40:46D C01-2_FRAS210125926-2r 0 2022-08-12, 16:40:46D C01-3_FRAS210125929-2r 0 2022-08-12, 16:40:46D mir529-1_FRAS210125925-2r 0 2022-08-12, 16:40:46D mir529-2_FRAS210125928-2r 0 2022-08-12, 16:40:46D mir529-3_FRAS210125931-2r 0 2022-08-12, 16:40:46D OE529-1_FRAS210125924-2r 0 2022-08-12, 16:40:46D OE529-2_FRAS210125927-2r 0 2022-08-12, 16:40:46D OE529-3_FRAS210125930-2r 0 2022-08-12, 16:40:46F checkSize.xls 1604 2022-08-12, 16:40:46 b54e69664u9cbae3a82280c1d096d728$ bypy list RNA-seq\ OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/apps/bypy/RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r ($t $f $s $m $d):F C01-1_FRAS210125923-2r_1.fq.gz 973524936 2022-08-12, 16:40:46 c35112b4ev1742a0fa870a6406cc3433F C01-1_FRAS210125923-2r_2.fq.gz 967398012 2022-08-12, 16:40:46 033bd3c38u1630cdbb2ef65d526aa805F MD5.txt 130 2022-08-12, 16:40:46 303bc7473oc805779418f37abf511c57
-
上传或者-百度网盘数据:
## 上传bypy upload [localpath] [remotepath] [ondup] 或 bypy syncup [localdir] [remotedir] [deleteremote] 上传文件到百度网盘## -bypy downfile
不加路径时,则上传/-当前目录。
特别注意目录的表示方法,只需要写上bypy后的路径即可。
错误的表示方法:
$ bypy downfile 我的网盘/我的应用数据/bypy/RNA-seq\ OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz [16:54:02] OE529-3_FRAS210125930-2r_1.fq.gz <- /apps/bypy/我的网盘/我的应用数据/bypy/RNA-seq OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz
正确的表示方法:
$ bypy downfile RNA-seq\ OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz [16:54:53] OE529-3_FRAS210125930-2r_1.fq.gz <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz[____________________] 1% (20.0MB/1021.0MB)
如果不需要并行-,可以选择当前目录直接-:
$ bypy downdir [16:48:54] RNA-seq OE,Crispr/Report-P101SC18081936-01-J024-B24-21.zip <- /apps/bypy/RNA-seq OE,Crispr/Report-P101SC18081936-01-J024-B24-21.zip[====================] 100% (1.9MB/1.9MB) ETA: (116kB/s, 16s gone) [16:49:12] RNA-seq OE,Crispr/1.rawdata/checkSize.xls <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/checkSize.xls[====================] 100% (1.6kB/1.6kB) ETA: (3kB/s, gone) [16:49:14] RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/C01-1_FRAS210125923-2r_1.fq.gz <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/C01-1_FRAS210125923-2r_1.fq.gz[====================] 100% (928.4MB/928.4MB) ETA: (648kB/s, 24m26s gone) [17:13:41] RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/C01-1_FRAS210125923-2r_2.fq.gz <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/C01-1_FRAS210125923-2r_2.fq.gz[====================] 100% (922.6MB/922.6MB) ETA: (3MB/s, 5m15s gone) [17:18:57] RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/MD5.txt <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/C01-1_FRAS210125923-2r/MD5.txt
关于速度
bypy不会加速,要加速还是需要充会员才行。非会员很慢,上传稍微快点。
充值前(半天才1%):
$ bypy downfile RNA-seq\ OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz [16:54:53] OE529-3_FRAS210125930-2r_1.fq.gz <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz[____________________] 1% (20.0MB/1021.0MB) ^CSignal 2 received, Abort
充值后(5min左右完成一个fq-):
$ bypy downfile RNA-seq\ OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz [17:06:40] OE529-3_FRAS210125930-2r_1.fq.gz <- /apps/bypy/RNA-seq OE,Crispr/1.rawdata/OE529-3_FRAS210125930-2r/OE529-3_FRAS210125930-2r_1.fq.gz [17:06:41] Local and remote file size DOESN'T match[====================] 100% (1021.0MB/1021.0MB) ETA: (3MB/s, 5m23s gone)
参考:bypy-命令行下使用百度网盘百度网盘Python客户端bypybypy:使用Linux命令行上传及-百度云盘文件(远程服务器大文件传输必备)
作者:Bioinfarmer
版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。
发表评论
暂时没有评论,来抢沙发吧~