caffe训练 Check failed: error == cudaSuccess错误汇总

caffe训练 Check failed: error == cudaSuccess错误汇总

​

1 CUBLAS_STATUS_SUCCESS (1 vs. 0) CUBLAS_STATUS_NOT_INITIALIZED Check failed: status == CUBLAS_STATUS_SUCCESS (1 vs. 0) CUBLAS_STATUS_NOT_INITIALIZED 【解决方案】：检查你的caffe编译cuda库的版本与链接库的版本可能不一致。 很有可能是你用一个版本的编译，然后用另外一个版本连接。 在Makefile.config中的

2 Check failed: error == cudaSuccess (2 vs. 0) out of memory 解决方案：这是由于模型比较复杂，导致显存溢出导致的 1.减小mini_batch 2.减小图片大小 3.升级GPU

8 Check failed: error == cudaSuccess (8 vs. 0) invalid device function 解决方案：invaild function应该是超出支持能力，设置的显卡的计算能力与显卡不匹配

10 Check failed: error == cudaSuccess (10 vs. 0) invalid device ordinal 解决方案：这是由于GPU数量不匹配造成的，如果训练自己的数据，那么我们只需要将solver.prototxt文件中的device_id项改为自己的GPU块数，一块就是0，两块就是1，以此类推。

I0814 23:00:22.604092  8312 blocking_queue.cpp:50] Data layer prefetch queue empty 问题描述：在运行训练网络一段时间出现blocking_queue.cpp:50] Data layer prefetch queue empty 解决：  可以使用prefetch参数：  data_param {  source: “./data/ilsvrc12/ilsvrc12_train_lmdb”  batch_size: 32  backend: LMDB  prefetch: 20  }  原因：CPU数据读入慢于GPU计算，导致GPU处于空闲，使得计算速度下降，迭代时间间隔扩大。nvidia-smi显示为：GPU功率不断大幅度变化，GPU电压不稳定。  可能诱因：服务器同时在进行其他工作，如大规模读写数据（频繁使用IO），数据无法读入；CPU同时进行其他工作，负载极重，无法正常读取数据；CPU内存爆表，所有程序速度变慢。​

48 error = cudaSucess (48 vs. 0) no kernel image is available for execution on the device

cuda 9.0以上不支持计算能为小于3的显卡,换cuda 8.0就可以了。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。