Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Killed! #25

Open
chen9run opened this issue May 5, 2023 · 6 comments
Open

Killed! #25

chen9run opened this issue May 5, 2023 · 6 comments

Comments

@chen9run
Copy link

chen9run commented May 5, 2023

image
image
请问一下,这是正常的嘛,随着训练内存占用越来越大,是我64G内存条硬件不够用嘛,要通过升级内存条解决嘛,还是其他层面的问题

@Tangshitao
Copy link
Owner

不是,你有改代码吗

@chen9run
Copy link
Author

chen9run commented May 6, 2023

不是,你有改代码吗
没有呀,是源码

@Tangshitao
Copy link
Owner

可能确实要大点内存吧,我都是服务器上训练的。

@chen9run
Copy link
Author

chen9run commented May 8, 2023

可能确实要大点内存吧,我都是服务器上训练的。

感谢你的意见,我将内存增加到了128G,在训练为一个epoch之后,我发现内存还在不停的增加,更像是代码层面的问题,如下图:
image
image
下面为报错的所在文件路径/LoFTR-master/src/utils,似乎是在做可视化相关的内容引起的,可以将这部分在训练中禁用嘛,如下图所示,亦或者后面添加plt.close()?
image

@chen9run
Copy link
Author

可能确实要大点内存吧,我都是服务器上训练的。

感谢你的意见,我将内存增加到了128G,在训练为一个epoch之后,我发现内存还在不停的增加,更像是代码层面的问题,如下图: image image 下面为报错的所在文件路径/LoFTR-master/src/utils,似乎是在做可视化相关的内容引起的,可以将这部分在训练中禁用嘛,如下图所示,亦或者后面添加plt.close()? image

已经解决,是matplotlib引起的

@AubreyCH
Copy link

AubreyCH commented Jun 2, 2023

@chen9run
您好,请问训练MegaDepth的图像数据您是根据D2Net重新处理的吗?还是在链接未失效之前下载的?我看到D2Net需要下载SfM数据集,要接近700G了,我这边实在是没有内存了。如果方便的话,是否可以分享一下D2-Undistorted_SfM的数据呢?

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants