训练了快20个小时了，什么时候是个头啊

[bonebo]

笔记本，NVidia 860M，base.small 跑了快20个小时了。现在跑到这里： batch: 60669, train_loss: 1.7422
还要多久可以跑完？？？
有没有也在训练的？你们用了多久跑完的？

[Prinsphield]

注意，我们coarse model是用的base.large，fine model是用的base.fine。

你可以让他接着训练，把当前的train logs里的模型拿出来用看好不好用，如果不准，就接着训。

[bonebo]

我训练的是base.small，这是什么model？
已经有了几个类似的文件： best_model.ckpt-15999.data-00000-of-00001
应该怎么用呢？
拷出来到resource下的一个新目录，例如train_log_small,然后需要改动那些文件呢？例如nn_paly.py？

[Prinsphield]

base.small是之前尝试的版本。

nn_play.py里你需要改self.ckpt和self.ckpt_fine

[bonebo]

我把base.small 训练生成的模型best_model.ckpt-15999考到了train_logs_coarse，把best_model.ckpt-31999考到了train_log_fine里面。
我改了nn_play.py里面的
self.ckpt = os.path.join(self.resource_dir, 'train_logs_coarse/best_model.ckpt-15999')
self.ckpt_fine = os.path.join(self.resource_dir, 'train_log_fine/best_model.ckpt-31999')
运行出错。Not found: Key coarse/fc2/fc2-w not found in checkpoint .

[Prinsphield]

你训练用的model.py文件也要cp到目录下，model.py和model_fine.py

[bonebo]

base.small 训练用的目录下有train.py , model.py和inference.py，可是没有model_fine.py?

[bonebo]

model_fine.py 只在根目录下有一个。就是nn_play.py 那些在一起的。

[Prinsphield]

[捂脸][捂脸][捂脸][捂脸]

model.py移动过去改名字。。

[bonebo]

OK

[bonebo]

现在的model.py 和 model_fine.py 基本是一样的文件，除了class不一样。运行出错：

Traceback (most recent call last):
File "nn_play_small.py", line 209, in
AI = WechatAutoJump(args.phone, args.sensitivity, args.serverURL, args.debug, args.resource)
File "nn_play_small.py", line 48, in init
self.load_resource()
File "nn_play_small.py", line 68, in load_resource
self.pred_fine = self.net_fine.forward(self.img_fine, self.is_training, self.keep_prob)
File "G:\mldemo\Wechat_AutoJump-master\model_fine.py", line 39, in forward
out = self.conv2d('conv1', img, [3, 3, self.input_channle, 8], 2)
File "G:\mldemo\Wechat_AutoJump-master\model_fine.py", line 16, in conv2d
w = tf.get_variable('%s-w' % name, shape=ks, initializer=tf.truncated_normal_initializer())
File "G:\Python36-34\lib\site-packages\tensorflow\python\ops\variable_scope.py", line 1203, in get_variable
constraint=constraint)
File "G:\Python36-34\lib\site-packages\tensorflow\python\ops\variable_scope.py", line 1092, in get_variable
constraint=constraint)
File "G:\Python36-34\lib\site-packages\tensorflow\python\ops\variable_scope.py", line 425, in get_variable
constraint=constraint)
File "G:\Python36-34\lib\site-packages\tensorflow\python\ops\variable_scope.py", line 394, in _true_getter
use_resource=use_resource, constraint=constraint)
File "G:\Python36-34\lib\site-packages\tensorflow\python\ops\variable_scope.py", line 742, in _get_single_variable
name, "".join(traceback.format_list(tb))))
ValueError: Variable conv1/conv1-w already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at:

File "G:\Python36-34\lib\site-packages\tensorflow\python\framework\ops.py", line 1470, in init
self._traceback = self._graph._extract_stack() # pylint: disable=protected-access
File "G:\Python36-34\lib\site-packages\tensorflow\python\framework\ops.py", line 2956, in create_op
op_def=op_def)
File "G:\Python36-34\lib\site-packages\tensorflow\python\framework\op_def_library.py", line 787, in _apply_op_helper
op_def=op_def)

[bonebo]

应该是还有哪里需要改的，我没找到

[Prinsphield]

可能对于没有练过丹的同学来说跑起来会比较费劲，希望@RICHARD-AN将来再写个知乎，教一下如何从头训这个模型。

[pkuanjie]

我这两天写个文档说一下怎么从头训吧……

[Prinsphield]

@RICHARD-AN 赞

[rickyall]

推荐使用云服务进行训练，在本机子上训练太慢了。