Reward function中的Reward Model应该在哪里初始化？

[SYSUzhouting]

Reward function中的Reward Model在哪里初始化是最好的呢；我目前是在workflow类下初始化的，但是它只能加载到cpu，然后推理打分时会非常非常慢，以至于超时报错

[pan-x-c]

如果这里的 Reward Model 是 LLM 则可以考虑使用 Auxiliary model 功能来部署。

Auxiliary model 可以理解为部署在集群中但是不会被训练的模型，一般充当 LLM-as-judge 角色，可以在配置文件中的 explorer.auxiliary_models 域中配置，支持配置多个模型，但需要注意每组模型都会单独占用 GPU 资源(tensor_parallel_size * engine_num 张 GPU)，需要自己合理安排 GPU 的分配。具体配置样例可以参考样例。

auxiliary_models 中配置的模型会自动开启 OpenAI API server，并会将对应模型的 openai.OpenAI 实例通过 Workflow 初始化函数中的 auxiliary_models 参数传入，workflow 内部可以直接使用这些实例调用模型（chat.completions.create 所需的 model 域可通过提供的 OpenAI 实例上的 model_path 属性获得）

如果需要使用其他类型的 Reward Model，建议将 Reward Model 封装为 RESTful API，并部署在训练集群外部。因为训练集群内每张 GPU 都有各自的 LLM 部署，强制在集群内部署这些模型很容易出现 OOM 导致训练失败。

[NeurEv0]

感谢感谢，我也有同样的问题