Bug: image_grid_thw[image_index][0] IndexError: list index out of range

[luyouqi233]

是否应该修改roll/distributed/scheduler/generate_scheduler.py？

gen_batch = request_data.pop(
    batch_keys=["input_ids", "attention_mask", "position_ids"], 
    non_tensor_batch_keys=["multi_modal_data"] if "multi_modal_data" in request_data.non_tensor_batch else []
)
gen_batch.meta_info = request_data.meta_info
num_return_sequences = generation_config["num_return_sequences"]
is_num_return_sequences_expand = self.pipeline_config.is_num_return_sequences_expand
if is_num_return_sequences_expand:
    request_data = request_data.repeat(repeat_times=num_return_sequences)
    gen_batch.meta_info["generation_config"]["num_return_sequences"] = 1
    num_return_sequences = 1

[guoshengCS]

麻烦贴下完整的报错和使用的配置呢，另外这个是跑不起来还是可以跑起来但是到某些step会报错

[luyouqi233]

麻烦贴下完整的报错和使用的配置呢，另外这个是跑不起来还是可以跑起来但是到某些step会报错

手边目前没有可用的显卡，只能先描述一下了：使用roll/pipeline/rlvr/rlvr_vlm_pipeline.py跑Qwen2.5VL，开启generate_opt_level=0。会在跑generate的时候报错，第一个step就会报错。

这个配置应该会使程序进入roll/distributed/scheduler/generate_scheduler.py中的get_batch_opt_level_0，然而这个函数并没有处理多模态输入，因此会导致报错。