bc-with-transformer.md

type	method
tags	imitation-learning transformers behavior-cloning machine-learning
status	complete
updated	2026-04-29
related	./behavior-cloning.md ./action-chunking.md ./humanoid-transformer-touch-dreaming.md ./vla.md
sources	../../sources/papers/imitation_learning.md ../../sources/papers/humanoid_touch_dream.md
summary	基于 Transformer 的行为克隆（BC with Transformer）利用自注意力机制捕获长时序观测中的多峰分布与因果关系，是目前 ACT、RT 系列算法的核心骨干架构。

Behavior Cloning with Transformer

在模仿学习（IL）中，传统的基于 MLP 或 CNN 的行为克隆往往难以处理多模态动作（例如专家有时左绕，有时右绕）和长时间依赖。将 Transformer 引入 BC 架构，利用其自注意力机制，已成为具身智能的主流趋势。

英文缩写速查

缩写	英文全称	简要说明
BC	Behavior Cloning	将状态映射到动作的监督式模仿，易受分布偏移影响
ACT	Action Chunking Transformer	预测动作块的序列模型架构，常与 ALOHA 配套
IL	Imitation Learning	从专家演示学习策略，奖励难定义时的主路线
MLP	Multi-Layer Perceptron	多层感知机，处理本体向量等低维输入
CNN	Convolutional Neural Network	卷积神经网络，处理图像/深度感知
VLA	Vision-Language-Action	视觉-语言-动作多模态基础策略方向
Manipulation	Robot Manipulation	抓取、移动、操作物体的任务总称

主要技术路线

1. 时序观测序列化：将过去 $k$ 帧的视觉特征和状态特征作为 Token 序列输入。
2. 动作分词：通常需要将动作空间离散化，详见 Action Tokenization。
3. 因果掩码 (Causal Mask)：确保模型只能看到过去，不能预见未来。
4. 动作序列输出：通常配合 Action Chunking，一次性输出未来多个步长的动作，提高执行的连贯性。

代表算法

• ACT (Action Chunking with Transformers)：使用 CVAE 结构配合 Transformer 处理双臂协作任务。
• RT-1 (Robotics Transformer)：将机器人操作建模为 Token 流预测任务。
• HTD (Humanoid Transformer with Touch Dreaming)：在 action chunk 行为克隆上加入未来手部力和触觉 latent 预测，用辅助目标提高接触丰富型人形操作的表示质量。

关联页面

• Behavior Cloning (行为克隆)
• Action Chunking
• Humanoid Transformer with Touch Dreaming
• VLA (Vision-Language-Action Models)

参考来源

• Zhao, T. Z., et al. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware.
• Brohan, A., et al. (2022). RT-1: Robotics Transformer.
• sources/papers/imitation_learning.md
• sources/papers/humanoid_touch_dream.md