虽然其他类型的人工智能(如大型语言模型)是在从互联网上抓取的大量数据库上进行训练的，但机器人却不能这样做，因为数据需要物理收集。这使得构建和扩展训练数据库变得更加困难。
同样，虽然训练机器人在实验室里执行任务相对容易，但这些条件并不一定能转化为真实家庭中混乱的不可预测性。
为了解决这些问题，该团队想出了一种简单、易于复制的方法来收集训练dobb - e所需的数据——使用一个连接在教师抓取棒上的iPhone，就是通常用来捡垃圾的那种。然后，他们设置iPhone来录制正在发生的事情的视频。
在纽约的22个家庭中，志愿者们用棍子完成了一些特定的任务，包括打开和关闭门和抽屉，开灯和关灯，把纸巾放在垃圾桶里。iphone的激光雷达系统、运动传感器和陀螺仪被用来记录运动、深度和旋转方面的数据，这些都是训练机器人自主复制动作时的重要信息。
在他们总共收集了13个小时的录音后，该团队利用这些数据训练一个人工智能模型，指导机器人如何执行这些动作。该模型使用了自监督学习技术，该技术可以教会神经网络在不受标记示例引导的情况下，自己发现数据集中的模式。
下一步是测试一种名为Stretch的商用机器人的可靠性，该机器人由一个轮式装置、一个高杆和一个可伸缩的手臂组成，它能够使用人工智能系统执行任务。将一部装在3d打印支架上的iPhone安装在Stretch的手臂上，以复制操纵杆上的设置。
研究人员在纽约的10个家庭测试了这个机器人30天，它完成了109个家庭任务，总体成功率为81%。每个任务通常需要Dobb-E大约20分钟来学习:5分钟由一个人使用操纵杆和附带的iPhone进行演示，随后15分钟进行微调，系统将之前的训练与新的演示进行比较。
