李飞飞团队给机器人建造“模拟厨房”：洗切炒菜一条龙训练，人类还能 VR 监管

李飞飞团队的机械人模仿练习场 2.0 版本来了！

这个领有跨越 8000 个交互式场景的模仿情况 iGibson，再次产生了进化！

而进化以后的 iGibson 2.0，焦点就一句话：

机械人们别抓小球儿了，来做家务吧！

像是模仿情况中增加的温度、湿度、切片等多种物理状况，就亟待各位机械人来个洗、切、炒菜一条龙服无：

并且这但是表面色彩会产生改变的真・煮熟。

做完饭以后，还能擦一下台子上的污渍，整顿一下桌面。

再把没用完的蔬菜放回冰箱，看着它造成“冰冻”状况。

人类还能经历 VR 进来模仿情况，给机械人树模下怎样做一个规范的家务：

辣么当今，就一路来看看此次版本更新的详细内容吧。

新增 5 种物理状况

好的，当今咱们的机械人选手进来了模仿情况，它将要做一顿菜。

而这顿菜，将会用到此次 iGibson 2.0 扩大的五个新的物理状况：

潮湿程度

先从洗菜首先。

洗菜的水来自一种流体模仿体系。

好比下方这个水槽上的水龙头：

水龙头作为液滴源产生液滴，然后会聚在其余容器（盘子）里，或被可浸泡的物体（毛巾）吸收。

在 iGibson 2.0 中，物体吸收的液滴量也就对应了物体的潮湿程度。

洗完了，首先切菜。

但这里就遇到了一个困难：

普通来说，模仿情况中的物体味被假设为具备固定节点和三角面的三维布局，要实现“切割”这一动作并不简单。

而 iGibson 2.0 则经历更新切片状况、连结物体实例的扩大状况来实现切割动作。

当拿着切片工具，并好处了跨越物体切片力阈值的力时，切片状况就会转为“真”。

这时，模仿器会将会将一个物体替代为两个：

这两半“被切开的物体”则会秉承全部工具的扩大物体状况（如温度）。

而这种转换是不行逆的，在以后的模仿时间中，物体味连续连结这种切片状况。

当今，咱们要应用这个微波炉来煎鱼了：

要让温度天然变更，iGibson 2.0 便将 WordNet 档次布局中的工具种别注释为热源。

这是 iGibson 2.0 中的一个新划定：

即每个模仿工具都应该是 WordNet 中现有工具种别的一个实例。

而这种语义布局能够将特性与统一种别的全部实例接洽起来。

好，当今咱们要经历这个热源来改变改变其余物体的温度。

和现实中的微波炉同样，用手拨动后受热物体就会首先升温。

详细温度会如许变更：

△∆sim：模仿时间 r：热源变更率

并且，每个物体在以前到达的非常高温度的经历值也会被保存。

好比上图中的鱼，在以前曾到达过烹饪或焚烧的温度。

所以即便在热源封闭后，它也会出现出被烤熟或烧焦的表面。

也即是说在模仿情况中若烤糊了，那也即是真的烤糊了！

洁净程度

洁净程度换句话说，即是含有灰尘污渍的程度。

在 iGibson 2.0 中，工具初始化时能够含有灰尘或污点颗粒，还能采纳举动来改变物体的洁净度。

所以，在做完菜后，机械人能够选定用布擦拭灰尘颗粒：

大概选用湿的工具（擦洗器）来肃清来肃清污渍：

状况切换

iGibson 2.0 为少许工具提供“开”和“关”两种状况的切换功效，并同时保护其里面状况和表面变更。

这种状况的切换是经历触摸一个虚拟固定链接 TogglingLink 来实现的。

好比下方这个烤箱，在“开启”状况（右图）时，其表面会产生改变。

因而非常后，机械人关掉东西，美满实现了此次使命。

而如许一个安定、真切、方便的模仿情况，天然也就意味着机械人能够进行更多、更复杂的使命练习。

基于逻辑谓词的生产体系

加上前方这些新的物理状况后，就足以模仿室内情况中的一系列根基举止。

但是若用咱们平居生活中的天然语言来形貌这些状况的话，emmm……

就像是重庆人的“微辣”之于外埠人同样，必然会存在个别明白上的语义迥异。

所以，iGibson 2.0 以多见的天然语言为底子，定义了一组逻辑谓词（Logical Predicates）：

这组逻辑谓词将扩大的工具状况映射到工具的逻辑状况上，以符号化方法形貌工具的状况。

基于不同的逻辑谓词，咱们会对有用工具进行不同的采样。

好比，对于像是 Frozen 这种基于物体扩大状况的谓词，就对知足谓词请求的扩大状况值进行采样。

而若是 OnTopOf 这种行动学谓词，就需求结合射线投射、剖析技巧等机制，来包管物体处在一个稳定的物理状况：

辣么这时，咱们就获得了一个基于逻辑谓词的生产体系。

在这一体系中，咱们只有设定一个逻辑谓词的列表，就能加倍快速、方便地生产模仿场景。

VR 让机械人学着人类做

当今，机械人练习的园地曾经搭建好了。

咱们的非常终指标，是让机械人经历练习来实现越来越复杂的使命。

辣么，大概能够让机械人来看看人类是怎么做的，进而开辟出新的办理方案？

因而，iGibson 2.0 引入了 VR，让人类也能进来机械人练习的场景中：

团队凭据经历 OpenVR 与市面上要紧的 VR 头盔兼容，并有一个分外的跟踪器来掌握主体。

经历 iGibson 的 PBR 渲染功效，体系会以非常高 90 帧/秒的速率汲取从虚拟化身的头部视角生产的立体图像。

而经历人类在 VR 情况中实现使命的流程，钻研职员也能加倍方便地网络到永远、复杂、双手动挪动操纵使命的演示数据。

固然，抓小球的经典使命也不能够忘。

为了提供更天然的抓取体验，团队实现了一个辅助抓取（AG）机制：

在用户经历抓取阈值（50% 驱动）后，只有物体在手指和手掌之间，就能在手掌和指标物体之间造成一个分外的限制。

而非常后，李飞飞团队也表示：

咱们有望 iGibson 2.0 能成为社区有用的工具，削减为不同使命建立模仿情况的负担，激动具身 AI（embodied AI）钻研的办理方案的开展。

下载地点：

论文地点：

官网：