【花师小哲】当代炼金术(神经网络)前沿(17)——ChatGPT帮你控制机器人
今天发现了一篇论文,其实也没有太当回事。粗略看一下,用ChatGPT在机器人领域搞事,大概也就是玩具应用吧,水个动态得了。晚上读这篇论文发现这篇论文有点东西的,于是打算再讲一讲。此篇应该比较短。


1.最先想到强化学习
谈到机器人控制、使用API、做决策,我最先想到的当然是强化学习了。虽然强化学习的战绩真的很优秀,AlphaGO用了强化学习、ChatGPT也用了强化学习甚至最近谷歌也在研究在机器视觉领域搞强化学习,但本尊的强化学习其实还是处于欠发展的阶段,至少transformer在强化学习领域的应用都还在探索过程中。
一联想到强化学习,我就默认这篇论文可能是玩具研究了。

2.这篇论文想做什么
这篇论文想做的其实非常简单,即将自然语言通过ChatGPT转化为符合物理和逻辑规律的机器人指令序列,或者说,让人类指挥ChatGPT根据API指导机器人完成一定的任务。需要注意的是,这里的API并不是很多情况下很高级的API(例如就简单控制个上下左右),甚至可以是很多底层的代码、函数,或者就像论文中所说的,它应该要适应各种不同的机器人。

3.这篇论文做到了什么
这篇文章给出了一些控制的例子,都挺让我震撼的,例如控制一个机器人用视觉来投篮(甚至用的是opencv的函数来实现视觉,RM视觉组:?)、控制一台真正的无人机在真实世界飞行等。
用ChatGPT有什么好处呢?
(1)ChatGPT可以自己构造复杂的概念和代码块。ChatGPT的能力在这里真的好用,这意味着它可以独自开发一些新的API或API组合,一层层搭建比较复杂的控制方案
(2)ChatGPT的开放域能力。开放域能力也是ChatGPT的众多技能之一,这意味着我们的控制可以做更多步,灵活性也更高。

4.结语
当然,其实让这玩意直接控制RM的机器人应该还是有些勉强,论文也提出这东西也是吃提示的,在现实中的应用应该问题会很多
最后,非常生草的是,这篇论文是ChatGPT参与撰写的。所以微软你带头搞这种事情吗...