利用NLP感知世界 Facebook开源机器人开发平台,


近日,Facebook宣布开源旗下Droidlet机器人开发平台,其特点是能够利用自然语言处理(NLP)和计算机视觉(CV)技术来感知周围的世界。

据了解,Facebook宣称该平台能够简化机器学习算法在机器人项目中的集成,并促进快速的软件原型设计。尽管当前机器人已能够通过编程来执行舞蹈等特定应用,但还是缺乏可在更深层次上处理信息的能力。

不过,Droidlet并不是所有问题的万能解决方案,而是一种测试不同NLP和CV处理模型的方法。

该平台允许开发者构建能够在现实世界中,或《我的世界》和Facebook的Habitat等模拟环境里完成相关任务的系统。开发者可按需更换组件,来支持可在不同机器人上使用的相同系统。

另外,Droidlet平台提供了一个仪表板,方便开发者添加调试与可视化小部件和相关工具,以及一个用于纠错和注释的界面。

据悉,除了用于测试针对机器人设置进行微调的视觉模型的环境之外,Droidlet还附带了用于将机器学习模型连接到机器人的封包器。

Facebook指出,这些模块中的每一个都可进一步分解为可训练或启发式的组件,且相关模块与仪表板支持在Droidlet之外的生态系统中使用。

相关内容