欢迎光临散文网 会员登陆 & 注册

MIT麻省理工教授们是如何探索舞蹈和交互设计之间关系的?

2022-09-30 17:22 作者:UXD尤克斯国际艺术中心  | 我要投稿


图片
图片


由于疫情的影响,人们开始思考是否能有一个备份界面,让参观者能与数字媒体作品互动,而无需共享任何公共媒体,如传统鼠标、传统触摸板等。这也引出了本文我们将要讨论的两个概念:Choreographic Interfaces(舞蹈界面)和 Embodied Interaction(体感交互)



 分享人 

图片
图片


• Hiroshi Ishii 

Hiroshi Ishii 在1995年10月加入 MIT Media Lab 后,成立了 Tangible Media Group,通过赋予数字信息和计算物理形式,使数字变得有形化。

• Lins Derry 

Lins Derry 是一位从事人机交互、数据可视化和编舞的艺术家和设计师。身体通常是她在设计和性能领域进行研究和干预的场所。她是哈佛大学 metaLAB 的负责人,她研究如何将舞蹈界面和数据体现发展到功能和美学两个方面。

• Ozgun Kilic Afsar 

Ozgun Kilic Afsar 是 KTH 瑞典皇家理工学院的博士,也是 MIT Media Lab 的研究附属机构候选人。她的研究重点是与人体生物力学灵巧性相对应的集成软机器人纤维和织物。

• Sydney Skybetter 

Sydney Skybetter 是一位舞蹈编导,被《金融时报》誉为“舞蹈与新兴技术交叉领域的世界最重要思想家之一”。Sydney 的舞蹈曾在 John F. Kennedy Centers、Jacob's Pillow 和 The Joyce Theater 等场所演出。



01

图片

语义

Semantics

图片


什么是编舞?抽象地说,舞蹈是一种有组织的身体动作,或是自我展示的有意义的动作。在艺术语境中,舞蹈设计被视为空间和时间中动作的组织;而在设计语境中,舞蹈设计则可以被描述为一组互动手势,这些手势组合在一起以支持互动系统。


图片


那么什么是舞蹈界面?它可以通过将编排模型集成到设计过程中,增加人类和技术系统之间的动态或身体和空间互动。


02

图片

观察

Observations


观察是了解交互设计和舞蹈的重要一步,观察这些动作和舞蹈的主题,有利于我们寻找它们之间的联系。

图片


所有的舞蹈都围绕着运动空间时间三个维度展开。最浅显易懂的是空间,在舞蹈中,我们倾向于考虑内部空间,包括身体内的体积、手臂可以到达的距离、身体周围的空间、体积的正负空间,以及身体之间的人际空间。我们能够用彼此连接的方式,不断地创造积极和消极的空间。


图片


在交互设计中,同样也存在着不同的互动行为。拿手势为例,它们通常可以分为简单、常规、定制和熟练的四种类别。


图片


这些手势是否与舞蹈的编排结构有着某种程度上的联系?这些动作是如何组合到交互系统中的?它们是由设计师设计的吗?它们是从世界上别的动作结构中引进的吗?又或者它们是由用户编写的吗?


图片


03

图片

案例研究

Case Study


下面我们将从一些案例出发,了解将舞蹈引入设计实践的方法:

 Curatorial A(i)gents 


图片


这是一个为哈佛艺术博物馆灯箱画廊开发手势界面的案例研究。我们研究了如何在运动、空间和时间的类别中发展触及这些想法和概念的手势和舞蹈。因此,为了清晰起见,我们将它们分为头部控制词汇、单手动词汇和双手动词汇。


图片


我们开始对它们进行机器学习模型训练,并发现这些需要更加几何化,以便系统能够识别舞蹈动作。图中是一个动作研究过程中组合的手势集。


图片


我们可以选择对象,然后放大和缩小。之所以选择这种传统的方式,是因为我们需要与 Curatorial A(i)gents 中的不同项目进行交互。


图片


从上图中你可以看到使用的不同的传统交互。头部倾斜是后期添加的,允许切换主导手。因此右手或左手都可以使用该系统。而且,如果你想从房间的一个角落到下一个角落,它也可以让你很容易地换手。


图片


这个项目探索了在交互设计中舞蹈是如何存在的,然后利用机器学习进行真正的舞蹈设计,开发可用于不同项目的词汇。


inFORM 



我们已经厌倦了通过缩放屏幕来进行交流,因为这从根本上分离了一个空间,你可以看到,但你感觉不到你身体的存在。

inFORM 是一种动态形状显示器,可以物理渲染 3D 内容,因此用户可以以有形的方式与数字信息进行交互。inFORM 还可以与周围的物理世界进行交互,例如移动桌子表面的物体。视频会议中的远程参与者可以物理地显示出来,从而产生强烈的现场感和远程物理交互的能力。


 bioLogic 

图片


bioLogic 是一种新的生物皮肤,也是人类的第二层皮肤。细菌在这里既作为相对湿度传感器,也控制着舞者的空气通风。

我们分析了舞者背上的热图,了解理想的气流是什么,如何最大限度地提高舞者的表现。然后计算每个瓣片中要放多少细菌,并将命令发送到生物打印机进行存放。



当舞者跳舞的时候,她会感觉到背部气流的变化,然后改变跳舞的方式。


mirrorFugue 



mirrorFugue 是一个装置,让人联想到一个无实体的钢琴家正在演奏。



Dr. Xiao Xiao 设计了这件作品,她的目的是通过钢琴来探索音乐和技术的传播,展示一种新的代际人机互动形式。音乐不仅仅是空气中的振动,钢琴家在创作音乐时的呼吸和动作与音乐制品本身一样重要。



mirrorFugue 的成果是一套钢琴键盘界面,它可以可视化合作者的身体,无论是你的导师、已故著名钢琴家,还是童年的自己。由有形物的力量介导的代际二重唱是一个鼓舞人心的场景,使舞蹈互动的时间维度成为可能。


 3 Voices 



3 Voices 是一个关于音乐创作和声音方面的艺术研究项目。我们充分利用了微流体纤维技术的表达潜力,并做出了一件上身可穿的衣服,它能够将歌手身体体验的各个方面直接传达给听众。这项工作是与瑞典皇家理工学院的一名专业歌剧演员和同事合作完成的。



3 Voices 超越了传统的听音乐方法,它以自身的方式探测作为共振对象的物体的更深层次的听觉潜力。我们重新构思并塑造了 Morton Feldman 1982年的作品 "Three Voices",通过使用柔软的机器人织物,使它们变得有形和可转移,为身体提供细微的多模态触觉反馈,类似于歌手的上身胸部扩张、收缩和喉部振动。



在项目中,我们进一步探索了自己的身体或身体感应系统如何捕捉唱歌或跳舞身体的身体体验,并通过驱动将这种体验转移到另一个人的身体上。



我们利用有监督的机器学习来帮助识别和分类与产生声音有关的动作,从而以最小的延迟实时传递这种体验。为此,我们使用语音记录数据集来推断音频动态和呼吸类型,以及织物内带有多通道强度计的可穿戴运动捕捉系统来生成完整的动作集。这产生了一个触觉乐谱,一个新的词汇,用于记录歌唱,以及歌唱中的呼吸机制。


 The Optimization of Parenthood 



这是 Madeline Gannon 的作品,但由 Addie Wagenknecht 创作。The Optimization of Parenthood 是一个机器人手臂,当放在摇篮里的婴儿哭泣或从睡梦中醒来时,它就会做出反应。

母亲通常被期望担任全职照顾孩子的角色,这有时是由于缺乏选择,育儿费用或缺乏家庭支持。结果,母亲往往失去了她花了一生时间建立起来的非常有创造力的个人成就。为了尽可能地优化这一单调乏味的例行工作,使所有女性都能选择既从事创造性工作又生孩子,我们必须优化养育子女的过程。自动重复的任务可以转移到其他设备上,而不会影响婴儿的照顾。



更多知识干货以及其他海外留学的资讯可以关注UXD交互工业产品设计分享或者添加小助手,还可获取讲座直播哦~

|福利大放送 | WELFARE 
对于设计初学者,完成从0开始创作几乎是不可能的,就像学习过程中书读百遍其义自见一样。有了大量的积累,才能在脑海里建立素材库,这些素材库能帮助同学们完成最初的设计想法积累,基于这样的基础再进行个性化的创作,最终才能做出高质量的作品集。全球院校最新作品集免费拿!添加小助手即可获取:

▲  顶级名校作品集参考

UXD交互工业产品设计学院是尤克斯国际旗下的一家专注于交互、服务、工业、产品设计专业的顶级设计学院。除了一对一设计课、基础技能课程、小组课题、设计评图、联合教学外,我们提供不定主题的公开课和内部小组课,教学计划课程由三大部分组成,包括基础软件技能教学、设计理论系统讲座、申请必备知识解析等。


本文版权归UXD尤克斯所有

部分图片来自于网络

如有侵权请与我们联系


MIT麻省理工教授们是如何探索舞蹈和交互设计之间关系的?的评论 (共 条)

分享到微博请遵守国家法律