「多重宇宙」演唱会也能玩 北科大师生作品获SIGGRAPH大赏

北科大SIGGRAPH获奖作品「跨境现实」，观众戴上VR头盔即能以虚拟分身参与数位版演唱会。（北科大提供／林志成台北传真）

北科大互动设计系师生开发延展实境（XR）作品「跨境现实」（Actualities），透过现场乐器弹奏振动，即时打造与观众互动的多重宇宙演唱会，荣获2023年ACM SIGGRAPH电脑动画展「沉浸体验区」大赏。

「跨境现实」由北科大互动设计系硕士生林可凡、周育稚、翁毓翔、互动设计与创新国际专班学生陈怡璇、林静莹及助理教授韩秉轩共同设计，在团队历经一年的激荡下，吉他手一弹奏，观众眼前花儿朵朵绽放、蝴蝶翩翩起舞；木箱鼓一拍敲，烟火即刻施放，随着节奏而变化。

而观众一踏入摇滚区，在背幕中即化身为「小鬼」，线上观众也能选择不同的虚拟分身，对表演者发送爱心、星星等符号。

周育稚指出：「我们透过光学、电容等感测器来抓取现场的表演资讯，触发不同的特效，即时转化后，在虚拟世界里生成另一个数位的版本，让观众在看现场演出时，也能透过不同载体去欣赏不同维度的表演。参加演唱会，变成一场共同创作的盛宴。」

SIGGRAPH展期间，「跨境现实」作品吸引许多国际访宾体验，评审团指出：「此作品融合高度复杂的互动，而且使用者不需要学习就能轻易体验，带来乐趣，完全体现了沉浸体验区的核心概念，为沉浸式互动带来十足的创新。」

韩秉轩表示，作品源自去年与厂商的产学合作案，他所带领的XR Lab负责开发音乐视觉化的软体套件，后续加入XR串流技术，并与好乐团合作，「我们想要塑造一个全新的体验，有没有一种全新的形式，让远距跟现场的观众可以共同参与这场演出？如同一场『平行时空』交错的多重宇宙演唱会。」