Project / Apr 10, 2023
VR 语音沙盒
一个基于语音命令的VR创意沙盒,让用户能够通过中文语音指令创建和操控虚拟物体
- Role
- Solo project: idea, code, UI, iteration
- Stack / Topics
- VRGameUnity沙盒创作语音控制
项目概述
这是一个 VR 语音沙盒。用户可以用中文语音创建和操控虚拟物体,比如生成不同颜色的球体、控制运动轨迹,或者让一组立方体组成海浪效果。
- 基础动作生成,创建不同颜色的球体,让他们动起来;场景上下文理解
- 抽象命令理解,实现可视化(使用立方体创建海浪效果;处理复杂的交互式对象操作)
- 复杂命令处理和可交互物体生成
能语音做什么
你可以直接用中文说要什么:生成几个不同颜色的球,让它们围着你转,或者上下浮动。像“用立方体拼一个海浪”这种抽象一点的说法,也能试着变成画面。系统还会看场景里已有的物体,用这些上下文理解你接下来的话。
怎么做的
VR 环境用 Unity 建,语音先走 STT 转成文字,再拆成一堆 Atomic Actions,然后用 Lua DSL 把它们组合成具体动作。好处是同一套底层动作能拼出旋转、漂浮、波浪这些不同效果,不用为每个效果单独写一套。
这个项目主要是在试一件事:用语音在 VR 里创作,到底顺不顺手。