Back to projects

Project / Apr 10, 2023

VR 语音沙盒

一个基于语音命令的VR创意沙盒,让用户能够通过中文语音指令创建和操控虚拟物体

Role
Solo project: idea, code, UI, iteration
Stack / Topics
VRGameUnity沙盒创作语音控制

项目概述

这是一个 VR 语音沙盒。用户可以用中文语音创建和操控虚拟物体,比如生成不同颜色的球体、控制运动轨迹,或者让一组立方体组成海浪效果。

  • 基础动作生成,创建不同颜色的球体,让他们动起来;场景上下文理解
  • 抽象命令理解,实现可视化(使用立方体创建海浪效果;处理复杂的交互式对象操作)
  • 复杂命令处理和可交互物体生成

能语音做什么

你可以直接用中文说要什么:生成几个不同颜色的球,让它们围着你转,或者上下浮动。像“用立方体拼一个海浪”这种抽象一点的说法,也能试着变成画面。系统还会看场景里已有的物体,用这些上下文理解你接下来的话。

怎么做的

VR 环境用 Unity 建,语音先走 STT 转成文字,再拆成一堆 Atomic Actions,然后用 Lua DSL 把它们组合成具体动作。好处是同一套底层动作能拼出旋转、漂浮、波浪这些不同效果,不用为每个效果单独写一套。

这个项目主要是在试一件事:用语音在 VR 里创作,到底顺不顺手。

Siyuan · 软件 / 游戏 / AI 工具 © 2026 Siyuan