虚拟现实是近年来十分活跃的技术研究领域，是一系列高新技术的汇集。它能给用户更逼真的体验，为人们探索宏观世界和微观世界提供了极大的便利。本文研究了由数据手套和位置跟踪器构建的沉浸式虚拟环境中基于虚拟手的人机交互的关键技术，以及在变电站仿真系统中的应用。本文着重研究了沉浸式虚拟环境的概念，特点和沉浸式虚拟环境中人机交互的关键技术，尤其是基于虚拟手的人机交互。紧接着根据人手的骨骼结构和手部运动的约束条件，利用3DS MAX进行虚拟手的建模，概述了三维交互设备(数据手套和位置跟踪器)的原理、功能和关键算法等，实现了它们与计算机之间的串行通信。从超声定位和惯性导航角度分析了有关人的跟踪算法。研究了虚拟手各关节数据的获取和设置，结合不同模式下手势的不同语义理解，设计了一个虚拟手的驱动算法，完成了基于虚拟手的实时人机交互系统，并且通过滤波算法保证交互任务的稳定性和精确性。最后介绍了变电站仿真虚拟环境的结构，场景组织和一些关键算法，实现了基于情景上下文语义理解的虚拟手交互过程，总结了将这项技术用于电力系统带来的便利和发展前景。本文在windows环境下，基于VC2003.NET平台，运用OSG图形图像开发工具包和5DT Data Glove数据手套、PCTracker位置跟踪器等交互设备，开发了一个基于数据手套和位置跟踪器的虚拟手交互平台，并将其应用于变电站仿真系统，突破了以往变电站仿真方面仅局限于巡视的现状，可以与其中的设备模型进行一定的交互，而多模式的情景上下文语义理解提高了系统的智能性，为电力系统的员工培训带来了极大的便利，具有深远的应用前景。