1、首先PC端或者专家端软件通过网络传输协议获取Hololens的实时画面。
2、Hololens 提供的实时画面中包含了该画面的空间坐标数据。这些数据Hololens有提供的API接口。
3、专家端开始标注时,将标记的屏幕坐标数据转换成该画面时Hololens中的空间坐标数据,并将坐标本身信息通过网络回传给Hololens,Hololens接到数据后开始在空间绘制。
这些原理出自github上的一位作者,他也给出了源码工程。
源码地址:
GitHub - VulcanTechnologies/HoloLensCameraStream: This Unity plugin makes the HoloLens video camera frames available to a Unity app in real time. This enables Unity devs to easily use the HoloLens camera for computer vision (or anything they want).
https://github.com/VulcanTechnologies/HoloLensCameraStream
本人制作的软件效果图:
软件演示工程:
GitHub - stonerey/RemoteAssistant: Remote Assist for HoloLens 2 and mobile devices
软件功能仿照微软Dynamics 365 Remote Assist。软件预览https://www.bilibili.com/video/BV1Vq4y1T7t5/功能原理1、首先PC端或者专家端软件通过网络传输协议获取Hololens的实时画面。2、Hololens 提供的实时画面中包含了该画面的空间坐标数据。这些数据Hololens有提供的API接口。3、专家端开始标注时,将标记的屏幕坐标数据转换成该画面时Hololens中的空间坐标数据,并将坐标本身信息通过网络回传给Holo
HoloLens
与OpenCVForUnity示例
什么是新的
将
HoloLens
CameraStream插件更改为camnewnham的存储库。 (改善相机更新FPS,隐藏录制图标,提取相机固有功能)
演示
视频
(旧版本)
演示
Hololens
应用
使用Windows设备门户在
HoloLens
上安装应用程序。
Hololens
10.0.17763.914(RS5)
Windows 10 SDK 10.0.18362.0
Visual Studio 2017或2019
Unity 2018.4.28f1 +
v2.2.0
2.4.1+
下载最新版本的unityp
HoloLens
CameraStream for Unity
该Unity插件可将
HoloLens
摄像机帧实时提供给Unity应用。 这使Unity开发人员可以轻松地将
HoloLens
相机用于计算机视觉(或他们想要的任何东西)。
如果您需要访问Unity中
HoloLens
相机的帧缓冲区(包括可 ,请使用此选项。
有了这个插件,您可以
实时在框架上进行计算机视觉和机器学习。 (不包括算法)
显示
HoloLens
相机所见内容的预览。
从
HoloLens
摄像机获取给定图像像素坐标的3D坐标。 例如,您可以使用计算机视觉识别一本书,然后在该书的顶部进行渲染。
以下教程将向您展示如何构建插
持续更新
HoloLens
2开发教程,包括快速入门教程,MRTK详解,第三视角开发(
AR
kit、
AR
core),多人共享,展厅大空间定位交互实战项目,音
视频
通讯,
远程
协助...
官方开发文档
https://microsoft.github.io/MixedRealityToolkit-Unity/README.html
https://docs.micr...
一、开始前说一下,在制作这个Demo过程中面临了无数坑、碰壁,为了后来者更快上手,写这篇blog,中间可能会有别的问题,暂时没记录到,后面遇到再说,这篇文章主要讲怎么把mrwebrtc用在
hololens
上,我使用的是
hololens
2(unity开发),所以直接选择的
AR
M框架打包。
二、正式开始。
1.首先需要下载MixedReality-WebRTC的库文件,链接:https://github.com/microsoft/MixedReality-WebRTC
注意:下载时下载两个文件,一个库文
AR
Core框架可以通过OpenGL来进行使用,但是其代码相对来说较为复杂, 通过OpenGL来使用
AR
Core会非常麻烦, 对开发者非常不友好, 在去年的IO大会上谷歌推出了Sceneform框架来简化
AR
Core的使用操作。
这篇文章来简单介绍下如何使用sceneform来构建
AR
app:
1.首先获取3D模型
首先获取3D模型, 一般来说每个3D模型通常被称为资产Asset, 它所承载的纹理...
记录 使用 MRWebRTC 在
HoloLens
2上制作音
视频
通讯功能。
以下是官方说明文档:
https://microsoft.github.io/MixedReality-WebRTC/manual/unity/helloworld-unity.html
安装及使用
这是MixedReality-WebRTC的Github上的库文件,链接:
https://github.com/microsoft/MixedReality-WebRTC
1-1. 我们下载以下两个文件,一个 taz 格式的库文
您好!利用Unity和Easy
AR
4.0创建
AR
导航可以让您在应用中实现增强现实导航的功能。下面是一个基本的步骤:
1. 下载并安装Unity和Easy
AR
4.0:首先,您需要在Unity官网上下载并安装最新版本的Unity。然后,您可以从Easy
AR
官网上下载并导入Easy
AR
4.0的Unity插件。
2. 创建
AR
场景:在Unity中创建一个新的场景,并添加一个
AR
摄像机对象。您可以通过导入您的场景或创建3D模型来构建
AR
导航的环境。
3. 导入
AR
标记:使用Easy
AR
的工具将
AR
标记导入到Unity项目中。
AR
标记是用于识别和跟踪物体的关键点。您可以使用Easy
AR
的图像识别工具或自定义标记来实现。
4. 设置
AR
导航:使用Easy
AR
提供的脚本和组件,将
AR
标记与导航相关的信息绑定在一起。您可以设置目标位置、导航路径、方向指示等。
5. 添加用户界面:为了增强用户体验,您可以添加一些用户界面元素,例如导航指示箭头、地图等。这些元素可以通过Unity的UI系统实现。
6. 调试和优化:在完成基本功能后,进行测试和调试以确保
AR
导航正常工作。您可以尝试在不同的环境中进行测试,并根据需要进行优化和改进。
这只是一个简单的指南,让您了解如何利用Unity和Easy
AR
4.0创建
AR
导航。具体的实现细节和功能可以根据您的需求进行扩展和定制。希望对您有所帮助!