由于缺少交互，從設(shè)備到內(nèi)容上移動(dòng)VR所帶給我們的體驗(yàn)并不是很好，單一頭控的交互，或者說(shuō)借助觸控面板完成的交互并沒(méi)有將虛擬現(xiàn)實(shí)的沉浸感、存在感特點(diǎn)表達(dá)的淋漓盡致，我們?cè)谶M(jìn)行VR游戲體驗(yàn)，觀看VR視頻時(shí)不由自主的還是想用雙手觸摸、控制場(chǎng)景內(nèi)的事物。

手勢(shì)識(shí)別技術(shù)是目前移動(dòng)VR發(fā)展的一個(gè)出破口，如何將這項(xiàng)技術(shù)植入到移動(dòng)VR設(shè)備中是很多硬件廠商在探索的。不過(guò)，在此之前有廠商已經(jīng)推出相關(guān)外設(shè)手勢(shì)交互模組，借助這些外設(shè)用戶可以使用主流移動(dòng)VR頭顯獲得手勢(shì)交互體驗(yàn)，但相應(yīng)的用戶除了購(gòu)買(mǎi)VR眼鏡還需要單獨(dú)購(gòu)買(mǎi)一個(gè)外設(shè)，而購(gòu)買(mǎi)外設(shè)所需投入的成本或許要遠(yuǎn)高于買(mǎi)一個(gè)VR眼鏡的成本，對(duì)于VR深度愛(ài)好者或許是值得的，但對(duì)于VR入門(mén)級(jí)消費(fèi)者這顯然并不是最佳解決方案。

移動(dòng)VR的一大特點(diǎn)就是必須使用智能手機(jī)，如果借用手機(jī)攝像頭讓用戶獲得手勢(shì)交互，那這部分的成本幾乎為零，這正是英梅吉CEO朱郁叢帶領(lǐng)團(tuán)隊(duì)在做的事情，而且現(xiàn)在HandCV手勢(shì)識(shí)別系統(tǒng)與SDK已經(jīng)開(kāi)發(fā)完成。

HandCV是什么？

HandCV是一款基于單目攝像頭的手勢(shì)交互系統(tǒng)及手勢(shì)識(shí)別SDK。它基于普通單目攝像頭，通過(guò)軟件算法來(lái)實(shí)現(xiàn)手勢(shì)識(shí)別，不需要額外購(gòu)買(mǎi)新的體感設(shè)備即可完成手勢(shì)交互操作。Hand CV主要面向基于智能機(jī)的移動(dòng)VR/AR，深度適配VR/AR環(huán)境。

HandCV能實(shí)現(xiàn)哪些手勢(shì)交互？

Hand CV主要滿足用戶的輕交互需求，基于手機(jī)的攝像頭，實(shí)現(xiàn)食指單擊、彎曲、捏合拖動(dòng)、握拳等基本手勢(shì)識(shí)別。滿足用戶在移動(dòng)VR／AR設(shè)備上的菜單點(diǎn)選、音樂(lè)及視頻播放、小游戲等輕度交互需求。

關(guān)于Hand CV手勢(shì)交互系統(tǒng)的更多信息VR.cn對(duì)北京英梅吉科技有限公司CEO朱郁叢先生進(jìn)行了專訪，以下是VR菌整理的采訪文字。

介紹一下HandCV手勢(shì)交互系統(tǒng)

朱郁叢：Hand CV是我們推出的一項(xiàng)解決移動(dòng)AR和VR交互上產(chǎn)品，因?yàn)槟壳霸谝苿?dòng)AR和VR上交互已經(jīng)變成了一個(gè)門(mén)檻，也是內(nèi)容創(chuàng)作上的門(mén)檻。因?yàn)楝F(xiàn)在在整個(gè)交互條件下，整個(gè)產(chǎn)業(yè)當(dāng)中，在基于現(xiàn)有的主流交互方式，通過(guò)陀螺儀去控制頭部的轉(zhuǎn)動(dòng)，然后懸停，三秒你能完成的一個(gè)觸發(fā)，在這種交互方式上是沒(méi)辦法做到更多的豐富的內(nèi)容創(chuàng)作，像什么連連看這種簡(jiǎn)單的游戲都做不到，因?yàn)樘?，它破壞了整個(gè)體驗(yàn)的連貫性。還有就是觀看VR視頻，以現(xiàn)有的交互方式連一個(gè)拖拽這種簡(jiǎn)單的動(dòng)作都做不到，更不要去談其他的交互方式。

所以現(xiàn)在無(wú)論是國(guó)內(nèi)廠商還是國(guó)外廠商大家都在努力做一些交互方式上的新定義，像谷歌今年五月份也推出了daydream這一套標(biāo)準(zhǔn)，雖然最終沒(méi)有拿出來(lái)，但它也說(shuō)可以用手柄、控制器的這種方式來(lái)進(jìn)行交互，但控制器其實(shí)是有局限性的，首先它在移動(dòng)AR上是沒(méi)辦法實(shí)現(xiàn)的，那在移動(dòng)VR上，首先它會(huì)增加成本，那對(duì)于用戶來(lái)說(shuō)，增加一塊錢(qián)的成本，這都是一個(gè)很大的門(mén)檻，用戶為什么要去買(mǎi)呢？對(duì)于廠商來(lái)說(shuō)，也是增加了銷售上的一個(gè)門(mén)檻，同時(shí)從使用上來(lái)講，用戶不會(huì)一天到晚把控制器放在身上，而且還是放倆個(gè)，還有供電問(wèn)題，所以它能解決一部分交互上的問(wèn)題，但是同時(shí)它又引申出新的問(wèn)題出來(lái)，所以它不是一個(gè)非常完美的方案。

我們需要的是能夠隨時(shí)隨地、隨身進(jìn)行操作的交互方式，比如說(shuō)用手這是一種很好的方案。所以，現(xiàn)在很多國(guó)際國(guó)內(nèi)同期的一些廠商像Leap Motion，大家都在做手勢(shì)識(shí)別交互。但可以看到，這些廠商在做手勢(shì)識(shí)別時(shí)都有一個(gè)前提條件，都需要外置攝像頭，對(duì)于移動(dòng)VR來(lái)講，這就是個(gè)門(mén)檻，用戶需要花好幾百塊錢(qián)去買(mǎi)一個(gè)外置攝像頭，像一些國(guó)際廠商的這些外置攝像頭可能還更貴，最貴的可能要一千多美金。那對(duì)于一個(gè)主流的移動(dòng)VR來(lái)講，平均售價(jià)百十來(lái)塊錢(qián)，再讓用戶花幾百塊或者幾千塊額外購(gòu)買(mǎi)外設(shè)，我覺(jué)得這種可能性不是很大。所以，如果在加上一個(gè)定義的話，希望有一種能隨時(shí)隨地隨身進(jìn)行手勢(shì)交互的方式，并且以最便宜，甚至是免費(fèi)的方案去做，所以我們當(dāng)時(shí)就選擇了做單目攝像頭，手機(jī)自帶的攝像頭就能去做這種手勢(shì)交互的產(chǎn)品。

這也是我們推出HandCV的一個(gè)初衷，目前我們?cè)诟鷱S商接觸，其實(shí)一個(gè)產(chǎn)品它能夠推廣，一方面是有用戶上的基礎(chǔ)，用戶不需要購(gòu)買(mǎi)外設(shè)，只需要有手機(jī)你就能體驗(yàn)HandCV提供的手勢(shì)交互，用戶基礎(chǔ)有了，所以廠商就不用去擔(dān)心。如果用像類似Leap Motion這種開(kāi)發(fā)來(lái)說(shuō)的話，它要考慮這種外置攝像頭有多少用戶呢？它沒(méi)有用戶，我認(rèn)為以這種交互方式去開(kāi)發(fā)一種產(chǎn)品風(fēng)險(xiǎn)會(huì)很大。而HandCV基于單目攝像頭，天然的只要是移動(dòng)用戶都可以來(lái)使用，這一點(diǎn)的市場(chǎng)空間是非常龐大的，它繼承了的是原來(lái)移動(dòng)互聯(lián)網(wǎng)這部分用戶，市場(chǎng)基礎(chǔ)或者說(shuō)是用戶基礎(chǔ)優(yōu)勢(shì)非常明顯。

這套系統(tǒng)最大的優(yōu)勢(shì)是什么？

朱郁叢：因?yàn)榛谑謾C(jī)自帶的攝像頭是免費(fèi)的，用戶就可以天然的來(lái)使用，不需要購(gòu)買(mǎi)外設(shè)。那另外從產(chǎn)品性能上來(lái)說(shuō)，我們?cè)跇O暗環(huán)境下也可以做到識(shí)別，這是我們?cè)谒惴ㄉ厦嫔系囊粋€(gè)優(yōu)勢(shì)。從功耗上來(lái)說(shuō)，拿我們測(cè)試的機(jī)器，A8，1.4這種處理器，我們系統(tǒng)的占有率只有百分之八到百分之十，這個(gè)是比較低的。

為什么選擇做移動(dòng)VR？

朱郁叢：因?yàn)槠鋵?shí)從市場(chǎng)的調(diào)研報(bào)告可以能看出VR是未來(lái)，vive很好，我們樓上就有vive，但問(wèn)題是它的用戶體驗(yàn)成本太高，平均要去體驗(yàn)vive至少要花一萬(wàn)五以上。而對(duì)于大部分用戶來(lái)說(shuō)，它本質(zhì)上還是一個(gè)娛樂(lè)工具，花巨資買(mǎi)一套娛樂(lè)系統(tǒng)的話，其實(shí)對(duì)很多人來(lái)說(shuō)的話還是比較高昂的代價(jià)，而且它對(duì)場(chǎng)地還有要求。

所以從這個(gè)角度來(lái)，就與此前我看到一份來(lái)自HTC的調(diào)研報(bào)告一樣，vive跟rift的整個(gè)市場(chǎng)占有率也就是百分之三點(diǎn)幾，其余大部分都是移動(dòng)VR。在我們看來(lái)，移動(dòng)VR包括了基于手機(jī)的這種VR產(chǎn)品，同時(shí)一體機(jī)也是屬于移動(dòng)VR這部分。那對(duì)于一體機(jī)我們覺(jué)得市場(chǎng)是很有限的，它是一個(gè)比價(jià)尷尬的定位，與移動(dòng)VR有很多沖突的點(diǎn)，因?yàn)樗挠?jì)算性能是一樣的，只是做了一些優(yōu)化。

單目跟深度攝像頭的區(qū)別在哪里？

朱郁叢：我覺(jué)得最大的區(qū)別就是用戶，用戶不需要去購(gòu)買(mǎi)一個(gè)額外的外置攝像頭，我覺(jué)得這是一個(gè)最大的區(qū)別，而這個(gè)區(qū)別其實(shí)也是一個(gè)門(mén)檻，一個(gè)極高無(wú)比的門(mén)檻。用戶不需要花錢(qián)去購(gòu)買(mǎi)，就天然的具備了我們現(xiàn)有用戶的市場(chǎng)在這邊。如果用戶需要去購(gòu)買(mǎi)攝像頭的，那相信也會(huì)是一些開(kāi)發(fā)者去買(mǎi)，只有形成一定規(guī)模的消費(fèi)者需求這個(gè)攝像頭才能形成它這一個(gè)細(xì)分市場(chǎng)，那對(duì)于開(kāi)發(fā)者來(lái)說(shuō)，他不會(huì)去針對(duì)一個(gè)還沒(méi)有形成規(guī)模的市場(chǎng)去開(kāi)發(fā)產(chǎn)品，也就是說(shuō)它缺乏內(nèi)容的支撐。

從產(chǎn)品定位上來(lái)講，我覺(jué)得深度攝像頭其實(shí)是有點(diǎn)尷尬的，因?yàn)槭裁矗课覀兿葘R分開(kāi)定義，一個(gè)是移動(dòng)VR一個(gè)是重度VR。重度VR我們理解成主機(jī)型的這種VR的體驗(yàn)，對(duì)于輕度VR主要是日常的基礎(chǔ)交互，還有小游戲。

輕度VR其實(shí)我們現(xiàn)在用單目就能夠解決，解決所有的訴求。那重度VR，比如將自己的手映射到游戲里面進(jìn)行交互，我們可以將其定義為重度交互。那么，如果都使用基于計(jì)算機(jī)視覺(jué)的方案是不適合的，因?yàn)橛?jì)算機(jī)視覺(jué)有局限性，必須捕捉到手才行，但在實(shí)際的操作當(dāng)中有些動(dòng)作是超出你的FOV范圍的，比方說(shuō)我的手高舉時(shí)，你都看不到我的手，還有一些動(dòng)作幅度對(duì)速度要求比較大的。所以，這些手勢(shì)交互不管你是用任何CV產(chǎn)品都是沒(méi)辦法做到的，或者說(shuō)做到很好的體驗(yàn)。但是，如果你是用體感，用手柄或是用控制器來(lái)去做，就可以花很少的代價(jià)來(lái)實(shí)現(xiàn)我剛剛說(shuō)的那些重度VR交互。所以，我覺(jué)得深度攝像頭的定位，它的市場(chǎng)是比較尷尬的。做輕度，其實(shí)用單目攝像頭就可以解決，那做重度的，我感覺(jué)可以用控制器、手柄，市場(chǎng)成本更低，市場(chǎng)更好，做的更穩(wěn)定。

這套系統(tǒng)什么時(shí)候能應(yīng)用到手機(jī)上？

朱郁叢：我們現(xiàn)在跟各個(gè)細(xì)分領(lǐng)域比較知名的企業(yè)都已經(jīng)簽完了戰(zhàn)略合作協(xié)議，像優(yōu)酷VR，UTOVR，VR熱播都已經(jīng)簽完協(xié)議，我們SDK一出來(lái)就會(huì)在他們上進(jìn)行植入。其實(shí)按照我們現(xiàn)在的迭代，大概在9月20號(hào)我們IOS版本的SDK先會(huì)出來(lái)，在國(guó)慶之后會(huì)出安卓版的SDK。SDK是原生的，包括對(duì)Unity的支持，因?yàn)榇蟛糠钟螒蚨际怯肬nity來(lái)開(kāi)發(fā)的，大部分內(nèi)容也都可以去使用。而9月初的測(cè)試版我們不會(huì)向所有市場(chǎng)開(kāi)放，只提供給行業(yè)知名客戶去使用，因?yàn)槲覀冞€要去做修正和迭代，自己還要去做一個(gè)手勢(shì)庫(kù)，做一些優(yōu)化，做一些深度學(xué)習(xí)來(lái)去優(yōu)化我們得算法，真正應(yīng)用到手機(jī)上應(yīng)該會(huì)在12月份。

未來(lái)如何升級(jí)迭代？

朱郁叢：分成兩塊，一塊是從技術(shù)層面上，我們九月份SDK會(huì)推出來(lái)，這是一個(gè)測(cè)試版，我們會(huì)讓行業(yè)的一些知名的廠商讓他們幫我們?nèi)プ鰷y(cè)試，先去使用，然后我們會(huì)根據(jù)他的反饋結(jié)果來(lái)做一些調(diào)整。調(diào)整也是在兩個(gè)層面，一個(gè)是在收集了數(shù)據(jù)以后，我們優(yōu)化算法，優(yōu)化我們對(duì)于一些環(huán)境的留檔性的一些提升。還有一個(gè)就是對(duì)于手勢(shì)優(yōu)化，因?yàn)槲覀儸F(xiàn)在支撐點(diǎn)、觸、按等這些手勢(shì)，在游戲當(dāng)中如何更好的融合這些手勢(shì)交互，交互的這種體驗(yàn)，我們要重新去設(shè)計(jì)，重新去優(yōu)化。這個(gè)是我們很重要一點(diǎn)。另外一個(gè)，在優(yōu)化層面，我們?cè)诮ㄒ惶资f(wàn)張手勢(shì)圖片庫(kù)這個(gè)規(guī)模的庫(kù)，來(lái)去做深度學(xué)習(xí)的算法訓(xùn)練，這個(gè)也是在年底去完成，現(xiàn)在也正在做這個(gè)工作。所以今年年底我們的手勢(shì)交互會(huì)達(dá)到一個(gè)比較穩(wěn)定的狀態(tài)。

交互技術(shù)對(duì)內(nèi)容創(chuàng)作的影響

朱郁叢：現(xiàn)在交互本身已經(jīng)變成了一個(gè)內(nèi)容創(chuàng)作上的瓶頸，所以說(shuō)我們單目攝像頭的手勢(shì)識(shí)別和交互一定能驅(qū)動(dòng)整個(gè)行業(yè)內(nèi)容創(chuàng)作，變的更豐富。游戲就是一個(gè)典型，最近有很多的開(kāi)發(fā)商來(lái)找過(guò)我們。因?yàn)楝F(xiàn)在交互方式上的匱乏已經(jīng)影響到他們內(nèi)容上的創(chuàng)作，他不知道該怎么辦，有一些好的創(chuàng)意都沒(méi)辦法去實(shí)現(xiàn)，做不了。所以我們的手勢(shì)交互系統(tǒng)對(duì)他們有很大的意義，這個(gè)意義不僅局限于國(guó)內(nèi)，對(duì)海外市場(chǎng)也是一樣，我們?cè)谙掳肽臧髂昴瓿踔鞴?guó)內(nèi)市場(chǎng)與北美市場(chǎng)。