紙糊的HoloKit對標(biāo)微軟MR黑科技 網(wǎng)易推AR版Cardboard
一個售價200來塊的盒子,對標(biāo)2萬多的微軟HoloLens。這事兒聽上去靠譜嗎?
如果你知道AR(增強現(xiàn)實)眼鏡是個啥,就應(yīng)該了解在目前的市面上,體驗最棒、技術(shù)最強的就是微軟公司的HoloLens。錯過了移動互聯(lián)網(wǎng)大潮的微軟,為了趕上混合現(xiàn)實(Mixed Reality)的下一波,不惜投入重金砸出來了這么一款黑科技滿滿的眼鏡。
“把一塊虛擬圖像自然地貼合到人的視野里,就像真實物體一樣”,這么簡單的一句話,基本就是所有增強現(xiàn)實/混合現(xiàn)實體驗的基礎(chǔ)了——實際上,AR眼鏡的問題簡單來說,就是一個“定位”和“顯示”的問題,前者讓虛擬物體能固定在原地不會亂飄,后者讓虛擬物體看上去色澤飽滿不會顯得假。
然而,說起來容易,要實現(xiàn)這一切太困難了。微軟甚至為了處理所有從攝像機和傳感器序列傳來的數(shù)據(jù),專門給HoloLens打造了一塊HPU芯片。定位技術(shù)SLAM方面,搭載了四臺攝像頭加一臺深度攝像頭的HoloLens效果非常穩(wěn)定,絕對吊打目前市面上的一切設(shè)備;遑論屌爆的光波導(dǎo)顯示方案和3D音頻系統(tǒng)……當(dāng)然,它的價格也是非常感人,大陸官網(wǎng)上價格分別為商用版39188元和23488元。
不過,就在蘋果推出ARKit前后的六月初,一個ID為“Amber Hu”(真名胡伯濤)的家伙在知乎上貼出了自己的HoloKit方案,號稱用30美元成本的紙盒子打造“比HoloLens效果還好的混合現(xiàn)實眼鏡”,在業(yè)內(nèi)引發(fā)了不小的轟動,不少AR圈公司的高管紛紛在朋友圈轉(zhuǎn)發(fā)此文章,也有直接發(fā)給筆者本人的。自然而然,也引發(fā)了一些質(zhì)疑。
但是,緊接著蘋果的ARKit很快熱潮起來,國內(nèi)媒體鋪天蓋地的報道、培訓(xùn)機構(gòu)聞風(fēng)而動的跟進,各種ARKit相關(guān)demo如雨后春筍一般誕生,HoloKit的聲音也自然而然地被淹沒下去了。
沒想到的是,7月15日網(wǎng)易又突然宣布,網(wǎng)易嚴(yán)選會代理HoloKit這款產(chǎn)品。網(wǎng)易相關(guān)人士表示,這款產(chǎn)品將于大約年底登陸網(wǎng)易嚴(yán)選,到時候產(chǎn)品的各方面都將得到升級。胡伯濤也表示,HoloKit這個項目目前已經(jīng)和他基本上沒什么關(guān)系了,“網(wǎng)易愿意商業(yè)化,就授權(quán)給他們了”。
那么,HoloKit這玩意到底怎么樣呢?一個售價200來塊的盒子,對標(biāo)2萬多的微軟HoloLens。這事兒聽上去靠譜嗎?
和HoloLens比,到底怎么樣?
按胡伯濤在知乎上放出的對比表來說,從FOV上,HoloKit號稱和微軟HoloLens相比具備較強優(yōu)勢、清晰度也比較高。當(dāng)然Magic Leap除了某幾個記者見過以外,“還是傳說”,并且效果很可能還沒HoloLens好,就不說它了。
但不管PR上怎么說,首先,我們可以先把結(jié)論放在這里——“比HoloLens效果還好”肯定是無稽之談,“效果”是個多元化的東西,是包括定位、顯示、交互等多方面的綜合產(chǎn)物。像國內(nèi)外某些公司那樣某幾個參數(shù)比HoloLens高就堂而皇之地出來吹了,在PPT上無敵于天下,是很不好的毛病。
還是我之前那句話,微軟傾世界最頂尖的人才,苦心經(jīng)營了N多年,隨隨便便就被你創(chuàng)業(yè)公司超越了?就像一位業(yè)內(nèi)說的,“那會是這個行業(yè)的恥辱”。
從實際產(chǎn)品可以看出,這玩意和一體式設(shè)備HoloLens、要連電腦的Meta 2都不太一樣,是需要插手機的設(shè)備。因此可以理解成,這是一款A(yù)R手機盒子。如果你不知道這是何物,可以把他認(rèn)為是類似谷歌之前出的紙盒子Cardboard和國內(nèi)一大堆VR公司做的產(chǎn)品,如小米VR玩具版等。
其實,AR盒子也不新鮮:國內(nèi)還有一家名叫RealMax的公司在做類似產(chǎn)品、以及光場視覺的AR BOX,但這些在顯示和定位效果方面都不能讓人滿意。Meta前員工出來做的DreamWorld顯示倒是還行,不過定位方案還沒發(fā)出來。國外還出來過一個眾籌的Aryzon,雖然收了不少錢,但現(xiàn)在效果還不知道怎么樣。
一位業(yè)內(nèi)人士表示,他看過國內(nèi)兩家AR公司的手機盒子方案,“效果都相當(dāng)一般”,不過“也猶豫了很久,曾經(jīng)想過自己做一款。畢竟便宜?!碑?dāng)時筆者最擔(dān)心的是,這種較為廉價的AR體驗,會不會讓用戶產(chǎn)生AR也“不過如此”的印象,從而傷害整個產(chǎn)業(yè)的長遠(yuǎn)發(fā)展呢?說白了,還是“顯示”和“定位”兩個核心問題解決的太糟糕。
那么,這兩個核心問題,HoloKit解決得如何呢?接下來讓我們拋開成見,從技術(shù)方面來分析一下這款產(chǎn)品。
AR手機盒子就要不得嗎?
實際上,如果能解決好定位和顯示的問題,則手機上的AR并非不可行,關(guān)鍵在于軟件算法。
君不見蘋果也在6月初發(fā)了一個ARKit?其實ARKit用的就是iPhone手機/iPad上的RGB攝像頭,但“定位”這件事兒它做得相當(dāng)出色——在蘋果實際演示中,虛擬物體非常牢固地待在桌面上,不會像某些國產(chǎn)的AR SDK那樣,飄來飄去。
先說顯示,HoloKit的光學(xué)方案實際上非常簡單,把iPhone屏幕上的畫面通過一個鏡子,再通過一個半反半透鏡反射到眼睛里,就是一個鏡面反射,類似潛望鏡一樣,其實光學(xué)方案和Meta差不多。國內(nèi)不少的AR眼鏡也是這么玩的。
從體驗來看,HoloKit的清晰度和FOV都比較大——這的確比起HoloLens那34度的視場角要大,當(dāng)然這也不能苛責(zé)HoloLens,他們光學(xué)方案天生就決定了FOV不能這么大,色差也的確會出現(xiàn)一定問題。
但半反半透這種光學(xué)方案的問題在于,真的太大、太原始、太笨重了,無論是90度FOV的Meta、100度的DreamWorld和各種手機盒子,都離我們想象中的“普通眼鏡”形態(tài)的AR眼鏡相去甚遠(yuǎn)。因此,未來的光學(xué)方案絕不會是這種形式的。
再說定位方案,HoloKit的定位方案雖然還是有點略飄,但整體還算比較穩(wěn),效果可稱不錯。不過無論是蘋果ARKit還是HoloKit,都并非真正的SLAM。從蘋果放出的文檔來看,其很大可能性是VIO(視覺慣性里程計Visual–Inertial Odometry)。
VIO是用單目或雙目攝像頭做識別匹配和深度估計等,用慣性測量單元去做初始水平面估計和6自由度,最后再用一套算法做擬合,當(dāng)然,這套算法本身的難度是非常高的。
VIO勉強可以理解成是一種模擬,而非真正地像HoloLens那樣對周圍環(huán)境進行識別和重建完成SLAM,在這方面HoloLens是無敵的,但拿手機和它比是不公平的——
SLAM對于手機的資源來說是巨大的消耗,基本不太可能在手機端實現(xiàn)。因此也就可以理解,為何目前HoloKit是實現(xiàn)不了遮擋的(即把手伸到虛擬物體上是沒法把它擋住的),臣妾實在是做不到啊。
胡伯濤本人也很大方地承認(rèn)了這并非SLAM而是VIO。他的算法實際上也并非自己的,而是參考香港科技大學(xué)內(nèi)部的論文,HoloKit是基于后者開源的定位項目VINS開發(fā)。他本人則是負(fù)責(zé)把這套本身用于無人機的算法做到了手機上。整個算法延時大概100毫秒。
不過,雖然定位和顯示方案都受到一定限制,但AR手機盒子也并非那么不堪。在眼下AR眼鏡還無法普及的情況下,手機無疑是讓大眾能夠接觸到AR最直觀的設(shè)備。
我們可以想象一下,AR手機盒子和手機上的AR相比,區(qū)別只是一個需要你舉著手機看屏幕,另一個把手機放到頭上,通過反射到你眼睛里看手機上的內(nèi)容罷了。也就是說手機在這里代替了傳統(tǒng)AR眼鏡的微顯示端。因此,如果產(chǎn)品不是太重、顯示效果OK、虛擬物體定位得很穩(wěn),“AR手機盒子”完全可以作為真正的AR眼鏡出現(xiàn)前的一種過渡方案。
筆者愿意相信胡伯濤所謂“希望更多的開發(fā)者接觸到混合現(xiàn)實,啟迪更多的人來創(chuàng)造混合現(xiàn)實未來”的初衷——這種廉價方案對于教育早期市場的確有積極意義。只要前提不是說“用30美元成本的紙盒子打造比HoloLens效果還好的混合現(xiàn)實眼鏡”就完美了。
能不能做到安卓上?
那么,和蘋果的ARKit相比,HoloKit的算法如何?這方面胡伯濤也比較坦誠,他稱ARKit的幀率要比HoloKit要強“一倍”,因此開發(fā)者可以選擇自己喜歡的方案。胡伯濤一開始就把HoloKit開源了,開發(fā)者可以選擇自己喜歡的方案用于HoloKit。
只是,HoloKit其最核心的技術(shù)實際上就是它的定位方案。如果離了這套算法,照我們上文的介紹,實際上本身硬件方面并無稀奇。
目前HoloKit還是只支持 iPhone 7 Plus和iPhone 6s Plus,并不支持一般的安卓機型。在實際開發(fā)中,他發(fā)現(xiàn)蘋果手機的一致性非常好,調(diào)好一臺設(shè)備基本就差不多了。而安卓的設(shè)備多種多樣、眼花繚亂,每臺手機的IMU和相機的參數(shù)都不一樣,非常難標(biāo)定,甚至同一款手機的批次不同,參數(shù)也不同。
現(xiàn)在雖然谷歌自己有一套基于TOF的AR平臺Tango,但是由于必須具備TOF模組,支持的手機非常有限,目前只有兩臺。在蘋果本身ARKit來勢洶洶的情況下,如果能把HoloKit的算法移植到一般的安卓平臺,讓非Tango的安卓手機也能使用,顯然能夠產(chǎn)生更大的潛力和更多的想象空間。
不過,這一要求對胡伯濤團隊或許“要求過高”了。
目前,胡伯濤團隊只有他一個人算是全職,另有一名叫朱逢源的斯坦福同學(xué)算是兼職,“我們只有一個半人,實在沒有精力適配所有機型了。就把東西開源,把后續(xù)的工作留給開發(fā)者吧”
HoloKit在現(xiàn)場采用了一套國外較為有名的單目手勢識別SDK Manomotion,還有聽說是從“淘寶上花10塊錢”買來的手柄,展示了未來交互方式的可能。而國內(nèi)進入AR領(lǐng)域較長時間的觸景無限在網(wǎng)易發(fā)布會現(xiàn)場宣布,將會給HoloKit提供手勢識別SDK,交互AR游戲體驗等。也許隨著更多開發(fā)者和公司的進入,在未來還會有更多的交互可能性供選擇。
網(wǎng)易的AR/VR布局?
網(wǎng)易人士透露:“Holokit是首個讓行業(yè)、開發(fā)者、用戶低成本、低門檻進入混合現(xiàn)實中的一個好工具。開發(fā)者首次擁有低成本驗證創(chuàng)意、快速試錯的可能性;用戶首次低成本便捷得購買及體驗沉浸式感知。而且經(jīng)過HoloKit積累的經(jīng)驗與產(chǎn)品,可以延展到將來更多更豐富的沉浸式體驗去?!?
此前,網(wǎng)易的手游《陰陽師》就曾經(jīng)推出過一種AR玩法,雖然只是較為簡單的圖像識別召喚游戲內(nèi)的“式神”。而騰訊、支付寶等大公司也在積極布局AR方面的游戲,如阿里就曾經(jīng)推出過AR躲貓貓,QQ也出過AR火炬之類的營銷計劃。因此有業(yè)內(nèi)人士猜測,網(wǎng)易手握游戲IP,通過HoloKit可以布局其未來AR游戲的商業(yè)化。
據(jù)說,網(wǎng)易內(nèi)部對于VR/AR領(lǐng)域一直較為重視,戰(zhàn)略是丁磊親自定的,他也多次在公司內(nèi)部會議強調(diào)其重要性。資本領(lǐng)域,網(wǎng)易走的是高端化路線,曾經(jīng)投資過VR直播巨頭NextVR和觸感技術(shù)公司AxonVR,還投過一家叫UploadVR的媒體等。
去年8月份,網(wǎng)易CEO“我們只有一個半人實在沒有精力適配所有機型了。我們就把東西開源把后續(xù)的工作留給開發(fā)者吧”丁磊在參加某活動的時候,曾經(jīng)公開表示,公司內(nèi)部VR/AR的游戲都已經(jīng)有了。
網(wǎng)易在看到HoloKit的項目后就覺得挺感興趣,希望能把這款產(chǎn)品引進國內(nèi)來,而本來就開源的胡伯濤對此也樂見其成。網(wǎng)易稱,這個項目的目的是幫助教育早期的AR市場,“其實沒指著它掙錢”。
至于胡伯濤,他現(xiàn)在已經(jīng)把這款項目拋諸腦后了,下一個項目,他希望能基于HoloKit的技術(shù)搞一款博物館的AR項目。“我們是新媒體藝術(shù)工作室,對自己的定位是藝術(shù)家,做作品的,不會停留在一個項目上?!?
其實,國內(nèi)有人已經(jīng)拿了HoloKit的方案出去融資,甚至號稱融到了幾百萬元。不過,對此胡伯濤只是一笑了之:
“也行吧,我其實對這個感覺還好吧,別人商業(yè)化要基于開源協(xié)議的,非要違反協(xié)議,可能網(wǎng)易可以管吧?!?
未經(jīng)授權(quán),禁止轉(zhuǎn)載,違者必將追究法律責(zé)任。
文章點評
相關(guān)閱讀
-
VR能不能讓你開車時不再看手機?
AT&T的“它可以等待(It Can Wait)”活動讓游客在VR(虛擬現(xiàn)實)中體驗駕駛時使用智能手機會引發(fā)的危險。 ...
- 快來體驗美少女的膝枕!《VR小影》登陸iOS
- 免費精品 《撞車大賽VR》登陸Cardboard平臺
- 紙板技術(shù)哪家強?200元超廉價HoloLens誕生
- Just Relax 《蝴蝶夢VR》登錄Daydream
- 你的錢包準(zhǔn)備好了嗎?谷歌新頭顯10日開售