Metaverse 元宇宙是什麼？元宇宙就是 AR+VR 嗎？
Metaverse 是技術還是科幻？今天的 AR/VR 能夠完成 Metaverse 嗎？我們離 Metaverse 還有多遠？
這幾天科技圈最大的新聞莫過於 Facebook 公布改名為 Meta 了。在這幾天，Meta 所代表的意義——元宇宙 Metaverse ——變成最新潮熱門的一個詞彙，但是很多人還沒有辦法理解這個詞彙的意義，也沒辦法理解 Facebook（ Meta）為什麼要這麼做。
Metaverse 是 Meta Universe 的合字，最早出現於科幻小說《雪崩》，指的是一種在軟體世界的虛擬代理人。 在今天，Metaverse 最直接的解釋是一種基於 Internet、AR、VR 等技術創造出來的，基於真實世界無限擴張的虛擬世界。
本篇文章會從 2個角度去詮釋 Metaverse：「想像」與「真實」。從想像的角度，我們可以從 Facebook 對 Metaverse 的描述，知道 Metaverse 被想像在未來能夠做到什麼事情、解決什麼問題。從真實的角度，我們可以知道今天科技能力可以實現哪些 Metaverse 的部分碎片，以及我們距離 Metaverse 究竟還有多遠。
想像：Facebook 眼裡的 Metaverse
從 Facebook 介紹的 Metaverse 影片中，我歸納了 3 個 Facebook 認為 Metaverse 理想中應該具備的能力：
- 創造一個與真實世界相連的虛擬世界
- 所有使用者都是創世神
- 嚴密的隱私保護
與真實世界相連的虛擬世界
現今的虛擬世界，不管是 PC 遊戲、Switch、PS5、VR 遊戲，裡面的世界都是與真實世界隔絕的。但是在 Metaverse 裡面，虛擬世界與真實世界會有幾個相連的地方：空間、人、物。
- 空間連結：Facebook 以居家辦公為例。在 Metaverse 的概念中，會存在一個虛擬的辦公室，而這個辦公室是與你家的書桌是相通的。在真實世界，你處在空無一人的書房；在虛擬世界，你可以看到路過的同事、虛擬的螢幕、虛擬的辦公室。在 Metaverse 的世界裡，虛擬與現實的空間互相融合、相互影響、相互作用。
- 人的連結：另一個例子裡，使用者可以選擇一個虛擬形象 (Avatar)，進入完全虛擬的 3D 空間裡與朋友互動、聊天、打遊戲。在這裡，虛擬世界與真實世界連結的入口是人：虛擬形象可以與真實人物視訊聊天，並且可以共享真實世界的 AR 作品到虛擬世界裡，變成 VR 的虛擬藝術品。
- 物的連結：除了把 AR 作品搬到 VR 裡面，你也可以把真實世界的東西變成虛擬物件，放進 Metaverse 中：盆栽、雕像、音樂、電影…。到最後，真實世界裡面的每一樣東西，在虛擬世界裡可能都有另一份備份，甚至可以隨意改造成你更喜歡的樣子。反過來，你也可以把虛擬世界的東西放回真實世界，變成 AR 的形式呈現在真實世界中。
綜合來說，真實與虛擬的連結包含了「空間連結」、「人的連結」、「物的連結」。而問題來了，這麼豐富多彩的虛擬世界是誰來設計的呢？
所有使用者都是創世神
在 Facebook 的理想裡，所有使用者都可以設計自己的虛擬的家。裡面的東西可以是虛擬的、也可以是真實的。你可以把實際的沙發改造成浮空的椅子、把水泥牆變成透明的落地窗、欣賞不存在的日出。在 Metaverse 裡面，你可以決定幾乎所有的事情：你的外觀形象、重力、家具、空間等。同時，你也可以邀請朋友到家裡。
除了家，當然你也可以設計其他的空間，例如庭院、鬥技場、遊戲間，並且共享到 Metaverse 裡面給其他人下載使用。
如此一來，Metaverse 幾乎是一個無所不在的系統：他與真實世界的人事物緊密相連、甚至可以主宰你的家、對你的社交圈瞭若指掌。這是否意味著，我們把真實世界與人際網路都變成了數據，並且上交給了 Facebook？
嚴密的隱私保護
作為曾經因為隱私問題被告上法庭的公司（參考：Facebook 真的會竊聽我嗎？），Facebook 深知隱私問題的疑慮，因此在 11 分鐘的影片裡面，打上的字幕就只有 2:25 處的一句話：
Privacy and safety need to be built into the metaverse from day one. 隱私與安全必須在 metaverse 的第一天就被保護。
在你的家裡面，你可以決定誰能夠進來，誰不能進來。當然，我覺得這是非常基本的功能；而具體 Facebook 並沒有進一步說他們會怎麼保護隱私與安全。但是這也無所謂，因為今天的 Metaverse 離實現還有一段路要走。
Why Metaverse? Why Facebook?
Metaverse 除了科技感十足之外，它能夠解決現實生活的許多問題，例如交通、娛樂、購物。以居家辦公為例，我們可能再也不需要通勤，因為所有的東西、人物、場景都可以透過虛擬的方式傳遞，人際交流可以在虛擬之間瞬間相連。如果 3D 印表機成熟，我們甚至可以在 Metaverse 裡面挑選傢俱，然後在家裡自己印出來，再也不需要快遞了。
而 Facebook 作為現在的社交網路巨頭，其實非常適合擔任 Metaverse 的破冰船。除了 Facebook，其他的公司設計出來的 Metaverse 很可能會「降維」成一種高自由度的網路遊戲，例如《動物森友會》。反觀，目前可能只有 Facebook 設計的 Metaverse，可以基於現有的社交網路真正的拓展現實世界。
真實：我們離 Metaverse 有多遠
在 Facebook 想像的 Metaverse 裡面，有很多科幻電影才會出現的技術。如果仔細拆解 Metaverse 的話，會發現我們需要用到的技術領域相當的多，舉例來說：
- AR/VR：我們需要能夠融合現實與虛擬的體驗方式。
- 雲計算：大量的數據與計算都需要在雲端即時處理，才能做到即時的多用戶體驗。
- Internet：我們需要更有效率的方式傳輸資料，包括通信技術以及編碼方式。
- AI：我們需要在沒有鍵盤與滑鼠的條件下能夠控制系統，這需要更強大更通用的 AI 人機介面，包括手勢辨識或語音辨識。
- 隱私保護：我們需要在隱私完全保護的情況下進入 Metaverse 系統，最好連 Meta 員工都無權取得我們的資料。
下面我主要著重於 AR 與 VR 的部分，讓大家理解一下我們距離理想的 Metaverse 之間還有多少困難需要克服。
擴增實境 AR (Augmented Reality)
AR 是一種在現實世界中疊加虛擬物體的技術，並且虛擬物體與真實世界可以正常的互動。AR 技術在許多科幻電影裡面都有出現過，例如下圖的鋼鐵人。利用 AR 技術，可以讓虛擬物體固定在現實世界的某一個座標，也可以跟現實世界互動，例如用手移動他。
扣掉科幻電影，大家最熟知的 AR 應用可能是 AR 化妝或是 Pokemon GO。對 AR 技術而言，最基本的難點是讓電腦能夠感知 3D 的真實世界。再進階一點，電腦必須即時持續感知真實世界的任何變化，並且控制虛擬物體對真實世界的反應。以 AR 化妝來說，虛擬的妝容必須無時無刻對齊使用者不斷變化的表情，才能呈現最好的效果。
AR 的技術發展
在 2001 年的時候，ARToolKit 就已經可以利用方形的 2D Marker 做到這件事情。2010 年，Kinect 之類的深度相機讓電腦世界更輕易的感知 3D 的真實世界，例如我在 2012 的碩士畢業論文就是利用 Kinect 做出的 AR 穿鞋系統。
2014 年開始，隨著深度學習的爆發，電腦開始能在不仰賴 Marker 與深度相機的情況，能夠從 2D 照片順利感知 3D 空間。除了效果外，訓練的難度也越來越低。例如 CVPR 2017 的論文《Unsupervised monocular depth estimation with left-right consistency》能夠基於雙目相機的訓練資料用無監督的方式訓練單目的深度估計模型。
然而，開發 AR 應用的核心難點似乎不是演算法，而是合適的開發環境。2017 年，Apple 公開了 ARKit，讓開發者可以在 iOS 設備上輕鬆的開發環境，從此可用的 AR App 開始越來越多，包括 AR 工具或 AR 遊戲。ARKit 利用蘋果的軟硬體強綁定的特性，融合動作感測器的訊號與相機圖片來感知 3D 空間。這個技術被稱為 VIO (visual-inertial odometry)，VIO 雖然與硬體機構的耦合較強，但是它的低延時、低功耗，以及健全的開發社區與生態，成為了 AR App 的首選開發環境。
AR 眼鏡
即使我們能夠在電腦或手機裡面順利的融合虛擬與現實，但是那仍然離鋼鐵人或 Metaverse 需要的 AR 還很遠：因為 AR 不能只存在於螢幕裡面。說到目前最可能讓 AR 離開螢幕的設備，就是 AR 眼鏡了。
AR 眼鏡利用微投影機，將影像投射在鏡片上，讓真實世界與虛擬的畫面可以更真實的疊加在一起。今天 AR 眼鏡尚有許多硬體難點需要克服，例如：續航、重量、發熱、畫質、亮度…等等。目前市售比較知名的 AR 眼鏡包括Google Glasses、HaloLens，以及 MagicLeap。受限於成本與應用範圍，目前大部分的 AR 眼鏡都是以企業級的應用場景來設計的。
以今天的 AR 技術來看，離真正普世的 AR 眼鏡還有很大的距離要走，更不用說 Metaverse 了。有興趣的同學，可以看《老師好我叫何同學》的 AR 眼鏡試戴影片。
虛擬實境 VR (Virtual Reality)
在 VR 的世界裡，所有的東西都是虛擬的，唯一真實的東西就是使用者。舉例來說，所有的 3D 電腦遊戲都可以稱之為 VR，因為電腦裡面的所有物件都是虛擬的，只有玩家是真實的。
在 2012 年開始，仰賴螢幕的 VR 也已經無法滿足一般玩家，於是 VR 眼鏡/VR 頭盔開始了第一波熱潮。與 AR 技術相反，VR 的技術難點不在於感知真實世界，而是感知真實的玩家 — — 也是 VR 世界裡唯一真實的東西。
在科幻電影中，《一級玩家》裡面所呈現的 VR 樣貌可能是最貼近現實的：玩家透過配戴 VR 眼鏡，搭配可以跑步的平台，就可以在另一個虛擬世界裡重現玩家的所有動作。如果額外花錢購買支援觸回饋的裝備，還可以感受到虛擬世界裡的觸感。只要再加上 AR，這幾乎就是 Metaverse 的理想型態。
VR 空間定位
VR 眼鏡為了做到互動，需要透過特殊的硬體與技術來追蹤玩家的動作。一種方法是基於紅外線追蹤，例如 Oculus Rift/Rift S。紅外線追蹤需要在眼鏡與手把上面設置多個紅外線 LED，利用 LED 的發光位置與排列就可以來判定玩家頭與手的位置。除了位置，手把與眼鏡的內部都加入了陀螺儀與磁力計，可以更精確的感測眼鏡與手把的角度。基於這類技術的 VR 眼鏡會需要搭配另一個紅外線感測器才能運作。
另外一種方法是基於空間定位，也就是 SLAM (Simultaneous Location And Mapping)。Oculus Quest 就是採用 SLAM 做的定位。這種技術會在 VR 眼鏡上面安裝一個相機，並且能夠透過環視周遭並建立室內的 3D 地圖。地圖建立完成後，VR 眼鏡就能在任何時候透過相機畫面計算出相機在房間中的位置與朝向。
VR 手勢辨識
除了手把控制，VR 眼鏡 Oculus Quest 也支援不需要手把的自然手勢控制。Oculus Quest 利用對外的相機，可以即時的識別佩戴者的雙手動作，精細到手指，而且效果與延時已經做到近乎完美。Facebook Research 也把這套手勢跟蹤演算法 MEgATrack 以論文的形式公開了，有興趣的同學可以參考這篇論文。
雖然 VR 相比 AR，在空間感知、動作識別、顯示技術等等都相對成熟許多；但扣除這些，目前的 VR 技術仍然有大量的技術還在實驗室階段，例如觸覺回饋、虹膜投影、即時全身動作捕捉…等等。
結語
過去 10 年內，科技圈出現過很多次的科技泡沫，其中 AR、VR 都是其中之一。這次 Metaverse 把這些曾經的泡沫重新包裝起來，加上雲計算、5G、大數據等概念，重新定義了新的概念，可能會是一波新的機會。
然而理想與現實之間仍然有一段很大的鴻溝。Facebook 改名 Meta 之所以轟動，就是因為這個舉動堪比「張同學」改名「張鮭魚之夢」一樣令人震驚。但同時全世界也都看見了 Facebook 的決心，也許會加速 Metaverse 的真正問世。
