五月_Sora 專題｜視覺生成式AI技術與應用發展概況解析(下)
目前絕大多數視覺生成式AI屬於多模態模型，透過學習從資料中獲得的多模態連結來實現跨域資訊處理和互動，包括文字生成圖像、文字生成3D物件、文字生成影片、圖像生成影片、圖像生成文字等類型，以下為盤點指標廠商發展概況 :
- Google :
- 圖像 : 2021年發佈Google Colab平台上AI生成圖像工具Disco Diffusion，以及AI生成3D物件工具Dream Fields，它是利用NeRF架構產生3D物件，再透過CLIP架構判斷生成的物件是否達到逼真效果。2022推出AI生成圖像工具Imagen與3D物件工具Dream Fusion，前者採用Diffusion架構，後續於2023、2024年發展出Imagen 2與Imagen FX。後者是Dream Fields進化版，因利用Imagen生成2D圖像而不需要大量數據即可建立3D物件。
- 影片 : 2022年上線Imagen Video與Phenaki等兩款AI生成影片工具，Imagen Video的運作方式是先透過T5模型嵌入使用者輸入文字後，再由Diffusion架構以每秒3幀的速度產生解度析為24×48的影片，之後再利用TSR與SSR生成總長128幀且解析度達1280×768的3秒影片。Phenaki可根據不同的文字描述組合生成連貫且多樣化的影片，雖然影像品質不如Imagen Video，但所呈現的影片非常貼近文字描述，而且還能根據一系列的文字產生連貫性的多個影片。2023年與Stanford University研究團隊合作推出AI生成影片工具W.A.L.T，它採用Diffusion Transformer架構，可以從本文、圖像生成3秒鐘且解析度達512×896的影片。同年還推出自主開發的AI生成影片工具VideoPoet，除了具備文字生成影片、圖片生成影片、影片風格轉換、影片修復、影片生成音訊等五大功能外，它還能以一秒影像預測接續影片，再透過連續預測生成更長影片。
- OpenAI :
- 圖像 : 於2021年發布首款AI生成圖像工具DALL-E，目前已發展至第三代，具備文字生成圖像、編輯圖像、填補空白和重製變化等功能，文字生成圖像是根據輸入指令產生對應圖像，編輯圖像是根據輸入指令修改圖像，填補空白是生成原圖以外圖像以填補圖面，重製變化是根據用戶選項生成五張額外的變化圖像；2022年發布AI生成3D物件工具Point-E，擁有Glide和Image-to-3D模式，前者可以從文本描述生成物件，後者由使用圖像和相關的3D物體進行訓練以學習生成相應的點狀雲，其紋理較粗糙。2023年推出升級版的AI生成3D物件工具Shap-E，它可以生成隱式函式參數以利使用NeRF架構進行渲染，進而生成逼真的3D物件，在更高維度和多重表示輸出空間情況下，相較Point-E具備更快的修正速度和更好的物件品質。
- 影片 : 2024年宣布推出AI生成影片工具Sora，能在幾秒鐘內將輸入文字生成長達1分鐘的高解析影片，遠遠超過目前業界幾秒鐘的影片生成長度，成為當前最強的影片生成工具。不過目前僅釋出成果影片，預計2024年底上線，且現階段影不會配有音效，所以功能並未完備。
- Meta :
- 圖像 : 於2023年推出AI生成3D物件工具MCC。它利用Transformer架構將輸入的RGB-D圖像產生編碼，然後再用解碼器產生3D點數據以預測該點的占用率和RGB色彩，通用性比網格和立體圖元更好。
- 影片 : 2023年先後推出AI生成影片工具Make-A-Video與Emu Video，前者先利用已有模型生成與文字描述相符的圖像，然後透過時空模組將圖像組合成連貫的影片，其優勢包括加快模型的訓練過程、不需要配對的文字影片資料、生成影片具有美學多樣性以滿足不同用戶的審美需求。後者為簡單且高效的影片生成工具，它先根據文字提示生成圖像，再透過Diffusion架構產生解析度為512×512的4秒影片，以方便發布於社群媒體上。
- Apple :
- 圖像 : 2021年6月發布AI生成3D物件工具Object Capture，可將iPhone或iPad拍攝多張照片拼接成USDZ格式的3D圖像，以利後續專業軟體優化。2022年7月推出AI生成3D場景工具Gaudi，運作原理是先對潛在和網路參數優化，再使用Diffusion架構學習生成3D場景。
- Runway :
- 影片 : 2023年先後推出AI生成影片工具Gen-1與Gen-2，前者採用Diffusion架構，主要對現有影片進行轉換，讓使用者可用文字指令修改影片中的物件顏色、圖像風格等特徵。它提供五種模式，包括：(a).Stylization：將任何圖像或提示風格轉移到視頻的每一幀，(b).Storyboard：將模型變成完全風格化和動畫的渲染，(b).Mask：隔離視頻中主題並使用簡單的文本提示對其進行修改，(d).Render：透過應用輸入圖像或提示將無紋理渲染變成逼真的輸出，(e).Customization：透過自訂模型以獲得更高品質影像的結果；後者讓使用者可用文字描述生成4~16秒影片。且相較Gen-1新增了僅透過文本提示合成想要風格的影片(Text to Video)、使用圖像和文本提示生成影片(Text + Image to Video)、用圖片生成影片(Image to Video)等三項功能。
- Luma AI
- 圖像 : 已推出基於ReNF架構的AI生成3D物件工具，讓使用者透過拍攝照片或輸入文字來生成3D圖像。2022年10月網頁版Luma上線，2023年1月推出iOS版Luma App，用戶可透過iPhone上傳影像後生成3D圖像，它支援導入、引導和自由等三種模式，導入模式和網頁版Luma的用法相同，引導模式需要App提示360度的拍攝視角，自由模式支援App不會提示角度的一般拍攝。
- 影像 : 2023年8月推出AI生成影片工具Flythroughs，讓使用者透過iPhone創造模擬無人機拍攝之3D飛行影片。
