自拍相機是所有智慧型手機的重要構造，但為前置鏡頭尋覓最佳安放之處，卻常會阻礙無縫的瀏覽體驗。螢幕下鏡頭（UDC）的問世，為廣大用戶捎來福音，自此告別螢幕前的小黑點。三星最新登場的 Galaxy Z Fold4，其UDC大幅升級，讓用戶享受不受干擾、更勝以往的沉浸式觀賞體驗。
世界上的偉大革新，背後往往匯聚無數人的心血，最新的UDC亦不例外，其集結三星專家團隊的智慧，與眾多消費者的寶貴回饋。三星新聞中心專訪合力開發該技術的三星研究院（註一）專家群，解開Galaxy Z Fold4 UDC再進化的背後玄機。
請繼續閱讀下文報導，探索三星美國研究院（SRA）運算式相機團隊負責人John Seok-Jun Lee，與印度邦加羅爾三星研發中心（SRI-B）AI視覺方案團隊負責人Alok Shukla如何凝聚眾人之智，為此款手機注入升級的UDC技術。
問：何謂螢幕下鏡頭（UDC）？
Seok-Jun：螢幕下鏡頭（UDC）是一項創新的相機解決方案，透過將鏡頭隱藏在顯示面板下方，在應用程式執行的過程中，完全釋放螢幕，提供用戶不受干擾的行動裝置觀賞體驗。要將相機置於顯示面板下方，需硬體技術及演算法創新，以還原影像畫質，而這正是最複雜的影像還原問題之一。
問：螢幕下鏡頭如何運作？
Alok：以UDC架構而言，前置相機位於顯示面板底部，該區域的螢幕畫素密度會被降低，使螢幕不受阻礙地顯示影像；而當相機處於啟用狀態時，又不致影響透光率。由於相機置於顯示面板下方，UDC可能會因繞射，而產生耀斑、光飽和、模糊等，導致成像畫質不佳。因此，雖然UDC實現更佳的瀏覽體驗，但同時也影響了相機畫質和其它的下游視覺任務。這些複雜而多樣性的失真，使還原UDC畫質極具挑戰性。
問：為何UDC是Galaxy Z Fold4的關鍵技術？它為消費者創造哪些價值？
Seok-Jun：三星的摺疊螢幕手機，不僅標榜設計新穎且與眾不同，亦透過突破性的顯示技術，將智慧型手機和沉浸式觀賞體驗，結合至單一行動裝置。摺合時，它能發揮一般智慧型手機的用途；展開時，其顯示螢幕能提供更上層樓的沉浸感，以及高效生產力體驗。根據三星消費者研究顯示，Galaxy Z Fold系列用戶在拍照及自拍時，偏愛使用封面螢幕相機；而在執行高生產力任務時，例如觀賞影片、暢玩遊戲和處理文書，則偏好出動沉浸式內頁螢幕。因此，我們認為UDC技術，一方面能滿足用戶對不受視覺干擾的需求，另一方面，它具備啟動視訊通話等任務的能力。三星在Galaxy Z Fold3首次應用摺疊螢幕UDC解決方案，而今隨著Galaxy Z Fold4登場，其畫質表現更上層樓。
Alok：Galaxy Z Fold4揭開沉浸式螢幕的新紀元，而UDC技術是實現全螢幕顯示體驗的重要基石。Galaxy Z Fold4結合顯示技術的先進創新，與影像還原領域的AI技術，在螢幕畫質和相機影像畫質之間，達到完美平衡。
問：自Galaxy Z Fold3以來，該相機在畫質表現上有何進化？
Alok：三星Galaxy Z Fold3以領先全球的腳步，率先於摺疊手機採用UDC技術。Galaxy Z Fold3上市後，來自消費者的其中一項重要回饋，是期望UDC變得較不明顯。Galaxy Z Fold4優化子畫素的排列方式，使螢幕下鏡頭（UDC）達到更佳的視覺隱形效果。
如前文所述，當相機放置於顯示面板下方時，可能會因繞射而產生耀斑、光飽和、模糊等，導致成像畫質不佳。
基於此理由，針對Galaxy Z Fold4產品設計，我們借助AI之力，以多幀處理技術作為後盾，為UDC影像還原開發一種新型的運算式成像管道。
SRI-B與DX（裝置體驗）事業群視覺軟體研發團隊攜手合作，全力開發支援拍照與預覽的AI影像還原技術，以補償UDC的光學繞射。同時，SRA的行動處理器創新（MPI）實驗室，亦進化多幀運算式攝影演算法。Galaxy Z Fold4所採用的UDC，解決了畫質上的關鍵技術挑戰，為終端消費者提供獨特體驗。
問：請帶領我們回顧SRA-SRI的合作歷程。兩大團隊合作的原因為何？
Seok-Jun：自三星成立MPI以來，SRA MPI實驗室一直與SRI-B維持密切的合作關係，如從2014年的Galaxy Note4相機商業化，一直到2022年的Galaxy Z Fold4和Z Flip4。在支援UDC的MX多幀處理（MFP）技術研發、夜間模式、Expert RAW和其它技術的開發上，SRA MPI始終扮演主導者角色。SRI-B藉由打造令人驚艷的相機軟體、畫質調整、商業化資源及AI相機研發，為所有的商業化SRA MPI多幀處理技術MFP創造莫大貢獻。MX研發團隊、SRA MPI和SRI-B三方的無間合作，締造了成功佳績，尤其是全球團隊高效率地運用時差，實現此項複雜專案的里程碑。很高興能與他們並肩朝相同目標邁進、抵達成功彼岸，催生全球最卓越的智慧型手機相機。
問：請闡述您的職務角色，以及貴團隊對UDC的貢獻。在提供最佳用戶體驗上，貴團隊付出哪些努力？
Alok：三星Galaxy Z Fold4 UDC是一項複雜的研發專案，SRI-B的角色是從端到端的角度思考，獲得最佳的消費者體驗。這有賴跨領域的專業知識，及跨團隊的深度合作。來自SRI-B、SRA-MPI實驗室，以及MX視覺軟體研發小組的專家合作無間，成功實現端對端UDC體驗。
SRI-B亦在各方面發揮關鍵作用，包括運用神經處理單元（NPU）執行AI模型，於預覽作業上達成及時效能，相較Galaxy Z Fold3可大幅縮減UDC成像處理時間。相機成像預覽、影片錄製、視訊通話等使用情境，皆須仰賴及時的處理效能，不遺漏任何畫面。以NPU加速預覽處理的AI UDC影像還原技術，首次應用於三星Galaxy Z Fold4。雖然拍照不需要及時處理，但因其所需的畫質，較預覽來得更高，以更短的處理時間，獲得更佳的畫質，是我們所追求的用戶體驗。
問：在開發此項技術時，您面臨了哪些挑戰？您如何克服這些挑戰？
Seok-Jun：低透光率和光繞射，是UDC相機技術面臨的最大挑戰。此外，與開孔相機成像管道不同的另一個挑戰，在於UDC所捕捉的影像畫質，不僅受到相機模組的影響，亦與顯示面板有關。SRA MPI的AI 3D ISP演算法，在設計時已顧及必要的靈活性，能根據不同的顯示特性，而調整輸出的影像畫質。3D ISP所具備的此項靈活性，有助於克服前述挑戰。
Alok：SRI-B的重點任務，是開發支援三星Galaxy Z Fold4 UDC的AI影像還原模組。這些還原模組，是相片與影片模式的必要元件。錄影和視訊通話的使用情境，對於在有限的耗電範圍內，完成影像的及時處理，為相當嚴苛的要求。
基於AI的UDC影像還原技術，首次應用於三星Galaxy Z Fold4 UDC錄影。為實現優於Galaxy Z Fold3的影像畫質體驗，我們必須使AI模型更輕量化，同時維持良好的畫質還原水準。在網路設計和訓練方面，我們進行了多次實驗，以實現良好的及時畫質。SRI-B廣泛運用NPU和先進的量化技術，來製作更輕量化、高度優化的AI模型，以實現低功耗與及時影像處理效能。
問：有關三星未來的UDC技術迭代，您抱持什麼樣的願景？
Alok：三星Galaxy Z Fold4的UDC技術，為智慧型手機的型態開闢嶄新的維度。未來UDC技術將能實現更大的相機感光元件，以及靈活位置的多重相機配置，絲毫不影響瀏覽體驗。另一個重大挑戰，是在更多產品的前置主相機上，大規模採用UDC技術。為實現此目標，我們必須在相機畫質、處理時間和顯示體驗等環節，作出重大的升級。
Seok-Jun：由於Galaxy Z Fold4 UDC大幅提升用戶體驗，包括將相機隱藏於螢幕下方，以及提升畫質表現，因此未來上市的旗艦裝置，其研發方向將擺在致力使UDC完全隱形。這有助於提供不受干擾的最佳沉浸式行動顯示體驗，同時獲得與開孔相機相同的成像畫質。
註一：三星研究院（Samsung Research）為引領三星DX（裝置體驗）事業群未來技術發展的前瞻研發中樞。
