中國(guó)消費(fèi)者報(bào)報(bào)道（記者武曉莉）“聽(tīng)眾朋友們，你們好。從今兒個(gè)起，由我為大家播講懸疑小說(shuō)《江湖消亡史：北平暗夜》。這個(gè)故事發(fā)生在民國(guó)十幾年的北京城里……”著名評(píng)書表演藝術(shù)大師單田芳離開(kāi)三年后，居然又“說(shuō)”起了新評(píng)書，昔日那位僅憑一張嘴就讓人欲罷不能的說(shuō)書人，又重新回到了我們身邊。

國(guó)慶期間，我國(guó)首部黑白轉(zhuǎn)彩色4K修復(fù)故事片《永不消逝的電波》在全國(guó)各大電影院線上映，人們紛紛走進(jìn)影院，欣賞舊日的黑白經(jīng)典煥發(fā)出的新光彩。

給國(guó)慶黑白老照片上個(gè)色的“全民拍”，讓以往國(guó)慶期間愛(ài)發(fā)養(yǎng)生貼的父母?jìng)?，今年忙著翻箱倒柜地找老照片，在網(wǎng)上給老照片修復(fù)上色。

……

AI(人工智能)技術(shù)通過(guò)修復(fù)圖片、影像，合成酷似本人的聲音，撫慰了人們懷舊的心緒，讓時(shí)光留駐、讓昨日重現(xiàn)。

回到從前   AI給記憶涂上色彩

每個(gè)人家里都可能有些因年份久遠(yuǎn)而變得斑駁、泛黃的老照片，這些照片或許珍藏著一份難忘的記憶，定格了一段久遠(yuǎn)的家國(guó)歷史。在新中國(guó)成立72周年這個(gè)特殊的日子里，通過(guò)新華社客戶端“全民拍”聯(lián)合中國(guó)移動(dòng)咪咕開(kāi)啟的黑白老照片免費(fèi)上色修復(fù)通道，能讓泛黃的記憶再次鮮活。“大家可能還記得，給老照片上色以前都需要通過(guò)手動(dòng)。”咪咕公司相關(guān)技術(shù)人員向記者介紹道。傳統(tǒng)照相館有一個(gè)專門的上色服務(wù)，把黑白照片涂上顏色，很多人家里都有這樣的著色照片。但那種上色方式與真實(shí)的色彩有不小的差距。

AI老照片修復(fù)有何不同？咪咕技術(shù)人員通過(guò)一張1959年9月13日第一屆全運(yùn)會(huì)開(kāi)幕式上運(yùn)動(dòng)員列隊(duì)步入會(huì)場(chǎng)的照片的修復(fù)，給記者做了一個(gè)科普。AI神經(jīng)網(wǎng)絡(luò)修復(fù)老照片時(shí)，會(huì)先通過(guò)標(biāo)準(zhǔn)色板進(jìn)行顏色校正，糾正視頻中色相、飽和度與真實(shí)圖像的差異。那么，AI又是如何比對(duì)的呢?北京電影學(xué)院數(shù)字媒體學(xué)院院長(zhǎng)劉謙教授對(duì)記者說(shuō)，人工智能其實(shí)就是一種算法，在大數(shù)據(jù)的支撐下，通過(guò)不斷的學(xué)習(xí)，普通的算法有了判斷、決策的能力，有點(diǎn)類似于一個(gè)人基于歷史經(jīng)驗(yàn)會(huì)進(jìn)行判斷。AI的判斷基于大數(shù)據(jù)的積累，由于算力很強(qiáng)，AI可以快速將圖像內(nèi)容與真實(shí)圖像進(jìn)行比對(duì)。

咪咕技術(shù)人員對(duì)記者說(shuō)，校正后AI就開(kāi)始對(duì)照片進(jìn)行區(qū)域去噪，分為空間域、頻域、小波域、時(shí)域、時(shí)空域和色彩域去噪等。機(jī)器的自動(dòng)處理完成后，其實(shí)還需要進(jìn)行人工的二次創(chuàng)作，針對(duì)照片故事背景、畫面氣氛等上下文，檢索該年代或特點(diǎn)事件的特征，進(jìn)行針對(duì)局部和重點(diǎn)對(duì)象的再次渲染。“如果沒(méi)有AI而用過(guò)去人工著色的方式，很多東西做不了。”咪咕技術(shù)人員說(shuō)。比如圖中場(chǎng)館的看臺(tái)上有數(shù)千名觀眾，這就必須由機(jī)器和AI進(jìn)行處理，再專業(yè)的人士也無(wú)法一一處理這個(gè)量級(jí)的人物。此外，早期全幅相機(jī)受操作水平的影響，拍攝會(huì)出現(xiàn)過(guò)度曝光，需要再次拉回光線等。

這位技術(shù)人員說(shuō)，AI修復(fù)過(guò)程中仍需人工介入。比如看臺(tái)上觀眾身披紅旗等細(xì)節(jié)，再厲害的AI算法也無(wú)法感知這是一面紅色的旗幟，這就需要編輯人員進(jìn)行人工二次創(chuàng)作。

書接上回 AI讓“原音”重出江湖

當(dāng)那個(gè)與單田芳本人聲音極其相似的AI合成音自然流暢地“說(shuō)”起評(píng)書時(shí)，單田芳已經(jīng)離開(kāi)我們整整3年了。3年前，無(wú)數(shù)人感嘆世上再無(wú)“下回分解”，而如今，他的“聲音”在喜馬拉雅平臺(tái)再次響起，“書接上回”重現(xiàn)江湖。“聽(tīng)到TTS聲音，心魂間猛然一震，仿佛父親又回到了這個(gè)世界。”單田芳之子單瑞林評(píng)價(jià)說(shuō)。喜馬拉雅平臺(tái)用語(yǔ)音合成 (TTS:Text-to-speech)技術(shù)完美還原了著名評(píng)書表演藝術(shù)大師單田芳的聲音，并首次將單田芳AI合成音應(yīng)用于6部風(fēng)格各異的作品。

資料圖片

作為國(guó)家級(jí)非物質(zhì)文化遺產(chǎn)傳承人，單田芳的《隋唐演義》《三俠五義》《亂世梟雄》《白眉大俠》等共計(jì)超過(guò)1.2萬(wàn)余集的100余部廣播、電視評(píng)書作品，在全國(guó)500多家電臺(tái)、電視臺(tái)都播出過(guò)，他的書迷遍布大江南北。“單田芳聲音AI重現(xiàn)系列專輯”中，除了趙晨光的《江湖消亡史：北平暗夜》、陳廷一的《毛氏三兄弟：三兄弟與共和國(guó)奠基》和紫金陳的《無(wú)證之罪》外，真正實(shí)現(xiàn)了“書接上回”的，是單田芳老師生前未完成的評(píng)書經(jīng)典——宮白羽的《十二金錢鏢》。

喜馬拉雅智能語(yǔ)音實(shí)驗(yàn)室的盧恒博士對(duì)記者說(shuō)，完美復(fù)現(xiàn)單田芳老師那標(biāo)志性的“云遮月”嗓音，以及其情感充沛、起伏跌宕的腔調(diào)，得益于實(shí)驗(yàn)室語(yǔ)音合成、識(shí)別、語(yǔ)音信號(hào)處理、編解碼以及智能音效的研究和開(kāi)發(fā)。盧恒說(shuō)，用真實(shí)自然的TTS音色演繹有聲小說(shuō)是非常難的，需要學(xué)習(xí)小說(shuō)中的抑揚(yáng)頓挫、情感表達(dá)、上下文關(guān)系，區(qū)分旁白和對(duì)白，并最終將作品完美演繹出來(lái)。喜馬拉雅自主研發(fā)的TTS前端文本處理分析模塊已經(jīng)能夠高精度、全自動(dòng)地對(duì)文本進(jìn)行多音字識(shí)別、韻律預(yù)測(cè)和風(fēng)格分類，并已開(kāi)發(fā)出可以實(shí)現(xiàn)多情感、多風(fēng)格、多語(yǔ)種聲音的TTS技術(shù)模型，因此，不僅可以演繹不同情緒的文字，還可以自動(dòng)區(qū)分旁白、對(duì)白，并支持英文，極大地豐富了TTS能表達(dá)的情感和韻律。

單田芳的評(píng)書不僅韻律起伏變化非常大，而且還有很多口語(yǔ)化發(fā)音。比如，“這”字的普通話發(fā)音為“zhè”，而評(píng)書中通常讀為“zhèi”。如果僅靠當(dāng)前主流的 TTS框架模型做提取和合成，合成的評(píng)書整體感情和情緒都會(huì)很平淡，沒(méi)有單田芳老師評(píng)書的韻味。據(jù)盧恒介紹，智能語(yǔ)音實(shí)驗(yàn)室設(shè)計(jì)了單獨(dú)的韻律提取模塊，不管韻律多么豐富和多變，都能提取并完全復(fù)刻出來(lái)。

經(jīng)典煥新   AI讓“電波”永不消逝

國(guó)慶期間，熱鬧的電影市場(chǎng)有一部很特別的老片子——《永不消逝的電波》上映。這部影片是首部院線重映的黑白轉(zhuǎn)彩色4K修復(fù)的電影，由中央廣播電視總臺(tái)央視頻5G新媒體平臺(tái)與中國(guó)電影資料館聯(lián)合完成。這部1958年出品的老電影，采用擁有自主知識(shí)產(chǎn)權(quán)的人機(jī)交互式AI上色技術(shù)與傳統(tǒng)修復(fù)手法相結(jié)合的手法，經(jīng)過(guò)長(zhǎng)達(dá)7個(gè)多月、對(duì)原片超過(guò)16萬(wàn)幀黑白影像的逐幀修復(fù)后，終于煥發(fā)出新的活力。“無(wú)論是圖片還是影像，放大到一定的顆粒度，你會(huì)發(fā)現(xiàn)它們都是由一個(gè)個(gè)的光點(diǎn)組成，這個(gè)最基本的單位就叫像素，所謂影像，不過(guò)就是連續(xù)播放的靜止圖片而已。”劉謙說(shuō)。像素本身就有一定的亮度、色彩和形狀，數(shù)字技術(shù)是把這些像素用RGB來(lái)表達(dá)，即任何一個(gè)光點(diǎn)都可以分解為紅、綠、藍(lán)三種顏色。AI通過(guò)這三個(gè)最基本的元素，可以調(diào)出所有的色彩和形狀，乃至表達(dá)出所有的電影畫面，這背后都是數(shù)字支撐。電影的4K修復(fù)，就是把以前低清晰度(即像素較少)的影像，通過(guò)增加像素的方式，變成像素點(diǎn)更多、圖像信息更豐富的影像。色彩也可以從黑白改變成彩色。

資料圖片

據(jù)劉謙介紹，過(guò)去的膠片電影是化學(xué)感光的，隨著時(shí)間的推移，容易出現(xiàn)畫面漏光、衰減、受潮、劃痕等各種損毀。膠片AI修復(fù)要先掃描影片，即膠片到數(shù)字化的轉(zhuǎn)換。但即使手工使用Photoshop等技術(shù)，也很難對(duì)所有影片全面修復(fù)，這時(shí)就需要AI。尤其是4K修復(fù)這種對(duì)清晰度的提升，手工根本無(wú)法想象，因?yàn)椴粌H增加的像素?cái)?shù)量是天文數(shù)字級(jí)的，而且如何平滑過(guò)渡、如何讓增加的像素更符合實(shí)際情況，都只有人工智能才能做到。比如插值技術(shù)，增加像素點(diǎn)的部分怎么插入過(guò)渡色，就需要AI通過(guò)大量的學(xué)習(xí)。“比如說(shuō)在某種亮度的紅和綠之間插值，AI可以通過(guò)對(duì)幾百萬(wàn)張大數(shù)據(jù)圖片的比對(duì)，在成千上萬(wàn)個(gè)高清圖片中找到十有八九都會(huì)碰到一起的兩個(gè)顏色，從而得出與此種紅、綠兩個(gè)像素點(diǎn)在自然界很大概率的情況下都會(huì)相鄰的光點(diǎn)，作為可選的近似值之一。而最終插入這兩個(gè)光點(diǎn)中間的過(guò)渡像素，其光點(diǎn)值可能用的即非紅也非藍(lán)、綠，而是一種灰，因?yàn)槠渥钯N近自然界的真實(shí)色彩。在這兩個(gè)光點(diǎn)之間插入一個(gè)光點(diǎn)，增加清晰度，是人工智能算法中的一種，而這個(gè)可選的光點(diǎn)是自然人沒(méi)辦法直接拍腦袋決定的。”

在劉謙看來(lái)，修復(fù)技術(shù)實(shí)際上并不復(fù)雜，現(xiàn)在很多修復(fù)案例只是應(yīng)景之作。他認(rèn)為，圖像、影像的AI修復(fù)，需要在個(gè)案中找到可以持續(xù)發(fā)展的應(yīng)用場(chǎng)景。“老電影的修復(fù)，畢竟是修一部少一部，而且只有真正的經(jīng)典才值得修。”他感慨道，“一個(gè)項(xiàng)目做完，會(huì)花很多錢，如果可以重復(fù)用于更多場(chǎng)景的話，就更好了。”