2020年年初國(guó)家提出的“新基建”，為技術(shù)變遷和行業(yè)發(fā)展，帶來(lái)了新的時(shí)代機(jī)遇，而智慧城市也成為全國(guó)城市發(fā)展變革的重要一環(huán)。

　　城市大腦是現(xiàn)有智慧城市中的一個(gè)核心系統(tǒng)，它將算力及數(shù)據(jù)匯聚到一起，加上算法，就能發(fā)揮巨大的作用。

　　比如，將網(wǎng)絡(luò)數(shù)據(jù)、政務(wù)數(shù)據(jù)、社會(huì)數(shù)據(jù)等等，匯集到一起，然后提供一個(gè)云計(jì)算服務(wù)，就可以提升政府效率、加速企業(yè)創(chuàng)新、促進(jìn)生活便捷。

　　在智慧城市系統(tǒng)之中，匯集了各類(lèi)各樣的數(shù)據(jù)，其中有90%左右的數(shù)據(jù)都與圖像、視頻相關(guān)聯(lián)，如何處理好圖像和視頻數(shù)據(jù)，在城市大腦系統(tǒng)中是非常關(guān)鍵的要素。

　　那么，現(xiàn)在城市大腦系統(tǒng)的發(fā)展到了哪個(gè)階段?從系統(tǒng)1.0到2.0，哪些痛點(diǎn)被解決了?技術(shù)又有哪些創(chuàng)新呢?

　　在8月7日第五屆全球人工智能與機(jī)器人峰會(huì)(CCF-GAIR 2020)上，中國(guó)工程院院士、鵬城實(shí)驗(yàn)室主任高文，分享了主題為《城市大腦2.0-邊端云處理分工的人工智能賦能系統(tǒng)》的報(bào)告。

　　高文院士在報(bào)告中，從城市大腦1.0的現(xiàn)狀、問(wèn)題，談到城市大腦2.0的創(chuàng)新、優(yōu)勢(shì)，以及智慧城市發(fā)展的關(guān)鍵技術(shù)和能力。

　　01 城市大腦1.0的現(xiàn)狀

　　城市大腦是智慧城市的核心系統(tǒng)，是算力和數(shù)據(jù)的匯聚地，是生產(chǎn)力和生產(chǎn)資料的集中展現(xiàn)。

　　它也是超大規(guī)模的人工視覺(jué)系統(tǒng)應(yīng)用，通過(guò)數(shù)據(jù)的匯聚、治理、計(jì)算、分析、挖掘和調(diào)度，完成數(shù)據(jù)的全流程加工，面向行業(yè)提供不同層次的產(chǎn)品和服務(wù)。

　　所以，視覺(jué)認(rèn)知計(jì)算(VCC)是城市大腦的核心。目前，視頻存儲(chǔ)、分析與識(shí)別都在云上完成，分析識(shí)別的視頻路數(shù)與云服務(wù)器的算力成正比。

　　在現(xiàn)有的系統(tǒng)中，數(shù)據(jù)基本以圖像與視頻兩種形式進(jìn)入:

　　第一種模式：攝像頭就是一個(gè)簡(jiǎn)單的傳感器，捕捉到圖像或者視頻以后，進(jìn)行一個(gè)編碼壓縮，傳送給云端，云端將它存儲(chǔ)起來(lái)。

　　也可能將它解碼之后進(jìn)行分析，識(shí)別出人臉、車(chē)輛，或者進(jìn)行交通數(shù)據(jù)的分析等等，這是一種信息或者數(shù)據(jù)感知的模式。

　　另一種模式叫做智能終端，在攝像頭這一端就把人臉或者車(chē)牌等信息識(shí)別出來(lái)，識(shí)別出來(lái)的信息被傳送到云端，直接可以進(jìn)行分析使用。

　　這兩種模式是目前城市大腦中數(shù)據(jù)使用的主要模式，當(dāng)然這兩種模式都多多少少存在一些問(wèn)題。

　　如果僅僅作為一個(gè)感知終端，后面如果需要調(diào)用，除了解碼以外，還要進(jìn)行特征提取等工作，需要大量的計(jì)算程序，這些計(jì)算非常耗費(fèi)云計(jì)算的算力資源。另外，智能終端還無(wú)法識(shí)別出未被指定的人或物。

　　所以，城市大腦需要一個(gè)更好的系統(tǒng)，這個(gè)系統(tǒng)不僅云上算力資源需求不多，而且可以完成一些未經(jīng)規(guī)定的動(dòng)作。

　　換句話(huà)說(shuō)，以云計(jì)算為核心的城市大腦1.0 目前存在的一些問(wèn)題是，系統(tǒng)各個(gè)部分分工協(xié)調(diào)不太好，系統(tǒng)成本比較高，響應(yīng)速度慢，數(shù)據(jù)的可利用度比較低。

　　如果要從1.0演進(jìn)到2.0，首先要面臨一些挑戰(zhàn)：

　　第一，海量數(shù)據(jù)≠大數(shù)據(jù)

　　現(xiàn)在的城市大腦1.0，它是一個(gè)具有海量數(shù)據(jù)的系統(tǒng)，但是這個(gè)海量數(shù)據(jù)并不等于大數(shù)據(jù)，因?yàn)?0%的海量數(shù)據(jù)都是沒(méi)有結(jié)構(gòu)化的，只是進(jìn)行了一個(gè)簡(jiǎn)單的編碼壓縮。

　　第二，數(shù)據(jù)海量 vs 低價(jià)值

　　另外，這些數(shù)據(jù)的價(jià)值也比較低，它不是結(jié)構(gòu)化的，你無(wú)法在上面進(jìn)行分析，這也是為什么很多智慧城市的視頻數(shù)據(jù)，一段時(shí)間之后就被覆蓋了。

　　高文院士表示，問(wèn)題的實(shí)質(zhì)是現(xiàn)有城市大腦里的數(shù)據(jù)表達(dá)是不到位的。

　　如果只是在感知數(shù)據(jù)后，將編碼壓縮送到云端，它還是一個(gè)非結(jié)構(gòu)化的數(shù)據(jù);如果能把它識(shí)別出來(lái)是張三、李四，或者車(chē)牌號(hào)多少，雖然它已經(jīng)結(jié)構(gòu)化了，但是它是過(guò)度結(jié)構(gòu)化的，對(duì)于沒(méi)有規(guī)定的任務(wù)就無(wú)法執(zhí)行了。

　　所以需要一種泛化能力更強(qiáng)的數(shù)據(jù)表達(dá)，這個(gè)數(shù)據(jù)的表達(dá)是一個(gè)機(jī)緣表達(dá)，用這些機(jī)緣既可以完成現(xiàn)有的任務(wù)，也可以完成現(xiàn)在還沒(méi)有定義的一些任務(wù)。

　　這些數(shù)據(jù)表達(dá)想要得到一個(gè)比較好的結(jié)果，整個(gè)系統(tǒng)就必須做得好，包括系統(tǒng)的智力、性能(響應(yīng)時(shí)間、并發(fā)、吞吐)、效率(耗電多大)等等。

　　如果某套系統(tǒng)可以通過(guò)評(píng)測(cè)，那就代表這套系統(tǒng)比較智能化了。

　　城市大腦1.0系統(tǒng)的弊端在于：它的智能代價(jià)比較高，要么是造價(jià)高、要么就是耗電高。

　　如果要將城市大腦1.0升級(jí)到2.0，高文院士表示，可以借鑒人的視覺(jué)系統(tǒng)，比如人的視網(wǎng)膜、視覺(jué)通道、大腦分工是非常協(xié)調(diào)和高效的。

　　從視網(wǎng)膜傳到大腦之間，是一個(gè)特征壓縮，被稱(chēng)為：特征編碼，但這個(gè)編碼和現(xiàn)在傳統(tǒng)的圖像編碼并不一樣，它是一個(gè)特征壓縮編碼的東西送到大腦中去。

　　城市大腦2.0就是借鑒這樣一個(gè)系統(tǒng)提出的一個(gè)體系架構(gòu)，不僅能傳特征，還能傳壓縮圖像。這個(gè)體系架構(gòu)需要數(shù)字視網(wǎng)膜的技術(shù)及其標(biāo)準(zhǔn)化，現(xiàn)在這些思路、技術(shù)、標(biāo)準(zhǔn)化都逐步到位。

　　02 城市大腦2.0 ：數(shù)字視網(wǎng)膜

　　高文院士認(rèn)為，城市大腦2.0是一個(gè)邊、端、云合理分工的系統(tǒng)，而把邊、端、云結(jié)合的最核心的技術(shù)叫做數(shù)字視網(wǎng)膜，它是整個(gè)城市大腦2.0里面一個(gè)基本架構(gòu)，又被稱(chēng)為仿生視網(wǎng)膜的計(jì)算架構(gòu)。

　　數(shù)字視網(wǎng)膜目前有8個(gè)特征可以定義它：

　　1、 使用全網(wǎng)統(tǒng)一的時(shí)間;

　　2、 可定位，可標(biāo)識(shí)，提供精確地理位置，如GPS、Baidou北斗;

　　3、 視頻編碼：為了存儲(chǔ)和離線(xiàn)觀(guān)看的影像重構(gòu);

　　4、 特征編碼：為了模式識(shí)別和場(chǎng)景理解的緊湊特征表示;

　　5、 聯(lián)合優(yōu)化：模擬生物視網(wǎng)膜，支持視頻流與特征流聯(lián)合編碼優(yōu)化，城市大腦有兩個(gè)碼流，視頻編碼壓縮流和特征編碼壓縮流，這兩個(gè)碼流會(huì)捆綁到一起進(jìn)行傳輸，所以要有一個(gè)優(yōu)化策略，把這個(gè)帶寬到底分多少給視頻編碼、分多少給特征編碼，通過(guò)一個(gè)聯(lián)合優(yōu)化，使得整個(gè)系統(tǒng)達(dá)到最優(yōu)。

　　6、 模型可更新：支持端/邊深度學(xué)習(xí)模型的自適應(yīng)遷移、壓縮、更新與轉(zhuǎn)換;

　　7、 注意可調(diào)節(jié)：模擬視覺(jué)注意機(jī)制，在端設(shè)備、感知網(wǎng)絡(luò)等層面實(shí)現(xiàn)動(dòng)態(tài)注意調(diào)節(jié);現(xiàn)在的攝像頭沒(méi)有“注意”，只能人工拉近拉遠(yuǎn)調(diào)節(jié)它，做不到自動(dòng)的注意可調(diào)節(jié)。

　　8、 軟件可定義：支持端邊云協(xié)同計(jì)算與推理，實(shí)現(xiàn)特征實(shí)時(shí)匯聚與視頻按需調(diào)取。系統(tǒng)要想升級(jí)，可以通過(guò)軟件定義的方法，對(duì)系統(tǒng)自動(dòng)升級(jí)。

　　要想把數(shù)字視網(wǎng)膜技術(shù)全部用起來(lái)，這里面有一些使能技術(shù)。

　　第一個(gè)使能技術(shù)，是視頻編碼。

　　現(xiàn)在做城市大腦、監(jiān)控系統(tǒng)都離不開(kāi)視頻編碼，攝像頭里面都有一個(gè)視頻編碼芯片，視頻編碼芯片用的標(biāo)準(zhǔn)，最早期是H.264，或者用AVS的編碼標(biāo)準(zhǔn)。

　　最近開(kāi)始使用H.265或者AVS2的標(biāo)準(zhǔn)，未來(lái)不久就會(huì)用上H.266和AVS3的標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)差不多每10年就會(huì)更新一代，效率每10年就會(huì)提高一倍。

　　為什么能夠做到編碼壓縮?一個(gè)視頻就是一個(gè)圖像序列，圖像序列里面包含了很多數(shù)據(jù)的冗余，基本上有三大類(lèi)冗余：一類(lèi)是和空間冗余有關(guān)的，一類(lèi)是和時(shí)間冗余有關(guān)的，另外一類(lèi)是和編碼冗余有關(guān)的。

　　現(xiàn)在整個(gè)視頻編碼里面用的算法，叫做混合視頻編碼架構(gòu)，這個(gè)混合就把剛才三種主流的冗余用不同的算法去掉。

　　比如說(shuō)為了去除空間冗余，一般我們采用正交變換，比如說(shuō)DCP變換等把它去除掉。

　　為了去除時(shí)間上的冗余，就是幀和幀上的冗余，一般我們會(huì)采取預(yù)測(cè)編碼，比如說(shuō)各種各樣的濾波器，把幀間的冗余去除掉。

　　為了使得編碼的分配最符合熵的定義，可以使用信息熵編碼來(lái)去除編碼上的冗余。

　　這三個(gè)冗余都去除干凈了，整個(gè)視頻流里就可以壓得很小，只有有用的信息、有用的數(shù)據(jù)甩出去，這些冗余都被擠壓掉了，這是視頻編碼。

　　要想把視頻編碼做得好，算法要做得很精，隨著時(shí)間的推移，可以用計(jì)算、帶寬把這些東西一點(diǎn)點(diǎn)都去除掉。

　　第二個(gè)使能技術(shù)，是特征編碼。

　　這是非常關(guān)鍵的一個(gè)使能技術(shù)，這個(gè)技術(shù)的標(biāo)準(zhǔn)有兩部分核心的內(nèi)容，一部分叫CDVS，一部分叫CDVA，它們也是國(guó)際標(biāo)準(zhǔn)MPEG-7里面的兩部分。

　　為什么要做視覺(jué)特征的壓縮呢?因?yàn)楦鶕?jù)不同的特征，提取出來(lái)的特征數(shù)據(jù)可能很大，如果不壓縮的話(huà)，特征數(shù)據(jù)可能比圖像本身都大，所以要么就傳個(gè)圖像過(guò)去，要傳特征的話(huà)數(shù)據(jù)太大，所以就要對(duì)它進(jìn)行特征壓縮。

　　怎么進(jìn)行壓縮?如果是先把圖像編碼傳過(guò)去，再提取特征，再進(jìn)行識(shí)別，和先把特征提取出來(lái)，然后把特征傳過(guò)去再識(shí)別，這兩個(gè)其實(shí)有一個(gè)剪刀差，可能有時(shí)候識(shí)別率會(huì)相差百分之二三十。

　　先壓縮了以后，可能有一些比較有用的特征丟了，因?yàn)樗^編碼壓縮，它是保留公共部分，把一些非公共的、非常見(jiàn)的東西壓縮掉了，而非常見(jiàn)的部分恰恰可能是特征，所以把這個(gè)打磨掉以后，它的識(shí)別率可能就下來(lái)了，所以要先提特征，再在云端技術(shù)識(shí)別這樣一個(gè)技術(shù)策略。

　　當(dāng)然先提特征，怎么樣提的特征體量比較小，我們初期是采用手工作業(yè)的策略，當(dāng)然手工特征怎么支持深度學(xué)習(xí)，這是另外一個(gè)問(wèn)題，后面我們做了第一版以后，又專(zhuān)門(mén)做了一個(gè)面向深度學(xué)習(xí)的編碼壓縮的框架，這個(gè)主要是給小視頻來(lái)做的，有了這兩個(gè)部分以后，基本上可以應(yīng)對(duì)圖像特征編碼和視頻特征編碼這兩個(gè)需求。

　　第三個(gè)使能技術(shù)，叫做聯(lián)合優(yōu)化。

　　所謂聯(lián)合優(yōu)化，就是在視頻編碼和特征編碼之間，要找到一個(gè)最優(yōu)的結(jié)合點(diǎn)，使得這兩個(gè)流捆綁到一起的時(shí)候，腦力分配是最優(yōu)的，上面這個(gè)流是視頻壓縮流，下面這個(gè)流是特征壓縮流，這樣送到云里，它倆合起來(lái)是最優(yōu)的。

　　怎么能夠做到最優(yōu)呢?因?yàn)楦髯缘膬?yōu)化模型都是有的，比如現(xiàn)在看到的這些是上面這部分，它是一個(gè)視頻編碼優(yōu)化的流程，上面的虛線(xiàn)是視頻編碼，下面的虛線(xiàn)是特征編碼，這兩個(gè)編碼在右端，合成一個(gè)流，就是視頻和特征流。

　　這一個(gè)流怎么樣優(yōu)化呢?要設(shè)置一個(gè)聯(lián)合優(yōu)化流程，把它放到一起去優(yōu)化。視頻編碼的優(yōu)化模型叫RBO，RBO就是給定碼率損失最小的優(yōu)化模型，它的優(yōu)化曲線(xiàn)就是右下角這個(gè)曲線(xiàn)。在識(shí)別特征表達(dá)方面，它有一個(gè)RAO，就是給定碼率，讓精確度最高的優(yōu)化模型。

　　這個(gè)優(yōu)化模型給的曲線(xiàn)是反過(guò)來(lái)的，所以把這兩個(gè)需要優(yōu)化的東西給它放到一個(gè)優(yōu)化函數(shù)里面表達(dá)出來(lái)，就是這張圖的表達(dá)，根據(jù)這個(gè)東西聯(lián)合求解一個(gè)優(yōu)化的解。

　　第四個(gè)使能技術(shù)，是深度學(xué)習(xí)模型編碼的使能技術(shù)。

　　就是通過(guò)多模型的重用，通過(guò)模型壓縮更新來(lái)做。這是深度學(xué)習(xí)怎么樣去通過(guò)重用，去使得整個(gè)模型的重用精度更高。

　　這個(gè)重用既包括現(xiàn)有模型的重復(fù)使用，也根據(jù)目標(biāo)模型訓(xùn)練所得到的提升，使得優(yōu)化做得更好。

　　多模型重用，如果是在學(xué)習(xí)體系里面把它用好的話(huà)，它的性能就可以提高得比較好，所以怎么樣使得這個(gè)多模型編碼壓縮，使得在重用當(dāng)中可以快速地更新一個(gè)模型，就使得這個(gè)性能不停地提升，這兩個(gè)就是模型編碼的主要?jiǎng)訖C(jī)，有了這個(gè)就可以使得當(dāng)模型訓(xùn)練完了以后，壓縮完了以后就可以快速推到終端去升級(jí)模型。

　　上面這些使能技術(shù)，最后它要匯總到一個(gè)芯片里面，這個(gè)芯片現(xiàn)在在北大杭州研究院下面的一家公司做出來(lái)了，第一個(gè)數(shù)字視網(wǎng)膜的芯片叫GV9531，剛才的8個(gè)特性，這個(gè)芯片全都是支持的。

　　除了數(shù)字視網(wǎng)膜本身以外，現(xiàn)在配合人工智能技術(shù)的推進(jìn)，也在推動(dòng)中國(guó)的一些AI技術(shù)的國(guó)家標(biāo)準(zhǔn)，包括神經(jīng)網(wǎng)絡(luò)模型表示與壓縮的標(biāo)準(zhǔn)、城市級(jí)大數(shù)據(jù)匯集關(guān)聯(lián)的規(guī)范和標(biāo)準(zhǔn)，包括這些標(biāo)準(zhǔn)研究開(kāi)發(fā)的路線(xiàn)圖，什么時(shí)候要把哪個(gè)標(biāo)準(zhǔn)提出來(lái)完成等等。

　　數(shù)字視網(wǎng)膜，簡(jiǎn)單來(lái)說(shuō)是三個(gè)編碼流合并的系統(tǒng)，當(dāng)然前兩個(gè)是最主要的，就是視頻流和特征流，這兩個(gè)流時(shí)時(shí)刻刻都是匯集到一起進(jìn)行傳輸?shù)?，第三個(gè)是模型編碼，只是在模型需要壓縮的時(shí)候，從云端推到邊緣端或者終端上，進(jìn)行一些增量的更新。

　　03 城市大腦2.0的優(yōu)勢(shì)

　　城市大腦1.0是一個(gè)以云計(jì)算為核心的系統(tǒng)，由于系統(tǒng)各個(gè)部分分工協(xié)調(diào)不太好，所以系統(tǒng)成本比較高，響應(yīng)速度慢，數(shù)據(jù)的可利用度比較低。借鑒人的視覺(jué)系統(tǒng)，比如說(shuō)人的視網(wǎng)膜、視覺(jué)通道、大腦分工非常協(xié)調(diào)，非常合理。

　　城市大腦2.0的核心在于數(shù)字視網(wǎng)膜及其標(biāo)準(zhǔn)化，它相較城市大腦1.0具備四大方面的性能提升：

　　1、它有先進(jìn)視頻編碼技術(shù)：節(jié)省存儲(chǔ)和帶寬50%以上;

　　2、它可以定制ASIC邊緣計(jì)算：節(jié)省云計(jì)算資源90%以上;

　　3、它能在原始圖像上特征提?。旱脱訒r(shí)和高精度;

　　4、它還可以做標(biāo)準(zhǔn)化特征的提取，存儲(chǔ)和復(fù)用：顯著提升信息密度和價(jià)值。

　　現(xiàn)在鵬城實(shí)驗(yàn)室對(duì)城市大腦2.0——鵬城云腦，有一些較完整的設(shè)計(jì)和規(guī)劃，鵬城云腦到現(xiàn)在為止已經(jīng)投入了幾十億元去打造，鵬城云腦只有100P的算力，雖然說(shuō)只有100P的算力，這也是到目前為止國(guó)內(nèi)作為AI訓(xùn)練算力最大的一套系統(tǒng)。

　　后面還會(huì)有更強(qiáng)的系統(tǒng)，現(xiàn)在有一個(gè)原型，可以有數(shù)據(jù)進(jìn)來(lái)，對(duì)數(shù)據(jù)進(jìn)行標(biāo)注、采集，可以進(jìn)行訓(xùn)練，訓(xùn)練完了以后就可以用剛才這些和芯片有關(guān)的系統(tǒng)進(jìn)行提取，然后可以分析和識(shí)別。

　　這個(gè)原型系統(tǒng)，一般邊緣用的，甚至在云端大數(shù)據(jù)服務(wù)里面用的東西，現(xiàn)在都在逐步進(jìn)入系統(tǒng)，上面會(huì)有各種各樣的參考軟件，去配合硬件的東西，最上面是開(kāi)源的算法訓(xùn)練，有這些東西之后，將來(lái)在鵬城云腦上就會(huì)對(duì)城市大腦進(jìn)行比較強(qiáng)有力的支持。

　　當(dāng)然這個(gè)系統(tǒng)要想完善，可能還需要一點(diǎn)時(shí)間，還需要在更多的地方去做實(shí)驗(yàn)驗(yàn)證，等這些技術(shù)都成熟了，標(biāo)準(zhǔn)全都到位了，甚至城市大腦2.0真正運(yùn)營(yíng)起來(lái)，對(duì)中國(guó)的城市化、智能城市等等方面會(huì)有一個(gè)比較大的貢獻(xiàn)。