隨著互聯(lián)網(wǎng)技術(shù)的不斷發(fā)展和創(chuàng)新，觀看網(wǎng)絡(luò)視頻已經(jīng)成為現(xiàn)代人主流的娛樂活動(dòng)，人們的觀看要求也不斷地增高?，F(xiàn)如今人們往往不滿足于觀看視頻，而是追求情感表達(dá)以及與他人互動(dòng)。很多學(xué)者的研究表明，當(dāng)今傳統(tǒng)的視頻網(wǎng)站的互動(dòng)性較弱，評(píng)論區(qū)是與他人交流觀點(diǎn)的唯一途徑，然而這一做法將視頻與評(píng)論分割，無法做到實(shí)時(shí)性，同步性等特點(diǎn)。因此，用戶日益增長(zhǎng)的互動(dòng)需求成為了視頻網(wǎng)站運(yùn)營(yíng)人員考慮的重要因素。因此，彈幕網(wǎng)站應(yīng)運(yùn)而生?，F(xiàn)在，國(guó)內(nèi)主流的在線視頻網(wǎng)站也引入了彈幕功能，如愛奇藝，騰訊視頻等。

彈幕視頻網(wǎng)站與傳統(tǒng)視頻網(wǎng)站不同的是，用戶可以在觀看期間發(fā)送彈幕評(píng)論，同時(shí)也可以看到其他用戶發(fā)送的評(píng)論，這種方式讓用戶之間的互動(dòng)性更強(qiáng)，為用戶營(yíng)造出一種陪伴感，歸屬感的體驗(yàn)氛圍，給用戶一個(gè)可以自由發(fā)聲的機(jī)會(huì)。對(duì)用戶而言發(fā)送彈幕成為了一個(gè)尋求信息以及宣泄情緒的渠道。隨著彈幕的發(fā)展，彈幕的應(yīng)用已經(jīng)不止局限于視頻場(chǎng)景，越來越多的應(yīng)用都引入了該功能如在線書籍，在線教育平臺(tái)，直播平臺(tái)等。可見彈幕與人們的生活越來越緊密相關(guān)。

彈幕評(píng)論也產(chǎn)生了實(shí)際的經(jīng)濟(jì)價(jià)值。有學(xué)者通過研究直播平臺(tái)主播與用戶的互動(dòng)以及用戶與用戶之間的互動(dòng)是否會(huì)影響用戶的打賞行為，研究表明直播過程中用戶發(fā)送的彈幕互動(dòng)越強(qiáng)烈，用戶的興奮水平越高，進(jìn)而提高用戶所向主播發(fā)送禮物的數(shù)量。還有學(xué)者研究了彈幕與營(yíng)銷行為的關(guān)系，得出通過視頻彈幕的聚群效應(yīng)形成用戶群體，進(jìn)而產(chǎn)生粉絲營(yíng)銷等一系列營(yíng)銷活動(dòng)。彈幕評(píng)論有助于提高用戶粘性，對(duì)彈幕進(jìn)行管理同時(shí)也可以引導(dǎo)直播間以及視頻的評(píng)論導(dǎo)向，為未來多元化商業(yè)奠定基礎(chǔ)。

 現(xiàn)有的視頻彈幕自動(dòng)生成方法一般使用堆疊Transformer結(jié)構(gòu)對(duì)視頻以及文本信息進(jìn)行融合，然而Transformer結(jié)構(gòu)只使用靜態(tài)的位置編碼來捕獲時(shí)序信息，隨著數(shù)據(jù)長(zhǎng)度的增加會(huì)導(dǎo)致模型捕獲長(zhǎng)距離信息能力降低。其次，訓(xùn)練的數(shù)據(jù)集中有很多與視頻無關(guān)的彈幕評(píng)論，其對(duì)生成新的彈幕評(píng)論產(chǎn)生了影響，現(xiàn)有的處理方案是直接對(duì)數(shù)據(jù)集進(jìn)行過濾或者不對(duì)其進(jìn)行處理，前者忽略了真實(shí)的使用環(huán)境，后者則影響生成效果。除此之外，現(xiàn)有方案設(shè)計(jì)時(shí)均只針對(duì)固定視頻長(zhǎng)度進(jìn)行設(shè)計(jì)，對(duì)于直播等場(chǎng)景適用性較弱?？傮w來講，利用現(xiàn)有技術(shù)所生成的視頻彈幕評(píng)論，其質(zhì)量有待進(jìn)一步提高。

針對(duì)現(xiàn)有技術(shù)的缺陷和改進(jìn)需求，本發(fā)明提供了一種視頻彈幕生成方法，其目的在于解決視頻彈幕生成方法中Transformer導(dǎo)致長(zhǎng)距離依賴丟失的問題。

為實(shí)現(xiàn)上述目的，按照本發(fā)明的一個(gè)方面，提供了一種視頻彈幕生成方法，包括：

采用已訓(xùn)練的視頻彈幕生成模型生成視頻彈幕，視頻彈幕生成模型的生成方式為：利用分段匹配映射機(jī)制，對(duì)視頻進(jìn)行分段，并組合每段視頻及其相同時(shí)間段內(nèi)的各個(gè)彈幕；使用預(yù)訓(xùn)練模型對(duì)視頻和彈幕進(jìn)行特征提取，最終得到每個(gè)視頻彈幕組合的特征信息；通過外部存儲(chǔ)單元獲取歷史視頻彈幕組合信息，使用堆疊的注意力層，對(duì)當(dāng)前視頻彈幕組合的特征信息和歷史視頻彈幕組合信息進(jìn)行特征融合，得到融合的模態(tài)特征；對(duì)歷史視頻彈幕組合信息更新，將更新的歷史視頻彈幕組合信息更新到外部存儲(chǔ)單元中；同時(shí)，根據(jù)每個(gè)時(shí)間段對(duì)應(yīng)的融合的模態(tài)特征，通過解碼器以及概率生成器生成該時(shí)間段的視頻彈幕評(píng)論。

本發(fā)明的優(yōu)點(diǎn)：

(1)本發(fā)明提出了一個(gè)端到端的視頻彈幕(評(píng)論)生成模型，用戶可以輸入原始的視頻以及視頻周圍的文本，模型通過分段特征提取、特征編碼、視頻彈幕生成計(jì)算后，得到新生成的彈幕。本發(fā)明通過引入分段機(jī)制與記憶單元，解決了使用Transformer結(jié)構(gòu)只能處理固定長(zhǎng)度上下文、自注意力機(jī)制計(jì)算量大、使用靜態(tài)位置編碼造成長(zhǎng)距離信息丟失的問題，提高了視頻彈幕評(píng)論生成模型在不同應(yīng)用場(chǎng)景下的適用性，且有效提高了所生成的彈幕評(píng)論的質(zhì)量。另外，本發(fā)明所提出的分段匹配映射機(jī)制，可以有效降低輸入模型的信息量，并使模型可以處理不同長(zhǎng)度的輸入數(shù)據(jù)，對(duì)直播等流媒體場(chǎng)景適應(yīng)性更強(qiáng)，同時(shí)也可以引入本機(jī)制來批量生成彈幕評(píng)論。

 (2)本發(fā)明還設(shè)計(jì)了文本過濾環(huán)節(jié)，通過計(jì)算視頻與文本之間的多重相似度矩陣來提高文本信息的利用效果，有效的解決了輸入的彈幕文本信息冗雜的問題，提高了所生成的彈幕評(píng)論的質(zhì)量。

(3)基于視頻彈幕(評(píng)論)生成模型的工作方式，其引入分段機(jī)制，因此視頻彈幕(評(píng)論)生成模型的訓(xùn)練是一種密集評(píng)論生成訓(xùn)練模式，且通過在模型運(yùn)算時(shí)增加中間層損失來在模型的計(jì)算過程中指導(dǎo)模型進(jìn)行多模態(tài)信息融合，有效降低了模型的訓(xùn)練時(shí)間，提高了模型訓(xùn)練達(dá)到的最終效果。提高視頻彈幕評(píng)論生成模型在不同應(yīng)用場(chǎng)景下的適用性，提高了自動(dòng)生成視頻彈幕評(píng)論的質(zhì)量。