新華社“新華視點(diǎn)”記者白佳麗、栗雅婷

近年來，AI技術(shù)在影視領(lǐng)域得到廣泛運(yùn)用，極大地豐富了群眾的文化生活。然而“新華視點(diǎn)”記者近日發(fā)現(xiàn)，一些在青少年中流行的AI動畫產(chǎn)品角色形象怪異、音效陰森、內(nèi)容低俗，有的甚至含有色情、恐怖等元素，引發(fā)家長擔(dān)憂。

這類AI動畫是如何炮制出來的？如何為孩子守好清朗網(wǎng)絡(luò)空間？記者進(jìn)行了走訪調(diào)查。

“變味”的AI動畫防不勝防

“哩哩哩啦哩啦……”天津市民李先生發(fā)現(xiàn)，孩子最近嘴里總是“念念有詞”，查詢后才得知，這是在青少年中爆火的“AI山海經(jīng)”里動畫形象的名字。

“這些‘AI山海經(jīng)’視頻中，不少內(nèi)容形象怪異、背景陰森，毫無情節(jié)和邏輯可言。但孩子看得津津有味，和同學(xué)在一起還會討論這些動畫形象，甚至把里面的內(nèi)容當(dāng)作真正的《山海經(jīng)》故事。”李先生說。

家住山西大同的張女士表示，用視頻App給孩子播放動畫片時(shí)，系統(tǒng)多次推送AI“魔改”的動畫。“本來在看《小馬寶莉》，緊接著開始播放小馬寶莉流淚拉車，被艾莎公主拿鞭子抽打的視頻；想看《天線寶寶》，播出的視頻中卻出現(xiàn)天線寶寶被起重機(jī)壓扁的情節(jié)。”

更有甚者，有的這類AI動畫標(biāo)注著“兒童動畫”的標(biāo)簽，在青少年模式中也可以看到。此外，由于大數(shù)據(jù)的算法設(shè)置，一旦孩子主動或被動地觀看了這類AI動畫，便會被經(jīng)常性推送同類視頻，令人防不勝防。

多位受訪家長擔(dān)憂地表示，許多AI動畫視頻以孩子熟知的經(jīng)典動畫形象為主角，當(dāng)深受孩子信任的角色做出不當(dāng)行為，不僅會給孩子帶來認(rèn)知上的困惑，還可能誘導(dǎo)孩子去模仿。

除了“AI山海經(jīng)”外，此前社交網(wǎng)絡(luò)和短視頻平臺還曾出現(xiàn)《紅樓夢》《西游記》《三國演義》等經(jīng)典著作改編的AI視頻，“林黛玉倒拔垂楊柳”“唐僧手持加特林”等荒誕畫面讓人大跌眼鏡。天津市河西區(qū)德賢小學(xué)校長周瑞認(rèn)為，這類對經(jīng)典作品的歪曲惡搞，可能對正處于三觀塑造階段的青少年帶來負(fù)面影響。

AI視頻不良內(nèi)容的“重災(zāi)區(qū)”

記者調(diào)查發(fā)現(xiàn)，在多個AI內(nèi)容生成平臺，用戶只需上傳簡單的人物形象、輸入文字指令，即可快速生成動態(tài)視頻，電商平臺也存在專門提供動畫定制服務(wù)的商家。社交媒體上，還能看到有關(guān)AI生成大尺度圖片的教學(xué)帖、經(jīng)驗(yàn)帖，其中動畫是AI視頻不良內(nèi)容的“重災(zāi)區(qū)”。

“AI技術(shù)使得制作視頻的成本和門檻大幅降低，為內(nèi)容創(chuàng)作者提供了極大助力，但客觀上也讓更多粗制濫造甚至導(dǎo)向不良的視頻產(chǎn)品進(jìn)入用戶視野。”南開大學(xué)信息與傳播學(xué)院副教授于孟利表示，一些投機(jī)型創(chuàng)作者利用青少年好奇心強(qiáng)的特點(diǎn)，將制作節(jié)奏快、刺激性強(qiáng)的AI動畫當(dāng)作“流量密碼”，不擇手段“博眼球”。

記者在某短視頻平臺上看到，不少內(nèi)容荒誕或含有暴力、軟色情內(nèi)容的AI動畫流量十分可觀，例如某條“奧特曼開著推土機(jī)瘋狂碾壓路面汽車”的動畫點(diǎn)贊量達(dá)到2.6萬次。

據(jù)業(yè)內(nèi)人士透露，創(chuàng)作這類內(nèi)容有多種變現(xiàn)途徑，除了平臺流量分成外，還可以通過售賣盲盒、卡牌等周邊產(chǎn)品，或?qū)⒂脩粢髦了接虻确绞将@利。以“AI山海經(jīng)”為例，已有手辦、玩偶、臨摹繪本等衍生品在電商平臺銷售。

工信部工業(yè)和信息化法治戰(zhàn)略與管理重點(diǎn)實(shí)驗(yàn)室副主任趙精武介紹，對于AI生成的圖片、視頻，平臺通常采取“人工+機(jī)器”的方式進(jìn)行審核，部分平臺會采用數(shù)字技術(shù)工具對圖片視頻內(nèi)容進(jìn)行批量審核，有的平臺還會設(shè)置專門的人工審核團(tuán)隊(duì)，針對用戶投訴舉報(bào)、首頁推薦等顯著位置的網(wǎng)絡(luò)信息內(nèi)容進(jìn)行審核。

這類批量生成的AI動畫視頻，給平臺的監(jiān)管體系帶來挑戰(zhàn)。趙精武表示，現(xiàn)有審核機(jī)制在應(yīng)對隱蔽性強(qiáng)、法律定性模糊的網(wǎng)絡(luò)內(nèi)容時(shí)存在局限，平臺往往難以在短時(shí)間內(nèi)準(zhǔn)確判定其是否屬于違法不良信息。此外，AI生成的視頻、圖像常與普通內(nèi)容混雜，進(jìn)一步增加了識別難度，導(dǎo)致人工審核成本大幅上升。

為孩子營造清朗網(wǎng)絡(luò)空間

當(dāng)AI技術(shù)深度融入社會生活，如何讓其成為孩子成長的好幫手，而不是炮制有害內(nèi)容的幫兇？

2024年發(fā)布的《生成式人工智能服務(wù)安全基本要求》，對生成式人工智能服務(wù)適用未成年人的有關(guān)內(nèi)容作出明確規(guī)定。

2025年4月，中央網(wǎng)信辦開展“清朗·整治AI技術(shù)濫用”專項(xiàng)行動，重點(diǎn)整治內(nèi)容包括利用AI脫衣、AI繪圖等功能生成合成色情內(nèi)容，制作發(fā)布血腥暴力場景，人體扭曲變形、超現(xiàn)實(shí)怪物等恐怖詭譎畫面等。

多位受訪專家建議，進(jìn)一步加強(qiáng)AI生成視頻產(chǎn)業(yè)鏈的監(jiān)管力度，壓實(shí)平臺主體責(zé)任。

趙精武表示，網(wǎng)絡(luò)平臺應(yīng)重點(diǎn)審核面向未成年人群體的AI合成推送信息，設(shè)置專門團(tuán)隊(duì)優(yōu)化未成年人用戶算法推薦服務(wù)，增加優(yōu)質(zhì)網(wǎng)絡(luò)信息內(nèi)容的推送權(quán)重。

在源頭治理方面，于孟利建議，應(yīng)在AI生成工具上強(qiáng)制嵌入不可篡改的數(shù)字水印，從而實(shí)現(xiàn)內(nèi)容的精準(zhǔn)溯源。

“低齡兒童對信息真?zhèn)蔚呐袛嗔^弱，面對AI等新技術(shù)帶來的網(wǎng)絡(luò)信息洪流，家長應(yīng)積極承擔(dān)監(jiān)護(hù)人職責(zé)，成為孩子觀看內(nèi)容的最后一道‘把關(guān)人’。”中國傳媒大學(xué)動畫與數(shù)字藝術(shù)學(xué)院院長王雷說。

天津市安定醫(yī)院兒童青少年心理科病區(qū)主任雷彤表示，學(xué)校和家庭應(yīng)加強(qiáng)未成年人的生命教育等，讓孩子培養(yǎng)正確的價(jià)值觀，抵御不良網(wǎng)絡(luò)內(nèi)容的侵蝕；同時(shí)，加大優(yōu)質(zhì)兒童文化產(chǎn)品的供給。“當(dāng)‘正’的內(nèi)容足夠多、足夠有趣，‘邪’的內(nèi)容自然便沒有了生存空間。”雷彤說。