站長之家首頁 > 動態 > 網易最新資訊 > 正文

網易推易盾內容審核系統修煉出的鑒黃師“讀心術”

2019-12-21 15:16 · 稿源:雷鋒網

什么是鑒黃師?

在《 2019 網易易盾內容安全智能體系發布會》的現場,主講臺上的大屏幕中展示了這樣一段街拍內容——一名主持人正隨機攔住路人,并向他們逐一詢問上述這一問題:

被問到的第一位“幸運觀眾”是位漂亮的小姐姐,當聽到這個問題,她噗嗤一聲笑了出來,上揚的嘴角似乎蘊含著百般回味。

緊接著,被詢問的是一名清潔工伯伯。聽到這個問題,他將半掛在臉上的口罩重新戴上,支支吾吾回了一句:“這個......是高科技,我只是個清潔工?!?/p>

第三位受訪者,是位年輕氣盛的小哥。當面對美女主持人的提問時,直接羞紅了臉,卻故作鎮定地問道:“除了要看很多......資料,還有啥其他的嗎?原來網易還有這個職位的嗎?(恍然大悟)”

屏幕對面,熙熙攘攘的與會嘉賓對話聲中傳出陣陣嬉笑聲。顯然,這街拍內容是說到心坎里去了......

實際上,在網易易盾內部,鑒黃師這份工作又被稱之為內容審核專員。然而,從事著這份職業的人們,似乎并不像我們想象中那樣,每天過著“快活似神仙”的生活。

其實,內容審核并不像一般人們認為的只有鑒黃這一種。更多時候,他們所面對的是黃色、暴力、涉恐、等高敏感度的信息,更忍受著長期精神和身體上的創傷。然而,內容審核的漫漫長征路這才算剛剛開始。

借助此次大會,網易易盾產品總監饒曉艷向我們分享了她眼中那些內容審核人員的血淚史,并為突破種種人工審核難點推出了全新解決方案——智能內容審核管理系統。

其實,這一系統原本是網易內部使用的內哦讓審核工具,隨著這次發布會的亮相,也意味著該系統將正式對外開放。So,為啥網易易盾要選這個時間開放自己的內容審核管理系統?好不好用、有啥功能......

一塊壓垮人工審核的巨石

人工智能技術的發展,為很多行業帶來便利。面對專一性較強的工作,這類機器在準確度、效率和持久性上完勝人類。

然而,它們偏偏拿內容審核沒轍。

以鑒黃師為例,人工智能的鑒定只能將海量視頻/圖片中的疑似黃色內容篩選出來,它可以將審核范圍從無邊無際中圈出一個范圍,但并不能像人一樣理解每張圖片中內容的準確含義。

試想,一張屁股的圖片,如果整張拿給AI去識別,它準能認出這個少兒不宜。然而,如果我將圖片切成四份并打亂順序呢?如果是人,你那顆機智的大腦會立即還原出這張照片的原貌,而AI不行。

網易易盾CTO朱浩齊稱,隨著內容產量、形態的驟增,黑灰產也在不斷學習和進化。很多時候他們會故意放出一些敏感內容來試探我們的AI審核機制,再在摸清規律后對圖片進行處理。

用網易易盾內容審核系統,修煉出的鑒黃師“讀心術”

用網易易盾內容審核系統,修煉出的鑒黃師“讀心術”

他們試圖將敏感位置做極小面積的覆蓋,或干脆將圖片切割成若干分,并在每張插入一個小的色情圖片......只要與之前的鑒別邏輯不符,很容易騙過機器的眼睛。

解決問題的最簡單辦法,就是上肉眼。

然而,隨著內容生產量的驟增、用戶體驗及負面事件風險提高以及審核標準嚴苛細化,各種各樣非標準化審核管理系統猶如一塊巨石壓得審核工作者喘不過氣。

一方面,在國內,主流的社交媒體平臺的審核人員都達到上千人以上的規模;而在國外,Facebook在自有算法的情況下人工審核團隊達到1. 5 萬人,youtube在谷歌大腦算法支持的情況下同樣在 2018 年審核團隊達到了一萬人。

由此可見,人機協同仍是未來很長一段時間的審核模式。然而,人畢竟不是機器,而是有血有肉的生命。

另一方面,內容商往往希望運營部門保障用戶體驗,不能讓用戶的等待時間過長。盡管人人皆知安全第一,但人工審核勢必難以在這條先審后發搶奪用戶的賽道上取得好成績。

這意味著每天會有大量UGC的內容產生,人工審核與需求量不成正比。

當一目十行已經太少,需求量變成一目百行、一目萬行的時候,對于人工審核又快又準的最低標準便顯得近乎苛刻。

更何況,即使是人工審核,也會遇到對某些內容束手無策的時候。

今年 12 月,Facebook宣布撥款1. 3 億美元建獨立“刪帖法庭”。用小扎的話說,在我們很難憑借一己之力來判斷一個內容是否該被刪除時,除了通過建立一個類似“最高法庭”的機構來決定,我們別無他法(扎克伯格成會邀請美國各界人士加入“刪帖法庭”以保證公正性)。

很多內容的含義并不能用標簽化的方式來判斷,這是人工審核容易犯難的地方,而除了鑒別各類內容,人工審核還不得不應對雜亂無章的審核管理體系,這對于加快人工審核速率沒有一點幫助。

會議現場,某社交平臺的工作人員向雷鋒網透露,自己每天要在三個審核管理平臺進行交替作業:首先是頭像昵稱審核,再者是登錄視頻審核平臺,如果收到舉報還要再登錄一個舉報審核后臺......

有 1000 個產品就有1000+個審核后臺,這種感受,要比你把登了QQ登微信重復上萬遍更崩潰,又何談高效、準確的審核內容呢?

在饒曉艷看來,上述問題的背后體現的是業務需求先行,審核需求處于滯后的現狀。歸根結底,是快速發展的內容平臺、日趨嚴苛的審核標準跟陳舊的審核系統之間的一種矛盾。審核系統沒有專門的設計開發,不會考慮用戶體驗或者效率多少,這正是產生問題的原因所在。

打造人工審核的“助力裝置”

打造全新的審核系統,無異于推到一棟樓重頭再來。

饒曉艷在接受雷鋒網獨家采訪時稱,對技術人員來說,真的沒人希望再做一次審核系統,這意味著以前的審核系統架構要完全推翻,根據新的審核需求重新定義整個系統,從底層重新來過。

然而,今天公布的智能審核管理系統已經是網易易盾對內推出的第三代審核系統了,再加上第一代的審核后臺和第二代的多媒體審核系統,一同刻畫出網易不同階段對內容審核需求的諸多轉變。

早期,這一系統并沒有對外公開的計劃。

但正如上述,在饒曉艷團隊走訪的眾多客戶中,他們聽到了與網易內部需求類似的聲音——審核人員和主管都十分關心審核系統是否能讓業務有更好的審核效率,以及怎樣能幫助節省成本。

基于以上,網易易盾決定將內部使用的這套審核管理工具產品化。至于究竟要打造怎樣的審核系統,細細品味起來側重點則是有點當初微軟打造第一個電腦操作系統的感覺。

面對凌亂、繁雜的各種審核系統,網易易盾一方面希望自己的產品具備高集成度和開放性,另一方面更希望操作、視覺能在審核人員、弱勢群體和無經驗工作者面前體現出極度的界面友好。

那么,它們打算如何實現這些設想呢?

首先,是全面豐富。這是指審核管理系統容納包含音視頻內容、圖片內容和文本內容的全生命周期的審核鏈路。

在此基礎上,加入了極速審核、分類審核、二審模式、質檢審核、全量審核以及部分審核的多選擇,以應對適配不同審核時效、多重審核流程和不同進審核要求。

用網易易盾內容審核系統,修煉出的鑒黃師“讀心術”

其次,是智能高效。是指各個審核邏輯都建立在智能引擎推動的前提之下,這是節省人力成本的關鍵,也是打造友好界面的關鍵(之后會提到)。

一方面,人工智能作為初期的審核工具,依據標簽、模型算法,可以按照審核需求(業務、管理制度等)對內容進行聚列,并自動生成數據報表,以方便人工就單一特征進行定向審核(一般要求審核人員 20 分鐘出帖)。

再者,是輕量靈活。俗話說辦法總比困難多,面對層出不窮的新問題,定制化模塊可以解決針對特有客戶的需求進行專門設計。

然而,原本定義高集成度的審核管理系統,如果再加上無數個定制模塊,這是否會讓整個系統再次變得臃腫不堪呢?

饒曉艷認為,定制化模塊并不意味著只能解決某家企業的單一問題。新的模塊對應的一定是一個群體的共同需求,而隨著市場需求量的不斷增大,該模塊則會直接被并入整個系統當中,畢竟這要比做第四個審核系統來的容易。

最后,是有溫度。

人工審核有多難做?來,看一張圖就能說明所有問題:

要求:請在 10 分鐘內,從以下顯示器的圖片中,找出所有戴毛線帽子未成年小眼睛男性的照片。

讓審核管理系統變得更友好,首先就是做好交互設計。

以審核直播電視墻畫面為例,從產品化角度考慮,一個顯示屏的審核目數越多,越有利于降低成本,提高審核效率,但勢必會造成質量下降。

解決這一問題,易盾團隊首先選擇了幾家內容廠商進行蹲點跟蹤調查,并在百度百科上參考了瀏覽器審核可分辨極限值。

調查結果顯示:正常人的最少可辨視覺閾值約0.5,即針對 22 寸1920* 1080 分辨率的顯示器,人眼在顯示器上可分辨最小像素值范圍為9.81-16.23px,針對 24 寸1920* 1080 分辨率的顯示器,人眼在顯示器上可分辨最小像素值范圍為9.39-15.53px。

最終,得出的結論是——顯示器審核方式下,屏幕可分辨范圍在10-15xp之間,是最小視覺可分辨范圍,也就是說直播視頻審核畫面在 9 路、 12 路和 16 路是最舒適人眼的審核畫面,這在交通監控后臺中十分常見。

然而,面對海量的內容審核需求,這樣的審核路數一定無法滿足需求。對此,更多內容廠商會使用 38 路、 56 路(甚至更高)審核的畫面。那么,該如何實現人工審核的舒適度與工作效率并駕齊驅呢?

饒曉艷稱,人工智能引擎的應用,可以在多路數顯示器上進行現有畫面的自動審核,并通過提亮顯色對高危、中危等不同程度的內容審核做出提示,以達到對舒適區之外可能遺漏的問題內容進行強提醒。

用網易易盾內容審核系統,修煉出的鑒黃師“讀心術”

但人終究是要休息的,因此在系統中內置定時休息的提醒功能也十分有必要,這不光可以對審核人員起到保護作用,更有利于保障審核工作的常效執行。

其次,是趣味化。正如開篇提到的,審核內容并不像一般人們認為的只有鑒黃這一種。更多時候,他們所面對的是黃色、暴力、涉恐等高敏感度的信息。

為了達到適當調節審核人員精神的目的,該系統加入了勛章體系、積分體系和夢想體系,以此達到讓評比、排名等高競爭力的信息的顯示方式更加趣味化,促進人員成長體系的完善。

最后,網易易盾認為內容審核系統的升級,不光是品牌驅動、產品需求的剛性體現,更應該滿足社會需求。因此,該系統內置了無障礙輔助設計,可以支持殘障人士完成審核任務。

目前,網易易盾面向未來的第三代智能審核系統1. 0 版本已經上線,未來將會以一周一迭代的速度進行持續更新。

花絮

大會之后,雷鋒網對饒曉艷進行了簡單專訪,以下為對話整理:

1、為什么審核管理系統的功能會在最后落實到“有溫度”這塊?

饒曉艷:體驗舒適為導向,一方面來自于對人工審核性質的考慮,更多的還是基于客戶的需求推動。在我們與客戶的交流過程中,審核人員的身體、心理健康程度是直接影響審核結果和收益的重要組成部分。

未來,我們還將為無障礙輔助系統加入例如多語言切換等各種新的功能支持,以降低內容審核的成本。

2、您剛才有提到小扎建立“刪帖法庭”的事情,在國內有類似的機構嗎?如果各界人士都參與其中,這是否會成為新的節省人工的解決方案?

饒曉艷:首先,在國內網易易盾發起了內容安全聯盟,其作用是當某產品的用戶對內容進行投訴,但并沒有得到任何的回應,這時該用戶可以轉訴給內容安全聯盟,并由其聯盟成員對該內容是否違規進行判斷。

這種模式,并不能減緩廠商對于人工審核的大量需求。

第三方聯盟的存在,主要是為了處理一些爭議性較強的內容,其不保證及時性。對于內容廠商來說,快速、高效、準確、合規是內容審核的最大難點,“刪帖法庭”的類似機構并不能有效解決這些問題。

即使啟用了第三方審核,也能達到審核的相應標準,那這種服務一定是走付費標準的,不會從解決紛爭的角度來處理這件事,這會增加廠商的審核成本。

3、一般視頻、圖片和文本不同方向的客戶,哪一個在內容審核時需要的人力成本更高?

饒曉艷:這個沒有辦法以一概全。從審核效率來衡量,圖片、視頻的審核效率要高于文本,視頻、圖片的審核,歸根結底都是圖片的審核。相比文本審核,視頻、圖片的審核速度會高 1 倍多。

其主要原因在于審核方式的不同,圖片的審核,在AI的加成下可以根據其特征、類型和內容導向做到批量審核,盡管文本也可以做聚類分析,但更需要人眼逐字逐句看過并參悟其含義,一目幾百行的情況是不存在的。

  • 相關推薦
  • 大家在看
  • 網易云音樂戰略投資AI音樂公司“AIVA” 共同開發AI音樂引擎

    近日,網易云音樂宣布,戰略投資AI音樂公司“AIVA”,雙方將結合人工智能技術在AI輔助音樂創作領域展開深度合作。接下來,網易云音樂和AIVA將共同開發面向中國音樂人的AI音樂引擎,輔助音樂人進行創作。

  • 外媒:網易云音樂170萬美元戰略投資AI音樂公司AIVA

    6月22日消息,據國外媒體報道,隨著技術的發展和產業的重視,人工智能技術已深入到了越來越多的領域,音樂領域也不例外,網易云音樂就戰略投資了一家AI音樂公司。從外媒的報道來看,網易云音樂戰略投資的,是AI音樂初創公司AIVA,他們向這一公司戰略投資了170萬美元。AIVA總部位于盧森堡,成立于2016年,還不到4年的時間,是一家不折不扣的初創公司。AIVA由Denis Shtefan、Pierre Barreau和Vincent Barreau三人聯合創?

  • 網易長青法則

    5 月 29 日,網易創始人、CEO丁磊發出上市 20 年來第一封致股東信,不僅首次證實赴港二次上市計劃,還逐一回應外界對網易戰略、速度和邊界長期以來的疑惑。

  • 將“網易”帶回中國,網易確認回港上市!老虎證券打新通道即將開啟

    “我們正準備在香港二次上市,將「網易」這個久經時間考驗的品牌帶回中國?!?5 月 29 日午間,坊間傳聞已久將回港上市的網易終于向外界正式確認了這一消息。據港交所文件顯示,網易已通過聆訊,不過該資料集并未披露上市預期時間表和計劃招股價格等信息。知名美港股券商老虎證券即將開啟線上申購通道,支持散戶打新。全球第二大移動游戲公司 多元化業務布局優勢凸顯1997 年創立的網易如今已走過了第 23 年,以中文門戶網站起家的?

  • 港交所vs網易:誰更需要誰?

    中概股二次上市已從暗涌走向明潮。6 月 11 日,網易正式在港交所掛牌上市,成為 2020 年迄今為止港交所規模最大的新股發行。在招股階段,港股市場展現出充分熱情,網易最終錄得認購360. 53 倍。上市當天,網易高開8.33%,收盤價報 130 港元,總市值約 4500 億港元。

  • 網易披露招股書

    昨日,網易在港交所發布公告稱,啟動香港首次公開發行,代碼為“9999.HK”。預計招股日期為 6 月 2 日- 5 日,上市日期為 6 月 11 日,擬在香港公開發行1. 71 億股,發行價上限為每股 126 港元。

  • 京東與網易已通過港交所上市聆訊

    據彭博社報道,目前,京東與網易已向香港交易所提交上市申請,且通過上市聆訊。

  • 考拉海購已從網易數據中心、網易云遷移至阿里云

    今日,考拉海購宣布,已經完成從網易數據中心、網易云向阿里云的100%遷移工作。遷移完成后,考拉海購每年將節省成本近 2000 萬元,同時計算性能提升20%。

  • 華米科技AI創新大會今日開幕,共同見證AI解構健康未來

    2020年 6 月 15 日消息,今天下午,全球領先的智能可穿戴公司華米科技(NYSE:HMI)將于中國合肥舉行首屆AI創新大會,本屆AI創新大會以「AI to Decode Future」為主題,將與全球 AI 領域專家一道,規劃 AI 與健康結合的新藍圖,用 AI 解構未來,讓科技連接健康。一直以來,華米科技在探索 AI 的路上從未止步,并在人工智能領域取得一定的技術積累。2017 年,華米科技成立人工智能實驗室,啟動人工智能可穿戴芯片研發,并將目標鎖定?

  • 網易香港二次上市,網易郵箱匠心23年詮釋“熱愛的力量”

    20 年前,丁磊在納克達斯第一次敲鐘,網易水漲船高成為首批在美上市的中概股之一。 20 年后,伴隨著一封題為《相信熱愛的力量》的致股東信發布,網易正式踏出了赴港二次上市的腳步??v觀網易成立至今走過的路,網易郵箱、網易云音樂、有道精品課等等,所有業務的起源都帶了一絲偶然的因素,卻又成功完成了超越,在各個領域留下了不少精品。相信人的力量、相信時間的力量以及相信信念的力量,讓網易迸發出了驚人的潛能?;仡檨頃r路?

  • 聯發科獨立AI處理器APU3.0,手機AI應用的原動力

    近年來,手機在語音助手、AI拍照、視頻優化、VR/AR游戲等方面的AI應用快速發展,手機想要實現這些AI應用,需要芯片提供足夠強大的AI算力和低功耗效能,因此手機芯片廠商紛紛在SoC中加入了獨立的人工智能處理器,用于專門進行AI運算。例如聯發科的天璣系列5G芯片,無論是主打高端市場的天璣 1000 系列,還是主打中高端市場的天璣 800 系列,都搭載了聯發科自研的獨立AI處理器 APU 3.0。早在 2018 年,聯發科就開始將獨立AI處理器內?

  • Gravitylink推出鈦靈AI市場,深入解決行業痛點,加速AI落地應用

    隨著科學技術的發展,人工智能已滲透在城市的各個角落和生活的方方面面。在算力和算法技術發展迅猛的同時,人工智能行業又面臨應用場景不明確、算法碎片化、研發成本極高等諸多市場挑戰,難以落地實際應用場景之中。 可見,要深入解決行業痛點,加速AI落地應用是所有AI行業都應思考的問題。深圳時空引力科技有限公司(簡稱Gravitylink)致力于為全球開發者搭建AI模型交易服務平臺,打通AI產業上下游,幫助AI服務商提供展示和交易?

  • 小米ai通話介紹 小米MIUI12怎么設置ai接電話功能

    小米日前推出了全新的 MIUI 12 系統,小米宣布小米 AI 電話助理經過半年測試,已為內測發燒友們接聽了 400 萬個電話,廣受好評。AI 電話助理將正式升級為 AI 通話!用戶可以自定義開場語、自由切換自動應答或手動回復,還可以定向自動接聽,再也不用在意騷擾電話以下是 MIUI12 AI通話功能使用教程,感興趣的小伙伴一起來看看吧。

  • “實戰派”網易嚴選,用直播突圍

    6 月 11 日晚 8 點,網易CEO丁磊在網易嚴選App和快手平臺同時直播,為網易嚴選站臺帶貨。這場原本定義為“不賺錢,圖個樂”的直播, 4 小時雙平臺成交額超 7200 萬,累計在線觀看人數突破 1600 萬,最高同時在線 100 萬人,成交訂單超過 20 萬。一場CEO直播,讓網易嚴選成為了各大媒體的關注焦點,在電商直播大戰中成功突圍。沒有比CEO丁磊更合適的主播人選進軍電商直播,是網易嚴選 2020 年業務發展的重點發力方向。2020 年 4 月?

  • 網易披露招股書 網易官宣二次上市招股書全文下載

    按照香港公開發售及國際發售每股發售股份 126 港元的指示性發售價計算,經扣除預計承銷費及我們應付的預計發售開支后,假設超額配股權未被行使,估計自全球發售募集資金凈額約為212. 8 億港元;假設超額配股權全部被行使,則約為244. 9 億港元。

  • 華米科技AI創新大會圓滿落幕,AI解構可穿戴未來

    2020 年 6 月 15 日,全球領先的華米科技(NYSE:HMI)首屆AI創新大會于安徽合肥順利舉行,本場大會緊緊圍繞著「AI to Decode Future」的主題,闡述了AI與健康產業未來的關系,并發布了新一代智能可穿戴芯片“黃山2號”、新一代PPG?物追蹤光學傳感器BioTracker? 2及一系列全新的?體數據AI算法?華米科技在本屆AI創新大會之前,就已經通過“黃山1號”芯片,PPG?物追蹤光學傳感器BioTracker?以及RealBeats?生物數據引擎為用戶在健康方?

  • 醫療AI臨床驗證大勢所趨,深透醫療引領影像AI全球全產業鏈落地

    新冠疫情的席卷下,不少國家將公共衛生安全上升到國家戰略的高度,全球的AI醫療產業也在全面加速。就在最近,深透醫療的PET醫學影像臨床研究被 2020 年全球核醫學與分子影像學會(SNMMI)年會選為全員會議(Plenary Lecture)的亮點研究(feature study)。此次研究與上海第九人民醫院合作進行,將由哈佛影像中心的主任Georges El Fakhri在會上作宣講。今年的SNMMI年會將于 7 月舉辦,SNMMI年會是世界核醫學和分子成像領域首屈一指的科研

  • 網易首日打新獲41倍超購

    網易(09999-HK)首日招股獲多家券商合共借出逾272億港元融資額,相當于公開發售超購41倍,而國際配售據悉也獲超購。

  • 網易CEO丁磊6月11日晚8點將在快手直播帶貨 產品來自網易嚴選

    今日,網易CEO丁磊正式在快手注冊了個人直播帶貨賬號“丁磊-嚴選直播間”,直播間認證為“網易CEO丁磊直播間”,直播間簡介為“有酒、有肉、有音樂、就差你了”,開播時間為 6 月 11 日晚 8 點。

  • 從終端先行到AI先行,華米科技AI創新大會將帶來可穿戴領域變革?

    6 月 8 日,國內可穿戴行業知名公司華米科技公布了一則重磅消息,將于 6 月 15 日在合肥舉行「AI to Decode Future」AI 創新大會,在這場主題為用AI解構未來的大會上,華米科技將與全球重量級專家們一道就AI領域進行深度探討。過去一年中,AI 領域加快了發展的腳步,從野蠻生長到加速落地、整合,AI 已經開始滲透到生活的方方面面,與之相關的產業也在蓬勃發展。這其中,華米科技憑借在運動健康及可穿戴設備領域上的深耕,開始走?

  • 參與評論
文明上網理性發言,請遵守新聞評論服務協議
街机捕鱼技巧 贵州快3开奖l结果 山东群英会历史开奖结果查询 广东36选7预测 排三跨度走势图带连线 藏宝图45612两肖两码 极速飞艇1分钟选号技巧 网赌一天赢一点现实吗 北京十一选五组选走势图 私募基金配资模式 二分彩规律技巧