河(he)南省科學院新型(xing)顯示技(ji)術研究所副所長伍世虔在2025中國(guo)國(guo)際(ji)Mini/Micro-LED產業(ye)技(ji)術峰會上發表《人眼(yan)視覺交互技(ji)術》主題(ti)報告。
眼(yan)睛除了被動(dong)接(jie)收信(xin)(xin)號,還(huan)可(ke)以起到操控的(de)(de)(de)作用。人眼(yan)視(shi)覺(jue)很有(you)意(yi)義(yi),在所(suo)有(you)的(de)(de)(de)信(xin)(xin)息接(jie)收里面,視(shi)覺(jue)接(jie)收的(de)(de)(de)信(xin)(xin)息占到一(yi)(yi)個人所(suo)能(neng)夠感知信(xin)(xin)息的(de)(de)(de)80%,所(suo)以如(ru)何利用眼(yan)睛去做一(yi)(yi)些(xie)交(jiao)互,捕捉視(shi)覺(jue)注意(yi)力進而(er)解讀(du)意(yi)圖(tu)是(shi)很有(you)意(yi)義(yi)的(de)(de)(de)。
用(yong)人(ren)眼(yan)(yan)(yan)視(shi)(shi)(shi)覺進行交(jiao)互,常(chang)常(chang)用(yong)到(dao)(dao)的(de)(de)(de)設備叫(jiao)(jiao)眼(yan)(yan)(yan)動儀(yi)(yi)(yi),在眼(yan)(yan)(yan)動儀(yi)(yi)(yi)里面,通(tong)過攝像(xiang)頭(tou)(tou)看(kan)到(dao)(dao)眼(yan)(yan)(yan)睛(jing)(jing),通(tong)過另外一個(ge)(ge)攝像(xiang)頭(tou)(tou)看(kan)到(dao)(dao)場景,那么眼(yan)(yan)(yan)動儀(yi)(yi)(yi)實(shi)際(ji)上核心的(de)(de)(de)工作是(shi)需要(yao)(yao)把眼(yan)(yan)(yan)睛(jing)(jing)在看(kan)場景的(de)(de)(de)哪個(ge)(ge)點(dian),這(zhe)(zhe)個(ge)(ge)關(guan)系(xi)建(jian)立(li)起來,這(zhe)(zhe)是(shi)眼(yan)(yan)(yan)動儀(yi)(yi)(yi)要(yao)(yao)實(shi)現的(de)(de)(de)基本的(de)(de)(de)也(ye)是(shi)最重(zhong)要(yao)(yao)的(de)(de)(de)功能(neng)。這(zhe)(zhe)樣的(de)(de)(de)技術(shu),它的(de)(de)(de)關(guan)鍵(jian)模塊(kuai)、關(guan)鍵(jian)技術(shu)有哪些(xie)?第(di)一個(ge)(ge)是(shi)要(yao)(yao)把眼(yan)(yan)(yan)睛(jing)(jing)找出來,也(ye)就(jiu)是(shi)把瞳孔找到(dao)(dao)。第(di)二(er)步,眼(yan)(yan)(yan)睛(jing)(jing)看(kan)到(dao)(dao)的(de)(de)(de)是(shi)什么,這(zhe)(zhe)個(ge)(ge)叫(jiao)(jiao)凝視(shi)(shi)(shi)點(dian)估(gu)計。瞳孔檢測,以(yi)及凝視(shi)(shi)(shi)點(dian)估(gu)計,這(zhe)(zhe)兩個(ge)(ge)合在一起叫(jiao)(jiao)做眼(yan)(yan)(yan)動追蹤技術(shu)。第(di)三,每個(ge)(ge)人(ren)的(de)(de)(de)人(ren)眼(yan)(yan)(yan),看(kan)東西的(de)(de)(de)習(xi)慣,以(yi)及長(chang)得不(bu)一樣等(deng)因素會導致需要(yao)(yao)求出的(de)(de)(de)眼(yan)(yan)(yan)睛(jing)(jing)跟凝視(shi)(shi)(shi)點(dian)的(de)(de)(de)函(han)數是(shi)不(bu)同(tong)的(de)(de)(de),所以(yi),需要(yao)(yao)做系(xi)統(tong)標定,當把這(zhe)(zhe)樣的(de)(de)(de)系(xi)統(tong)做好了以(yi)后,這(zhe)(zhe)個(ge)(ge)系(xi)統(tong)就(jiu)可以(yi)進行各種(zhong)各樣的(de)(de)(de)交(jiao)互模式。眼(yan)(yan)(yan)動交(jiao)互技術(shu)大(da)概就(jiu)是(shi)由曈孔檢測、凝視(shi)(shi)(shi)點(dian)估(gu)計、系(xi)統(tong)標定、交(jiao)互模式這(zhe)(zhe)幾個(ge)(ge)關(guan)鍵(jian)模塊(kuai)所組成。
接(jie)下來介紹眼(yan)動(dong)交互(hu)系(xi)統相關的(de)技術特點和應(ying)用(yong)。一(yi)般來說,用(yong)眼(yan)動(dong)去做(zuo)一(yi)個(ge)(ge)(ge)應(ying)用(yong)的(de)時候,這個(ge)(ge)(ge)系(xi)統往(wang)往(wang)需(xu)要(yao)有(you)一(yi)個(ge)(ge)(ge)比較強的(de)約束。因此就(jiu)需(xu)要(yao)思(si)考(kao)能(neng)不(bu)(bu)能(neng)把這個(ge)(ge)(ge)約束放小,能(neng)不(bu)(bu)能(neng)走到(dao)在(zai)(zai)(zai)一(yi)種自(zi)然的(de)環境(jing)下,不(bu)(bu)管是在(zai)(zai)(zai)室內還是室外(wai),只(zhi)要(yao)戴(dai)上眼(yan)動(dong)儀就(jiu)可以工作,這是我們要(yao)解(jie)決的(de)問題(ti)。另(ling)外(wai),眼(yan)睛一(yi)動(dong)以后,又(you)要(yao)重新標(biao)定(ding),如果每次用(yong)一(yi)下都要(yao)重新標(biao)定(ding)很麻煩,所以如何使標(biao)定(ding)能(neng)夠顯得很自(zi)然,在(zai)(zai)(zai)使用(yong)過程中做(zuo)到(dao)在(zai)(zai)(zai)線標(biao)定(ding)也是很重要(yao)的(de)工作,這樣系(xi)統才能(neng)好用(yong)。還有(you),現在(zai)(zai)(zai)是三維空間的(de)交互(hu),希望(wang)(wang)實現的(de)是,第(di)一(yi)希望(wang)(wang)在(zai)(zai)(zai)自(zi)然環境(jing)下的(de)眼(yan)動(dong)交互(hu),第(di)二普適場(chang)景下的(de)自(zi)標(biao)定(ding),第(di)三希望(wang)(wang)是三維情境(jing)下的(de)大(da)規模意圖表征與推理。
對(dui)(dui)于(yu)眼(yan)動追蹤系統來(lai)說,要做到魯棒(bang),這個難度(du)很大(da)。魯棒(bang)表現(xian)在兩方面(mian),第(di)一是(shi)對(dui)(dui)于(yu)瞳孔(kong)(kong)(kong)的(de)檢測(ce),瞳孔(kong)(kong)(kong)檢測(ce)經常會(hui)遇到這些問題:眼(yan)睛動,有(you)眉毛(mao)的(de)干擾,還有(you)瞳孔(kong)(kong)(kong)反光會(hui)有(you)光斑點(dian),這些都導致檢測(ce)的(de)時候不夠魯棒(bang)。我們團隊(dui)目(mu)前用到的(de)方法是(shi)在以前所做的(de)人(ren)臉(lian)檢測(ce)工作的(de)基(ji)礎上,再結合人(ren)眼(yan)自身的(de)特(te)點(dian)提出的(de)一套方法。
如(ru)何把凝視的(de)視線估計準?第一是(shi)(shi)做到在(zai)3D環境下,而不(bu)是(shi)(shi)2D;第二是(shi)(shi)要(yao)把瞳孔(kong)(kong)估計得好(hao),用瞳孔(kong)(kong)中心-反光(guang)點(dian)向(xiang)量作為輸入特征,減(jian)少設備滑移影響;在(zai)這(zhe)個基礎上,第三是(shi)(shi)基于真實瞳孔(kong)(kong)軸線方法來進一步(bu)提高精(jing)度,現在(zai)能夠達到的(de)精(jing)度是(shi)(shi)1度左右。
自標定方(fang)面,函數G = F (E ; λ)的(de)(de)估計存在(zai)一個問題,人眼的(de)(de)特(te)征(E)可以(yi)知道,凝(ning)視(shi)點(dian)(G)也(ye)(ye)知道,但(dan)是(shi)λ不知道,這個λ意味(wei)著頭戴設(she)備(bei)的(de)(de)滑(hua)動也(ye)(ye)會變好(hao),所以(yi)需要做(zuo)一個標定。技術怎(zen)么(me)做(zuo)到(dao)?因為F是(shi)非線(xian)性函數,要求λ 很難,那么(me),可以(yi)構(gou)建(jian)新的(de)(de)眼動特(te)征,使其與凝(ning)視(shi)點(dian)存在(zai)線(xian)性關(guan)系(xi),即使眼鏡有(you)滑(hua)移也(ye)(ye)沒關(guan)系(xi),戴著眼鏡看到(dao)的(de)(de)場景就是(shi)標定的(de)(de)過程,因此(ci)可以(yi)做(zuo)到(dao)在(zai)線(xian)自標定。
這個工作目前的(de)應用,一(yi)(yi)是可(ke)以(yi)用眼(yan)動(dong)(dong)做(zuo)成眼(yan)動(dong)(dong)鍵盤;二是做(zuo)成眼(yan)動(dong)(dong)鼠(shu)標(biao)(biao),不(bu)用鼠(shu)標(biao)(biao),通過(guo)眼(yan)動(dong)(dong)來控制;還(huan)(huan)(huan)有眼(yan)控相(xiang)機,眼(yan)睛看(kan)(kan)到(dao)(dao)哪里,相(xiang)機可(ke)以(yi)跟(gen)著;還(huan)(huan)(huan)有手(shou)眼(yan)協調操(cao)控,鍵盤、鼠(shu)標(biao)(biao)完全不(bu)需要,眼(yan)鏡(jing)的(de)操(cao)控能力還(huan)(huan)(huan)差一(yi)(yi)點,通過(guo)眼(yan)鏡(jing)再加上手(shou)就(jiu)(jiu)可(ke)以(yi)完成復雜(za)的(de)功能。可(ke)以(yi)做(zuo)到(dao)(dao)文本閱(yue)讀與翻譯(yi)(yi),即(ji)人在(zai)閱(yue)讀的(de)時候,只要看(kan)(kan)到(dao)(dao)一(yi)(yi)個文字停在(zai)那(nei)里以(yi)后(hou),系統(tong)就(jiu)(jiu)可(ke)以(yi)給出翻譯(yi)(yi)。還(huan)(huan)(huan)有就(jiu)(jiu)是模擬一(yi)(yi)個博物館,只要眼(yan)睛一(yi)(yi)看(kan)(kan)到(dao)(dao)某個東西(xi),系統(tong)就(jiu)(jiu)可(ke)以(yi)介紹這樣東西(xi)。
老(lao)人(ren)(ren)的(de)(de)(de)語言功能差了以后,想看什么眼睛一(yi)(yi)定會動(dong),我(wo)們(men)團隊的(de)(de)(de)工作(zuo)研(yan)究通過追蹤眼睛理解人(ren)(ren)的(de)(de)(de)意圖,然后由機(ji)器人(ren)(ren)來幫(bang)人(ren)(ren)完成。目前(qian)也(ye)在跟一(yi)(yi)家公司合作(zuo),研(yan)究是否能通過眼動(dong)儀(yi)來檢測一(yi)(yi)個人(ren)(ren)的(de)(de)(de)生理健(jian)(jian)康(kang)和(he)心(xin)理健(jian)(jian)康(kang)。還有人(ren)(ren)和(he)機(ji)器結合的(de)(de)(de)老(lao)年(nian)人(ren)(ren)服務系統,團隊也(ye)發表了一(yi)(yi)些(xie)文章和(he)申(shen)請(qing)專利(li)。
關注我們
公(gong)眾號(hao):china_tp
微信名稱:亞威資訊
顯示行業頂級新媒體
掃一掃即可關注我們