Reading:Precision Timing in Human-Robot Interaction:Coordinaton of Head Movement and Utterance

Precision Timing in Human-Robot Interaction:
Coordination of Head Movement and Utterance
Akiko Yamazaki, Keiichi Yamazaki, Yoshinori Kuno, Matthew Burdelski,
Michie Kawashima, Hideaki Kuzuoka
Future University-Hakodate
116-2 Kamedanakano-cho, Hakodate, Hokkaido, Japan
aamt0789@aol.com
Saitama University
255 Shimo-Okubo, Sakura-ku, Saitama, Japan
{yamakei, kuno}@mail.saitama-u.ac.jp

ABSTRACT
過去幾十年來的研究已經表明非言語行為，如在人際互動中臉部和頭部運動扮演關鍵的角色，這些資源也可能扮演重要角色在人類與機器人的互動。在開發機器人系統，使用具體化的資源就像臉部和頭部運動，我們不能簡單地規劃機器人隨機移動，而是我們需要考慮如何採取這些動作，使得在時間上有重要關鍵點的交談。本文討論我們的工作在發展中，國家博物館指南機器人，它的頭部動作在互動地重要關鍵點的期間內，解釋這次的展覽。為了繼續進行，我們首先訪查了協調言語和非言語行為在人類導引與遊客的互動。藉由本文的基礎分析上，我們制定了一個機器人，將頭部互動地重要關鍵點的交談。然後，我們進行了多次實驗，研究人類參與者的非言語反應，與機器人的點頭和注視轉動方向。我們的研究結果表示，參與者很可能會顯示非言語行為，當機器人將頭部和注視在互動地重要關鍵點，比機器人轉動頭部但沒有互動地重要關鍵點，去做出精確計時。基於這些發現，我們提出若干建議設計指導機器人。

Keywords
Non-verbal actions(非言語行為), conversation analysis(會話分析), guide robot(引導機器人), human-robot interaction.(人與機器人的互動)
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
一、問題背景
在各種情況下，解釋事物最重要的是「溝通 」，尤其是特別重要的場合，如博物館和展覽。當解釋事物時，人類會使用語言和非語言行動的協調。為了發展機器人，可以為人類解釋事物，我們必須考慮到這種「協調」。因此發展了引導機器人，可以解釋事物（如圖片，藝術作品）。特別是，在本文中將會針對「頭的轉動」和「目光的凝視」。在最後結果的應用，不僅對博物館中的引導機器人，可與人的互動有更好的協調，而且在其他機器人的領域中「解釋」也是必要的。

二、該文獻的影響、貢獻與重要性
　　引導機器人目的是要解釋一個事物，本文建議，機器人非言語行動與對話，更需要具體途徑的協調，有效的方法解決人與機器人的溝通。在本文中，我們借鑒這些成果實驗的方式，做為人類與機器人之間參與非言語反應，當機器人的頭部轉動與目光的協調在「轉換相關地方（ TRPs ）」。TRPs 是在一些地方的說話時，一位發言者與受接者有可能表現出高度的反應。
　　本研究審查人類的反應，面對機器人頭部動作的定時。調查結果顯示如下：

1. 當機器人轉向它的頭部和目光在TRPs （系統模式），參與者更有可能顯示非言語行為（如頭部和目光轉向對機器人），在這種情況相較於，機器人轉向它的頭部不在TRPs （雜亂模式），更能做精確計時。
2. 當機器人轉向它的頭部不在TRPs （雜亂模式），參與者也許反應非言語行為，但是這些頭部轉動的案例是典型的延遲，也很少看到精確計時。
   本文建議，這些結果的發生是因為「轉換相關地方（ TRPs ）」，它重要的資源，是言語和非言語行為之間的計劃和協調，彼此互相關係著。

三、理論基礎與研究工具

　　以前的研究集中在凝視的方向和頭部的位置這兩方面。凝視的方向和頭部的位置(運動)有兩個基本的功能：

1. 顯示個人的方向並且面對著進行談話。
2. 顯示「聽」和「看」的動作。

　　人際互動是雙方言語和非言語的協調，設計一個機器人，可以在這種互動的多符號環境裡，必須要考慮雙方的言語和非言語行為。

(一)觀察引導者與參觀者的互動
　　本文設置二個屬於半實驗案子：

　

　　

　　表一共有136例，顯示在這地點的期間內說明了引導者頭部動作的發生。上述調查結果與實際的互動中，發現在TRP(轉換相關地方)的數據最高，也表代著引導者與遊客有較高度的反應表現。

摘錄一：「韓國瓷磚」引導者與遊客的互動

摘錄二：「泰國照片」引導者與遊客的互動

　　

　　上述的半實驗表明了，人類引導轉向他們的頭部和凝視著遊客做解釋，本文建議人類引導他們言語和非言語行動的協調，最常見在TRPs周圍，因此，頭部和凝視在談論在顯著位置「互動地重要關鍵點」作為規劃，為了檢驗這個問題，進一步與人類參與做初步實驗。

(二)初步實驗博物館的引導機器人
　　本文進行以下兩種情形：

1. 轉動頭部(導引機器人從展覽品當中，轉動它的頭部朝著遊客在TRPs(互動地重要關鍵點)中敘說關鍵字以及直接說明)
2. 沒有轉動頭部(導引機器人沒有轉動它的頭部，而是繼續注視著展覽品)

　　比較兩種情況的研究結果，頭部的轉動對人類而言是一種自然反應，因此，增加頭部轉動在本文實驗中可能不一定有重要的互相影響著。

　　本文規劃兩種解說海報的模式：

1. 系統模式(S型模式)：機器人轉動它的頭部在交談的地方這段期間有重要的互相響著。(例如：TRPs(互動地重要關鍵點)中敘說關鍵字)
   
2. 雜亂模式(U型模式)：機器人轉動它的頭部在交談的地方這段期間沒有重要的互相響著。
   
   當機器人轉動它的頭並朝向參觀者在互動地重要關鍵點上交談，參訪者是可以接受。

一半的參與者接受S型模式一次，另一半的參與者接受U型模式一次。本文在這兩種情況下錄影並分析。

(三)主要實驗
　　為了進一步梳理S-模型與S-模型兩者不同，本文進行了第三次實驗中，並且修改以前的實驗：

1. 參與者和互動地重要關鍵點

　

　2.女性人類的談話
　　本實驗使用人類女性的聲音為主。因為人的聲音可以更準確地傳達韻律以及其他的資訊，也能更有決定性的在互動地重要關鍵點上交談。

　3.站立的位置
　　最終希望機器人擁有視覺系統，能夠識別和配合參訪者的位置，本研究目前正在努力發展這樣的視覺系統。

　　本研究比較S-模式與U-型模式的參與者反應。尤其是「定時」上，可以同時考慮到「何時」以及「如何」與參與者回應。

(四)結果
本文分類參與者的非言語動作，以及機器人頭部轉動，分為以下四個方面。

1. 有凝視/ 有點頭(凝視與點頭)
2. 有凝視/ 沒有點頭(凝視不點頭)
3. 沒有凝視/ 有點頭(點頭沒有凝視)
4. 沒有凝視/ 沒有點頭(沒有凝視，沒有點頭)

　　

　　

　　為了探討不同的S-模式和U-模式能更加密切，本研究分類人類反應朝著機器人頭部分為三類：同步反應、反應遲緩、沒有反應/其他。

(五)詳細分析
　　實驗了頭部的轉動，這些實驗頭部轉動的相關資料案例在S-模式和U-模式。

　　

　　

　　上述調查結果表明，在U-模式中參與者與機器人的頭部轉動沒有互動的顯著。由此可知，重要關鍵點的交談(TRP)是一個結合接受者的反應，它可以提供一種動力去追踪一位發言者的談話，並作出相應的反應。

　　這也建議了，提供非言語行動的形式從目光和點頭，並朝著機器人在重要關鍵點上交談(TRP)，提供動機去聆聽。也就是說，如果參與者不認真聽取了機器人的談話，他將無法預測TRP。這發現了，參與者在S-模式的非語言反應，直到結束機器人的解釋，這證明表示，他們繼續聽著機器人的談話。

四、相似問題的現有成果

　　為什麼我們的機器人的重複相同的動作：無論遊客與機器人之間的反應，機器人將頭部轉向遊客和回到展覽預定點。雖然這是充分研究的影響頭部的姿態，機器人應根據遊客的反應，修改行動，才能用親切及意義的方式來解釋人類的事情。本文認為，有必要說明的重要性，因為精確計時於交談和頭部轉動的引導式機器人，這可能對未來人機互動具有影響力的發展。