Reading:Precision Timing in Human-Robot Interaction:Coordinaton of Head Movement and Utterance

Precision Timing in Human-Robot Interaction:
Coordination of Head Movement and Utterance
Akiko Yamazaki, Keiichi Yamazaki, Yoshinori Kuno, Matthew Burdelski,
Michie Kawashima, Hideaki Kuzuoka
Future University-Hakodate
116-2 Kamedanakano-cho, Hakodate, Hokkaido, Japan
aamt0789@aol.com
Saitama University
255 Shimo-Okubo, Sakura-ku, Saitama, Japan
{yamakei, kuno}@mail.saitama-u.ac.jp

ABSTRACT
過去幾十年來的研究已經表明非言語行為，如在人際互動中臉部和頭部運動扮演關鍵的角色，這些資源也可能扮演重要角色在人類與機器人的互動。在開發機器人系統，使用具體化的資源就像臉部和頭部運動，我們不能簡單地規劃機器人隨機移動，而是我們需要考慮如何採取這些動作，使得在時間上有重要關鍵點的交談。本文討論我們的工作在發展中，國家博物館指南機器人，它的頭部動作在互動地重要關鍵點的期間內，解釋這次的展覽。為了繼續進行，我們首先訪查了協調言語和非言語行為在人類導引與遊客的互動。藉由本文的基礎分析上，我們制定了一個機器人，將頭部互動地重要關鍵點的交談。然後，我們進行了多次實驗，研究人類參與者的非言語反應，與機器人的點頭和注視轉動方向。我們的研究結果表示，參與者很可能會顯示非言語行為，當機器人將頭部和注視在互動地重要關鍵點，比機器人轉動頭部但沒有互動地重要關鍵點，去做出精確計時。基於這些發現，我們提出若干建議設計指導機器人。

Keywords
Non-verbal actions(非言語行為), conversation analysis(會話分析), guide robot(引導機器人), human-robot interaction.(人與機器人的互動)
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
一、問題背景
在各種情況下，解釋事物最重要的是「溝通 」，尤其是特別重要的場合，如博物館和展覽。當解釋事物時，人類會使用語言和非語言行動的協調。為了發展機器人，可以為人類解釋事物，我們必須考慮到這種「協調」。因此發展了引導機器人，可以解釋事物（如圖片，藝術作品）。特別是，在本文中將會針對「頭的轉動」和「目光的凝視」。在最後結果的應用，不僅對博物館中的引導機器人，可與人的互動有更好的協調，而且在其他機器人的領域中「解釋」也是必要的。

二、該文獻的影響、貢獻與重要性
　　引導機器人目的是要解釋一個事物，本文建議，機器人非言語行動與對話，更需要具體途徑的協調，有效的方法解決人與機器人的溝通。在本文中，我們借鑒這些成果實驗的方式，做為人類與機器人之間參與非言語反應，當機器人的頭部轉動與目光的協調在「轉換相關地方（ TRPs ）」。TRPs 是在一些地方的說話時，一位發言者與受接者有可能表現出高度的反應。
　　本研究審查人類的反應，面對機器人頭部動作的定時。調查結果顯示如下：

1. 當機器人轉向它的頭部和目光在TRPs （系統模式），參與者更有可能顯示非言語行為（如頭部和目光轉向對機器人），在這種情況相較於，機器人轉向它的頭部不在TRPs （雜亂模式），更能做精確計時。
2. 當機器人轉向它的頭部不在TRPs （雜亂模式），參與者也許反應非言語行為，但是這些頭部轉動的案例是典型的延遲，也很少看到精確計時。
   本文建議，這些結果的發生是因為「轉換相關地方（ TRPs ）」，它重要的資源，是言語和非言語行為之間的計劃和協調，彼此互相關係著。

三、理論基礎與研究工具

　　以前的研究集中在凝視的方向和頭部的位置這兩方面。凝視的方向和頭部的位置(運動)有兩個基本的功能：

1. 顯示個人的方向並且面對著進行談話。
2. 顯示「聽」和「看」的動作。

　　人際互動是雙方言語和非言語的協調，設計一個機器人，可以在這種互動的多符號環境裡，必須要考慮雙方的言語和非言語行為。

(一)觀察引導者與參觀者的互動
　　本文設置二個屬於半實驗案子：

　

　　

　　表一共有136例，顯示在這地點的期間內說明了引導者頭部動作的發生。上述調查結果與實際的互動中，發現在TRP(轉換相關地方)的數據最高，也表代著引導者與遊客有較高度的反應表現。

摘錄一：「韓國瓷磚」引導者與遊客的互動

摘錄二：「泰國照片」引導者與遊客的互動

　　

　　上述的半實驗表明了，人類引導轉向他們的頭部和凝視著遊客做解釋，本文建議人類引導他們言語和非言語行動的協調，最常見在TRPs周圍，因此，頭部和凝視在談論在顯著位置「互動地重要關鍵點」作為規劃，為了檢驗這個問題，進一步與人類參與做初步實驗。

(二)初步實驗博物館的引導機器人
　　本文進行以下兩種情形：

1. 轉動頭部(導引機器人從展覽品當中，轉動它的頭部朝著遊客在TRPs(互動地重要關鍵點)中敘說關鍵字以及直接說明)
2. 沒有轉動頭部(導引機器人沒有轉動它的頭部，而是繼續注視著展覽品)

　　比較兩種情況的研究結果，頭部的轉動對人類而言是一種自然反應，因此，增加頭部轉動在本文實驗中可能不一定有重要的互相影響著。

　　本文規劃兩種解說海報的模式：

1. 系統模式(S型模式)：機器人轉動它的頭部在交談的地方這段期間有重要的互相響著。(例如：TRPs(互動地重要關鍵點)中敘說關鍵字)
   
2. 雜亂模式(U型模式)：機器人轉動它的頭部在交談的地方這段期間沒有重要的互相響著。
   
   當機器人轉動它的頭並朝向參觀者在互動地重要關鍵點上交談，參訪者是可以接受。

一半的參與者接受S型模式一次，另一半的參與者接受U型模式一次。本文在這兩種情況下錄影並分析。

(三)主要實驗
　　為了進一步梳理S-模型與S-模型兩者不同，本文進行了第三次實驗中，並且修改以前的實驗：

1. 參與者和互動地重要關鍵點

　

　2.女性人類的談話
　　本實驗使用人類女性的聲音為主。因為人的聲音可以更準確地傳達韻律以及其他的資訊，也能更有決定性的在互動地重要關鍵點上交談。

　3.站立的位置
　　最終希望機器人擁有視覺系統，能夠識別和配合參訪者的位置，本研究目前正在努力發展這樣的視覺系統。

　　本研究比較S-模式與U-型模式的參與者反應。尤其是「定時」上，可以同時考慮到「何時」以及「如何」與參與者回應。

(四)結果
本文分類參與者的非言語動作，以及機器人頭部轉動，分為以下四個方面。

1. 有凝視/ 有點頭(凝視與點頭)
2. 有凝視/ 沒有點頭(凝視不點頭)
3. 沒有凝視/ 有點頭(點頭沒有凝視)
4. 沒有凝視/ 沒有點頭(沒有凝視，沒有點頭)

　　

　　

　　為了探討不同的S-模式和U-模式能更加密切，本研究分類人類反應朝著機器人頭部分為三類：同步反應、反應遲緩、沒有反應/其他。

(五)詳細分析
　　實驗了頭部的轉動，這些實驗頭部轉動的相關資料案例在S-模式和U-模式。

　　

　　

　　上述調查結果表明，在U-模式中參與者與機器人的頭部轉動沒有互動的顯著。由此可知，重要關鍵點的交談(TRP)是一個結合接受者的反應，它可以提供一種動力去追踪一位發言者的談話，並作出相應的反應。

　　這也建議了，提供非言語行動的形式從目光和點頭，並朝著機器人在重要關鍵點上交談(TRP)，提供動機去聆聽。也就是說，如果參與者不認真聽取了機器人的談話，他將無法預測TRP。這發現了，參與者在S-模式的非語言反應，直到結束機器人的解釋，這證明表示，他們繼續聽著機器人的談話。

四、相似問題的現有成果

　　為什麼我們的機器人的重複相同的動作：無論遊客與機器人之間的反應，機器人將頭部轉向遊客和回到展覽預定點。雖然這是充分研究的影響頭部的姿態，機器人應根據遊客的反應，修改行動，才能用親切及意義的方式來解釋人類的事情。本文認為，有必要說明的重要性，因為精確計時於交談和頭部轉動的引導式機器人，這可能對未來人機互動具有影響力的發展。

<智慧生活-社會化觀點!>心得與反思

　　在這次演講中，鄧怡莘教授所提到人們生活周遭的產品或場所慢慢的被侵蝕和擴增，也代表了生活周遭充滿了無所不在的計算，甚致嵌入生活中的產品，它們被隱藏著，讓人們沒有直接肉眼地看見，而它們的存在是為了讓生活更聰明、更便利，也漸漸地覺得電腦是社會成員，缺一不可。
　　但也慢慢地產生科學與人文之間兩種文化的差異，就像演講中所舉到的「老人公寓」，老人每天觀察溫度計並定時與管理員需求開暖器，但科技要融入生活裡，解決問題，帶給老人便利、輕鬆，但他們卻是反對，理由就是他們想與人互動，若是全部都交給科技去做，就很少有機會與人互動。
　　因此，我認為「社交行為」可以幫助這方面問題的產生，就像「馬克杯」的例子，當某人去某地買了馬克杯，帶來學校時，他周遭的朋友與他所談都是馬克杯的事情，也開起了話題，這就是增進人與人互動最好的方式。
　　而我們都是屬於設計師的一分子，應該要跳離設計師的角色，轉換社會學、心理學、人類學的角度，來觀察人與人的相處、他們的需求是什麼?而不是一昧的把任何產品變得聰明，當這個社會環境、產品都被電腦主宰，也許也帶來便利，但人們卻會想要有社交互動，增進人與人之間的情感，因此我們更要重視「社交行為」，「如何做媒介(人與人、人與物)的設計師?」其實就是要觀察人們的需求或是興趣而產生的社交行為，並且要了解人與人互動的困難點在哪?利用媒介、平台來增進人與人的互動。

參訪工業技術研究院南分院

參訪地點：工業技術研究院南分院
參訪目地：了解工研院已具開發的知識與技術，藉由這次的參訪讓我們對年底的工作坊更有具體的概念與應用的技術，擴增我們對互動設計的眼界，並起發我們的創作靈感。
-------------------------------------------------------------------------------------------------

工研院的理念與願景

　　人機互動科技中心秉持「以人為本，電腦為輔」的理念，專注於人的肢體動作與情感互動的科技研發，並且不斷從使用者的角度思考、設計、實現更直覺的電腦互動介面，並且為了實現「健康」、「運動」和「娛樂」的產品概念，現更將肢體動作辨識技術應用於視訊遊戲的互動控制，並且跨領域整合醫學工程的知識與技術，帶動健康生活科技的創新產業。

工研院的技術研發與應用

1. 開發肢體動作辨識、手勢辨識、臉部辨識追蹤、手寫軌跡辨識等視訊動作辨識 技術，應用於數位遊戲、數位學習、網路多媒體等產業。
2. 開發情感辨識、情感擬真塑模、運動情緒辨識等情感運算技術，應用於互動玩具、健身器材等產業。
3. 整合動作擷取、生物力學分析、ICT運動生理監測與分析、體適能運動處方、虛擬教練等技術於健身中心、健康管理、運動指導等產業。

以下介紹工研院所開發的互動設計（由我接觸並了解的互動設計作品來說明）

一、手勢滑鼠(Gesture Mouse)
　　使用最靈巧的雙手，直覺式的控制複雜而精密的手勢運動，以手勢主宰你的電腦視窗介面操作；以手勢操作非接觸控制的儀器設備，輕鬆執行各種操控。

原型特色：

1. 可以利用手指快速移動桌面指標。
2. 結合指尖辨識功能，展現開啟、關閉、次選項、上下快速捲動等滑鼠功能，輕鬆執行各種命令。
3. 影像背景複雜不影響手勢辨識速度與準確度。

原型規格：

1. 手勢辨識可達30 fps 。
2. 適用任何web-camera 。

關鍵技術：

1. 指尖辨識技術。
2. 膚色偵測技術。
3. 影像特徵辨識技術

創新應用：

1. 醫療環境抗污非接觸操作。
2. 工業機具操作探制。
3. 商業互動廣告。
4. 互動遊戲產品。

手勢操作：

小結：當我在操作這個介面時，發現如果沒有解說員在我身邊解說手部姿勢時，我會不知道要用什麼手勢，才能操作這個介面。也就是說，若沒有告訴我這三個手勢的訊息，我會嘗試著用不同的手勢，但會發現介面怎麼都沒有動靜，此因，我就會充滿了疑惑。


二、肢體動作辦識模擬飛行(Flying Simulation)
　　摸擬飛行乃是以投影機在牆壁上投影一個逼真的3D城市觀景畫面，玩家不需穿戴任何裝置，透過肢體動作辦識，以第一人稱之式控制視角之移動，人物之前進，使體驗者感受在城市飛行的樂趣。
特性：

1. 即時且直覺得互動表示方式 。
2. 不需穿戴任何感測裝置 。
3. 輪入裝置採用單一家用攝影機 。
4. 肢體語意操控介面 ：
   (1) 可表達含16種以上的語意組合。
   (2) 部份語意可獨立於複雜背景 。
   技術應用：
   1. 多媒體互動廣告產品。
   2. 互動裝置藝術產品 。
   3. 立體動畫遊戲產品。

小結：在「肢體動作辦識模擬飛行」裡，我用直覺的肢體行為來想像我是一隻鳥，用我的身體平衡來平衡3D城市觀景畫面，可是我發現我是個平衡感不好的人，一直在撞到城市裡的建築物，不然就是動不了，呵呵！不過玩久了，還真的會頭暈。如果肢體動作辦識能夠用身體全身，包含腿部以及可以走動（而不是在定位於某點）的話，我想，人類肢體行為可以更融入此作品，互動效果也會更好。

三、影像式互動系統夢幻足球(Image Interactive System-Soccer Game)
　　夢幻足球乃是以投影機在地板上投影一個逼真的足球場，玩家不需穿戴任何裝置，直接進入足球場中就可與影像中的足球互動。
　　本遊戲主要是運用即時影像處理技術，透過CCD攝影機從上方擷取投影機投影的地板畫面，去除掉週邊多餘景物，只留下足球畫面。再以即時性動態人體陰影捕捉技術分析球場畫面資料，分辨球場上那些位置有人進入，由足球場算圖與模擬程式計算並處理人和球的互動，進行虛擬的足球影像互動遊戲。所以每位玩家不需穿戴任何感應器，只要人進入足球場中用腳或頭來踢球、擋球、射門，直接進行一場刺激的足球比賽。

規格‧特性：

1. 影像輪廓辨識可達每秒60張 。
2. 影像辨識解析度可達640*480。
3. 可同時多位玩家進行遊戲 。
4. 不需穿戴任何額外裝置 。

技術應用：

1. 互動展示。
2. 互動廣告。
3. 數位佈景。
4. 互動學習。
5. 大型互動遊戲。

小結：在「影像式互動系統夢幻足球」裡，發現了一個小小的缺失，攝影機只要針測到物體時，並且再做即時影像處理，只要是屬於暗色的物體，就可以有「觸碰」的動作，由此可得，只要是暗色物體，碰觸到足球時，也可以把足球踢走，可見，不一定要用腿部來踢，反而可以用其他的物件來觸碰，此時「足球」的定義就會變的矛盾。

心得：藉由這次的參訪，發現「創意」真的是最大關鍵，技術可以輔助作品，此外，我還發現設計者要觀察人類的行為，並根據大多的人類行為上，做出互動設計的作品，使用者不需要解說員的說明，就得知如何與作品產生互動，總之而知，設計者要必需了解大多數的使用者行為的函意是什麼？再藉由使用者行為表達某個意涵，並與作品上產生了互動的行為。

Paper prototyping

看到老闆在blog所po的Paper prototyping 的資料，也引用了一些相關參考資料，順便收集這方面的相關資訊，以便於之後所需要時，成為有利的工具使用，能更清楚說明整個想法與概念。

• What is Paper prototyping ?
  paper protoying是一種變動的可用性測試，它代表的是使用者在執行現實上的任務工作，可藉由互動方式以文件版本的界面操縱，利用紙張做出電腦中的使用者界面模型，並且使用紙上的界面解釋出該任務的規劃與想法。
• What kinds of interfaces can you prototype?
  幾乎可用於任何類型的人機界面-軟體，網站，手持設備，甚至是硬體。目的是快速得知使用者的回饋，此設計仍然是以紙上的繪圖板。有些紙上的原型是手繪，或是屏幕截圖。
• How is paper prototyping related to usability testing?
  上述定義的紙張原型重疊的可用性測試，但是這兩個概念是不太一樣的。這有可能做出可用性測試在真正的界面，而不僅僅是文件的原型。紙的原型可用於其他目的，而不是可用性測試-某些產品團隊找到它們在產生有益的設計思路，並做出再檢討內部界面。
• What skills do you need?
  有想法、設計出紙上的草圖界面就可以做出一個紙張原型。

參考相關資料：

1.http://www.paperprototyping.com/what.html

2.http://hcyou.blogspot.com/2008/11/paper-prototyping.html

3.http://interactiondesign2008.blogspot.com/2008/06/blog-post.html

4.http://interactiondesign2008.blogspot.com/2008/06/social-interaction-design-in-urban.html

Interaction Jam作品發表與心得

活動名稱：Interaction Jam
活動目地：這次活動是由台灣互動設計研究室，天工開物與台北科技大學創新設計研究所共同舉辦，旨在推動台灣地區互動設計跨領域之研究與設計。這次的活動主題為編舞互動(Choreography): 此設計方法荷蘭TU/Eindhoaven的為Siestke與Overbeeke所提出動作設計如何成為人與物互動的方法，主要在於認識並運用身體裡外的動作，且將之設計於產品之內，使產品能夠經由人們的動作而產生造型，功能與意函上的討論。

-------------------------------------------------------------------------------------------------
一、Interaction Design(not just HCI)
1. 設計是緊密的使用者。
2..使用者和產品之間是溝通的橋梁。
3.不只有單單地功能，也要讓使用者有情感上的感受。



















注意：紅圈是指設計師必須要了解「人類信息處理」，也就是說要了解人們想要什麼東西。

Philippe Starck 提出「設計已死」的論點，竟認為他自己的設計是「沒必要的(unnecessary)」，同時也對於他的設計作品感到丟臉，因為他並不是一位「概念」的創造者，而只是一個「物質」的生產者。除此之外，他還補充說每個人最需要的是”去愛別人的能力”。由此得知，我們應該要好好想一想人們所需要的什麼，我們又如何去設計出能改善人們的需求，而不是去設計出無意義的物質品。


互動設計包含三種要素
Dynamic Quality(動態品質)：
1. 將設計置於一個動態的過程中去整體地考量
2. 動態過程指在使用者在該情境下所會執行的動作或是溝通的行為。

Physical Involvement(物質參與)：
1.指使用者與實體物之間所存在的相互關係
2.例如手握鉛筆時，筆桿的傾斜度，滾動，壓力的回饋，滑動的角度與速度，觸感…都是這些連續動作間所依存的關係。

Expressed Meaning(表達意義)：
1. 指動本具有以及表達出的意義，或是延伸的意義
2. 例如擁抱，當對象是親人或是朋友，所隱含的情感意義(珍惜、包容、緩慢、熱切…)

互動設計實例一 ：Caos
無論如何當接觸Caos， Caos會感到驚嚇。它會猛烈且隨機地退出縮回，最後Caos等待和發現的理由是因為它的恐慌，在恐慌時是斷然地退到靜止的狀況。



















互動設計實例二： emoPhone

探索著溝通感情藉由電話媒體如何表達，發送和接收的情緒是純粹的形，像是旋轉、點頭時，它的動作達成強勁地，他的情緒也消失。emoPhone變成個人的工具，也進行了面對面的溝通。


























二、Briefing on Choreography編舞論

肢體語言是人與人之間最常有的互動，不需要語言，就可以直接透過動作的傳達方式就得知對方想要表達的事物。其中最常用到的肢體語言就是舞蹈，舞蹈動作透過分析可拆為四個構成：時間、空間、主體、力度(能量)。這四個構成都無法被拆解的，而且不管什麼動作姿勢這四個構成必須同時存在著。

1.時間：利用肢體表達方式，再藉由節奏的變換與律動的和諧，在時間上的流動、移轉。

2.空間：利用肢體表達方式，再藉由節奏的變換與律動的和諧，在空間上的流動、移轉。
3.主體：舞蹈伴隨音樂節奏與旋律來抒發主體表現內在情感。
4.力度：而節奏、旋律是體現力度的表現。

三、PEGA產品互動設計
產品一：會發光的牛奶瓶
利用LED光源感應器，來顯示使用者的牛奶瓶目前的水位位置。






























產品二：MSN圖示專屬鍵盤
研發出一個小鍵盤，專門給msn的組群使用，小鍵盤上是msn的icon，可以直接給使用者操作。


















結論，發現上面的例子可得知，藉由產品上的「互動」，可更清楚地表達該產品目前狀況，以提昇使用者的便利，來改善未來的生活。

四、本組作品介紹

◎作品名稱：睡姿情境互動
◎概念構想：觀察人類在12 A.M之後的日常行為，大致分為「活動」與「睡眠」行為兩種。












•利用舞蹈論四個基本元素：時間、空間、主體、力度。來分析此作品
–時間--限定A.M12:00 - A.M4:00à觀察人們的睡眠行為
–空間--人的睡姿與空間的變化à利用不同睡姿投射不同情境
–主體--人的睡姿變化（身體不同的姿式）à不同的睡姿傳達不同的訊息
–力度--抱枕的力度大小à藉由抱枕的力度與情境空間有所互動。


•心理模式
–積極強化(Positive reinforcement)：提供了一個有利的刺激反應做為鼓勵的使用者行為 。
此因，我們利用睡姿來傳達內心的情境與個人特質，給予內心可望的心理需求達到正面的效果，讓使用者能夠提昇睡眠品質。



◎睡姿表達分析


















◎情境配對

























◎應用設備
•床單
–Webcam(判斷睡姿帶入不同的情境)
–顯示器、投影機(把情境投入在四周布幕牆)
–喇叭PC(播出情境的音樂與音效)


•抱枕
–無段式按鈕(判斷是否有壓力)
–滑鼠(用無段式按鈕觸碰事件，結合音效與情境之間的互動)


◎模擬測試





















↑半成品的抱枕與單床



























↑受測者與情境間的互動


五、心得
這次有機會去參加Interaction Jam，收穫真的很大，也學習許多事物，由發想到實做與成果發表的過程中，我用心去驗會舞蹈動作帶給我的互動涵意，以及觀察人類的行為與傳達內容，到實做桿接晶片與程式，以及最後的上台展示作品，我也增廣見聞，遇到一群熱設計的人，和他們對設計的想法與理念等等…，我真的覺得是最美好的經驗，也讓我對互動設計又更了解。