# Team SOBITS Description for RoboCup Japane Open 2020 Education League

### Abstract
Team SOBITS is compose of students in Choi laboratory of Soka University. We have participated in RoboCup@Home Japan Open annually since 2012 and became a champion of @Home Education League in 2018 Japan Open. In this paper, we describe our robot's system overview and the research applying our robot.

## 1. Introduction
Team SOBITS consists of the members who are master and bachelor students belong to Choi robotics laboratory of Soka university, Hachioji Japan, and we are developing daily-life-service robots is called "SOBIT". We agree "Robotics for Happiness" because we think that robots should exist for supporting human activities.
Team SOBITS has continuously paraticipated in RoboCup @Home Japan Open since 2012. In the first few years, we only took part in Simulation league but we have participated in Education league since 2017. We won the first prize in 2018, and we became the first team which succeeded in the object grasping at the restaurant task in 2019.
Our team is currently working on research on non-verbal communication between humans and robots. Non-verbal communication includes various elements such as gestures and expressions, and among them, we are focusing on visual communication. Therefore, we rebuilt our robot's head and attached two liquid crystal displays to expression the gaze and eyes, and we conducted conversation experiments for 50 subjects in order to evaluate the importance of visual information.
The rest of this paper is organized as follows. In Sec.2, we describe the overview of our robot's head. In Sec.3, we introduce our research focusing on visual communication by robot's eyes. In Sec.4, we state conclusion and future work.

チームSOBITSは、日本の八王子にある創価大学崔ロボット研究室に所属する修士・学士のメンバーで構成されており、日常生活ロボットの開発を行っています。ロボットは人間の活動を支援するために存在すべきだと考え、「幸せのためのロボット工学」に賛同しました。
チームSOBITSは2012年からロボカップ＠ホームジャパンオープンに継続して参加しています。最初の数年間はシミュレーションリーグにしか参加していませんでしたが、2017年からは教育リーグにも参加しています。2018年には優勝し、2019年には飲食店タスクでの物体把持に成功した初のチームとなりました。
現在、私たちのチームでは、人間とロボットの非言語コミュニケーションに関する研究を行っています。非言語コミュニケーションにはジェスチャーや表情など様々な要素が含まれますが、その中でも視覚的なコミュニケーションに注目しています。そこで、ロボットの頭部を再構築し、視線や目を表現するための液晶ディスプレイを2つ取り付け、視覚情報の重要性を評価するために50人の被験者を対象に会話実験を行いました。
本稿の残りの部分は以下のように構成されている。Sec.2では，本研究で開発したロボットの頭部の概要を説明する．Sec.3では，ロボットの目による視覚コミュニケーションに着目した研究を紹介する．第4節では，結論と今後の課題について述べる．

## 2. Robot's Overview
### 2.1 Hardware
The overall image of a robot is shown in Figure○.
We have been developing "sobit_mini", a mobile manipulation robot based on TurtleBot2[turtlebot2] for the Education League since 2017. The design of the body and head follow Robovie-R ver.2[robovie] which we used before 2017 tournament, and it’s currently a mascot for our laboratory and University.
The specifications of the robot are shown in Table○. The robot is equipped with two arms. Two servo motors are attached to the shoulder, one to the elbow, and one to the wrist for opening and closing the gripper. The robot's normal height is about 110 cm, and it can extend up to 150 cm because of elevation mechanism. Therefore, it can be adapted not only for low height furniture used in the Education League but also for high height furniture used in daily life. However, the robot's mechanism has one problem that it can not grasp objects placed on the floor because the arm length is shorter than the body height. Since there is no tasks to grasp or clean up objects on the floor under currently rules of Education league, we ignore the problem.
The robot is equipped with a two-dimensional laser range finder at its feet, which enables it to move autonomously and avoid obstacles using SLAM(Simultaneous Localization and Mapping). The robot's neck is equipped with a pan-tilt, so the robot can swing its head up and down, left and right, to detect objects, to turn its face in the direction of a person. In addition, a microphone is mounted above the robot's RGB-D sensor and a speaker is mounted on the robot's waist, enabled to communicate with people using voice recognition and speech synthesis.
Raspberry Pi mounted on the head executes the process of drawing eyes on the LCD. The connection status between the GPIO pins of Raspberry Pi and display pins is shown in Fig.x.

ロボットの全体像を図○に示します。私達は2017年からエデュケーションリーグ用にTurtleBot2[○]をベースにしたモバイルマニピュレーションロボット、sobit_miniを開発してきました。ボディや頭部のデザインは、2017年大会以前に使っていたRobovie-R ver.2[]を踏襲しており、現在では、研究室や大学のマスコット的な存在になっています。
　ロボットのスペック表を表○に示します。ロボットには2つのアームがついており、サーボモータが肩に２つ、肘に１つ、手首のグリッパーの開閉用に１つ付いています。通常時のロボットの身長は110cm程度ですが、昇降機構を搭載しているので、最大で150cmまで伸びることができます。そのため、エデュケーションで使用される高さが低い家具だけではなく、日常的によく使われる机や棚の高さにも対応しています。なお、床の上においてある物体は掴むことができません。
ロボットの足元に2次元測域センサが搭載されており、SLAM[]を用いた自律移動や障害物回避が可能になっています。物体認識や顔認識用に、ロボットの頭部にRGB-Dセンサを搭載しており、物体認識や距離計測が可能になっています。ロボットの首にはパン・チルト方向に回転可能な関節が取り付けられているので、頭を上下左右に振りながら物体検出を行うことができ、更に人がいる方向に顔を向けることができます。RGB-Dセンサの上にマイク、ロボットの腰部にスピーカを搭載しており、音声認識や音声合成を利用した人とのコミュニケーションが可能になっています。
頭部に設置されているraspberry piがLCDの制御を行います。図[]がGPIOの接続になります。左右のLCDには同じ情報を描画するので、図の用に二股に別れる構造になっています。Raspberry piの電源はTurtleBot本体から持ってきています。

### 2.2 Software

| Name | Version |
|:---: |:---: |
| OS | Ubuntu 16.04 LTS |
| ROS | Kinetic Kame |
| Python | 2.7 |
| C++ Compile | -std=c++11 |
| OpenCV | 3.4.2 |
| Docker | 19.03.13 |

　Our development environment is shown in Table.x. We are using a lot of open source software including ROS(Robot Operating System)[ros]. As our team’s policy, we have developed our software by utilizing open sources which have high quality technology, so it costs low. Our team develop programs based on ROS and every nodes are written in C++ or Python. All source codes and these version are managed with Git.To maintenance develop environment for simplicity, we started to introduce Docker system from this year.
　Figure x shows the relationship between ROS nodes. The laptop which executes main processes is mounted on the waist of the robot, and we mount a Raspberry Pi on the robot's head for running the process of drawing eyes. Since the laptop and Raspberry Pi are connected by a wired network, we can control the drawing process from the laptop side by ROS topic messages. ROS topic messages are shown on Table x.
The eyes are controlled by sending Topic messages to the node on the Raspberry pi that can draw the eye images. The default setting draws a blue eye blinking motion on the LCD(Licuid Crystal Display). The blink is represented by gradually drawing from the top and bottom of the LCD. The node is also possible to move the center of the eye. The RGB-D camera on the head detects faces in real time, and the node shifts the drawing position of the eyes on the LCD according to the detection result, so that the robot can make eye contact with the person. By linking the pan-tilt mechanism of the neck with the eye movement, the robot can face the direction of an approaching person and make a good impression to communicate with the person. In addition, by displaying various icons on the LCD, we can understand the robot's status. An example of an icon is shown in Table ○. For example, by displaying the microphone icon on the LCD, we can understand that the robot is recognizing user's speech, which allows us to communicate more smoothly.

ロボットの開発環境を表○に示します。私達はROSを始めとする多くのオープンソース・ソフトウェアを使用しています。As our team's policy, we have developed our software by utilizing open sources which have high quality technology, so it costs low.
ソフトウェアの開発はROSをベースにしています。各ノードはPythonもしくはc++で記述しており、ソフトウェアの管理はGitlabで行っています。去年までは各自が個人のPCに開発環境を整備していましたが、今年からはDockerを用いて開発を行うようにしました。
　各ノードの構成は図[]のようになります。ロボットの腰部にメイン処理用のノートPCをマウントさせ、多くのプログラムはこのPC上で実行させます。ロボットの目の描画処理は、頭部のRaspberry piで行っており、腰部のノートPCとは有線LANで接続されております。目の描画はROSのトピック通信で制御することが可能です。各トピックの情報を表○に示します。

| Subscribe Topic Name | Type | Details |
| :---: | :---: | :---: |
| /sobit_mini_head/eye_color_name | std_msgs/String | Eyes color can be specified by color name. ex) "Blue", "Green", "Red" |
| /sobit_mini_head/eye_image | sensor_msgs/Image | The image you want to show on the eyes |
| /sobit_mini_head/eye_position | geometry_msgs/Pose2D | The position of the eye's center on the display |
| /sobit_mini_head/eye_icon_name | std_msgs/String | The name of icons you want to show on the display |

Raspberry piに載っている目の描画用のノードに対してTopicメッセージを送ることで目の制御を行います。デフォルトでは、青色の目の状態を描画し、ランダムに瞬きする処理を入れています。ディスプレイの上下から徐々に描画することで、瞬きを表現しています。目の中心の位置を変えることも可能です。頭部のRGB-Dカメラで顔検出しながら、その検出結果に応じて目の位置を変えることで、人に目線を合わせることができます。首のパンチルト機構と目の動きを連動させることで、近づいてきた人の方向を向くこともでき、ユーザーに親しみを持ってもらうこともできます。事前に用意しておいたiconを表示することでロボットのステータスや内部状況を表示することができます。アイコンの一例を表○に示します。例えば、音声認識中にはディスプレイにマイクのアイコンを表示することで、ロボットに初めて対面した人でも、音声認識中だと把握することが可能になり、より円滑にコミュニケーションができるようになりました。

## 3. Summary of Research
### 3.1 Introduction
　Communication robots such as AIBO[aibo] and LOVOT[lovot] are becoming popular in general households. Rather than providing daily life support, these robots are giving comfort and healing to users by being charming to people like pets. AIBO and LAVOT use non-verbal communication to interact with users such as behavior, facial expressions, and cries.
　Communication with people involves three types of information: visual information, such as gestures, eye contact, and facial expressions; auditory information, such as the volume and tone of the voice; and verbal information which is the content of the conversation. The impressions of a person are determined from these information and visual information is the largest factor in determining the person's impression, accounting for 55%[1]. In addition, "visual information" is used to trigger conversations such as eye contact [2]. Therefore, it can be seen that in human communication, "visual information", especially non-verbal information, is a major factor that affects the impression of the other person.
　In contrast, is non-verbal information also important in communication between robots and people? Prior research has suggested that by controlling the robot's gaze, people tend to have the impression that the robot is "pleasant" or "active" [3]. In this study, we investigate the relationship between the presence of nonverbal information and the feeling of closeness to the robot, and aim to realize a robot that can communicate with people in a friendly manner.

現在、AIBO[]やLAVOT[]などのコミュニケーションロボットが一般家庭に普及しつつある。これらのロボットは生活支援をするのではなく、犬や猫などのペットのように、人に愛想を振りまくことで利用者に癒やしや安らぎを与えている。AIBOやLAVOTには、発話機能は搭載されておらず、行動や表情、鳴き声などの非言語コミュニケーションを使って、ユーザーとやり取りを行っている。
　人同士のコミュニケーションには、ジェスチャー、視線、表情といった「視覚情報」、声のボリュームや口調などの「聴覚情報」、会話の内容の「言語情報」の３つの情報がある。これらの情報からお互いの印象が決定されるが、そのうちの５５％は「視覚情報」が要因になっている[]。また、互いの目が合ってから会話が始まることが多く、「視覚情報」は会話開始のトリガーにもなる[].これらのことから、人と人とのコミュニケーションでは「視覚情報」すなわち、ノンバーバル情報が相手の印象に作用する大きな要因であることが分かる。
　ロボットと人とのコミュニケーションにおいても、ノンバーバル情報は重要でしょうか？先行研究では、ロボットの視線を制御することで、人がロボットに対して「愉快」や「活動的」という印象を持つ傾向にあることが示唆されている[]。本研究では、ノンバーバル情報の有無とロボットへの親近感の関連性を調査し、人に親しまれるコミュニケーションが図れるロボットの実現を目指す。

### 3.2 Methods
今回の実験では、本研究室で開発しているsobit_miniを用いて、ロボットのノンバーバル情報が人とのコミュニケーションにおいて、どのような影響を与えるかを調べた。ノンバーバル情報にはジェスチャーや表情などがあるが、今回は視線に絞って実験を行った。視線ありの状態では、顔検出プログラムの結果に応じて、ロボットの首のパンチルトの回転や目の描画位置の調整を行い、会話中の被験者に常に目線を合わせるようにした。視線なしの状態では、会話に必要なマイクとスピーカーのみ動作させ、それ以外の首の回転や目の描画は行わないようにした。
　本実験では、被験者がロボットに対して抱く、一時的な感情と持続的な感情の２つの感情に着目した。一時的な感情とは、直接的な何かに反応して一時的に湧き出てくる感情で、例えば、褒められた時に感じる「嬉しさ」や騒音を聞いた時の「不快さ」がこれに当たります。もう一方の、持続的な感情は、締め切りに追われている時に感じる「焦り」や初対面の人や恐い上司と話すときに感じる「緊張感」など、瞬間的には変化しにくい感情を指します。ひとつ目の一時的感情は、被験者にアンケートに答えてもらうことで、ロボットとの会話を通して感じた感情や印象を収集しました。アンケートは28項目あり、「明るい-暗い」や「賢いー愚かな」などの形容詞対をそれぞれ7段階で回答してもらいました。2つ目の持続的感情は、親近感に焦点を絞りました。人同士のコミュニケーションでは、親密さが増すほど、相手との距離が近くなることが言われています[4]。人とロボット間のコミュニケーションでも同じことが言えるのではないかという仮説のもと、ロボットの頭部にあるRGB-Dセンサから得られるカラー画像とPoint Cloud[pcl]を組み合わせて、被験者とロボットの距離を計測しました。
　実験では、50人の被験者（大学生、男性31、女性19）にロボットの視線ありと無しの状態、それぞれ5分間ずつロボットとの会話をしてもらい、それぞれの会話のあとにアンケートに答えてもらった。視線の有無の順番が結果に影響しないように、被験者をA/Bの2つのグループに分け、Aグループは視線あり→なしの順で実験を行い、Bグループは順番を逆にして実験を行いました。会話の内容がロボットに抱く印象や親密さに影響しないように、互いの自己紹介程度の軽い内容の会話に留めた。なお、ロボットが被験者との会話をスムーズに行えるように、被験者に悟られないように、別室にいるオペレータが被験者とロボットの会話を聞きながら発話コマンドを送信することで、ロボットのふりをして被験者との会話を行った。

### 3.3 Results and Discussion
＜一時的感情＞
まず最初に一時的感情の結果と考察について述べます。Aグループ、Bグループ、全体のそれぞれでアンケート結果の各項目の平均を、図に表したものが図[]になります。
表（2020-12-16_19.19.47.png）をグラフにした物が図（a.png/b.png/all.png)です。
Aグループ・Bグループ・全体のイメージ測定の結果としては、形容詞対28項目で全体的にポジティブな方向に進む結果となりました。
イメージ測定では、全体的に印象がポジティブに進みました。
しかし、ネガティブに進んだ項目もあり、「速い」「すばやい」はロボット自体は動いたりしないため、会話のスピードが問題に挙げられており、目があることによる印象の変化ではないと考察する

Firstly, we describe the results and considerations of a questionnaire on temporal emotions. The average of each item in the questionnaire results for Group A, Group B, and the overall results are shown in the line graph in Figure[a.png/b.png/all.png].
The graph shows that respondents felt more positive feelings toward the robot with eyes than without eyes in most of the questionnaire items.
However, in the items of complexity and agility, the robot without eyes was felt more positive than with eyes. The absence of eyes doesn't influence the agility because we consider that the response speed of the conversation only affects the impression of the agility in this experiment. Also, we did not change the mechanism and structure of the robot depending on with eyes or without eyes, so we assume that the impression of complexity was not affected by the absence of eyes.

https://files.slack.com/files-pri/T17S4GZL5-F01H0SXRP6W/a.png
https://files.slack.com/files-pri/T17S4GZL5-F01H72B85HS/b.png
https://files.slack.com/files-pri/T17S4GZL5-F01GU5F2B0E/all.png
以上に加え、たくさんの変数（質問項目)の背後に潜んでいる要因を明らかにすることにより、ロボットの親近性を検証したいため、因子分析を行いました。
因子分析では、サンプル数が変数を下回らないようにすることが条件であり、今回検証している親近性とは関わりの薄い質問事項もあることから、因子をはっきりさせるため、変数を18に絞った。
以下が、今回使用する変数（質問項目）である
「暖かい 感じの良い 明るい うちとけた 優しい 人間的な 親しみやすい かわいらしい 思いやりのある 陽気な 愉快な わかりやすい 興味深い おもしろい 近づきやすい 安全な 積極的な 賢い」
はじめに共通性の初期値を1とし、反復主因子法により因子を抽出し、スクリープロット から適切な因子を3と設定した。
そして、3因子解を仮定した反復主因子法を実行し、バリマックス回転（直交回転）変換し、因子負荷量を出力した。
その結果が図（2020-12-16_19.16.33.png）になる。
https://files.slack.com/files-pri/T17S4GZL5-F01H77A8GTE/____________________________2020-12-16_19.16.33.png

Additionally, we performed factors analysis to verify the intimacy of the robot by clarifying the hidden factors in many variables. We needed to reduce the number of item variables because factors analysis requires that the number of variables should not be over than the samples. Therefore, we narrowed down only the variables that seems to affect the intimacy, and Table.x shows the variables.
＜はじめに共通性の初期値を1とし、反復主因子法により因子を抽出し、スクリープロット から適切な因子を3と設定した。
そして、3因子解を仮定した反復主因子法を実行し、バリマックス回転（直交回転）変換し、因子負荷量を出力した。
その結果が図（2020-12-16_19.16.33.png）になる。＞

＜持続的感情＞
収集した被験者との距離から、持続的感情の変化について考察します。
持続的感情では、Aグループ・Bグループ・全体でデータの差分をt検定し、有意差があるか検証した。
AグループではT値が1.113となり、有意水準を5パーセントとすると片側では1.725,両側では2.086を越えていないため有意差はありません。
BグループではT値が1.542となり、有意水準を5パーセントとすると片側では1.721,両側では2.080を越えていないため有意差はありません。
全体ではT値が1.108となり、有意水準を5パーセントとすると片側では1.682,両側では2.018を越えていないため有意差はありません。
以上から有意差は検出することができなかった。
他の研究では、被験者の４割が、初対面のロボットにもかかわらず、45cm以内の距離まで近づいてきた結果がある。このことから、人とロボットのコミュニケーションにおいて、必ずしも親密さが

海外の研究[Huttenrauch, H.]では、実験の参加者の40%が、初対面のロボットに対して、45cm以内の距離が快適な対話の距離と答え、これは、人とロボットとのコミュニケーションの間には、人同士の対話が必ずしも当てはまらないということを示唆している。
このことから、持続的感情である親密度は距離によっては変化しないと言える。

Secondly, we describe the result and consideration of the sustained emotion based on collected data of distances between robot and subjects.
significant difference. The results of t-test of group A, group B and all are shown in Table.x. In group A, the T value is 1.113, which is not significantly different from 1.725 on one side and 2.086 on both sides when the significance level is set at 5 percent.
In group B, the T value was 1.542, which is not significantly different from the unilateral T value of 1.721 and the bilateral T value of 2.080 at the 5 percent level of significance.
The overall T value was 1.108, which is not significantly different from the unilateral T value of 1.682 and the bilateral T value of 2.018 at the 5 percent level of significance.
From the above, no significant difference was found in all groups.

Other research[Huttenrauch, H.] shows that 40% of the subjects came within 45 cm of the robot, even though they had never met it before.
It leads us that the intimacy toward the robot may not necessarily affect the distance between the robot and person.
Therefore, we consider that it is needed to focus on other factors than the distance to the robot to examine the transition of sustained emotions.

## 4. Conclution and Future Work

## Official Website and Facebook
In following URLs, you can see our relevant publications, our recently activities, and our records of RoboCup @Home.
- Website : https://team-sobits.jimdo.com
- Facebook : https://www.facebook.com/team.sobits/

## References
[ros]Morgan Quigley, Brain Gerkey, Ken Conleym, Josh Faust, Tully Foote, Jeremy Leibs, Eric Berger, Rob Wheeer and Andrew Ng, "ROS: an open-source Robot Operating System", ICRA Workshop on Open Source Software, pp.1--6, 2009.

[pcl]Radu Bogdan Rusu and Steve Cousins, "3D is here: Point Cloud Library (PCL)", IEEE International Conference on Robotics and Automation, pp.1-4, 2011.

[turtlebot2]Open Source Robotics Foundation, “TurtleBot2”, Available at: https://www.turtlebot.com/turtlebot2/, Accessed: 15 December 2020.

[robovie]Vstone, "Robovie-R Ver.2", Available at: https://www.roboticstoday.com/robots/robovie-r-ver2, Accessed: 15 December 2020.

[raspberry_pi]Raspberry Pi, "Raspberry Pi 3 Model B", Available at: https://www.raspberrypi.org/products/raspberry-pi-3-model-b/, Accessed: 15 December 2020.

[aibo]Sony, "aibo", Available at: https://aibo.sony.jp/, Accessed: 15 December 2020.

[lovot]GROOVE X, "LOVOT", Available at: https://lovot.life/, Accessed: 15 December 2020.

[1]鈎 治雄,吉川 成司. 人間行動の心理学. 北大路書房, p.123, 2017.

[2]A.Kendon, "Some functions of gaze-direction in social interaction", {\it Acta Psychologica,} 1967, Vol.26, pp.22-63.

[3]T.Kanda, {\it et al.},"Psychological evaluation on interactions between people and robot"{\it Journal of the Robotics Society of Japan} 2001, Vol.19, pp.362-371.

[4]The Silent Language, Greenwich, CT: Fawcett, 1959. Hall, ET The Hidden Dimension.