COMMUNICATION BLACKBOX

"COMMUNICATION BLACKBOX"

made by team "에이조(Ajo)"

why blackbox?

1) Blocking existing communication

2) Archive data of two people who communicate

We often live by thinking that we 'communicate' with people around us.But we live with different values, and each can have different feelings and thoughts even if we talk about the same topic in the process.Problems appear when we don't understand each other's differences, which can even lead to a break in communication. We start with this awareness of the problem, and we visualize the values of the physical information that we communicate with.We want to experience the process of communication anew by presenting it as another way of communication.

Using FACE API, Arduino's pulse sensor and RaspberryPi, this project has tried a new way of interacting between people.

In each separate room, the two participants interacted with each other through a monitor, checking each other's emotional values and heart rates. Our team archived them to analyze how new conversations are going between people through computers and artificial intelligence, and how emotions can be measured in the context of communication

Black box ;
1)기존의 소통방식을 차단

2)소통하는 2인의 데이터를 아카이브

우리는 흔히 주변의 사람들과 '소통'한다고 생각하면서 살아간다. 하지만 우리는 서로 다른 가치관을 가지며 살아가고, 그 과정에서 같은 주제에 대해 이야기해도 각자 다른 감정과 생각을 가질 수 있다. 문제는 서로의 다름을 이해하지 못할 때 나타나며, 이는 소통의 단절로까지 이어지기도 한다.이러한 문제의식에서 출발하여 소통을 통해 나타나는 신체 정보값을 시각화하고 이를 또다른 소통의 방식으로 나타내면서 소통의 과정을 새롭게 경험하고자 한다.

FACE API와 아두이노의 심박센서, 라즈베리를 사용하여 사람들 사이의 새로운 대화 방식을 시도해본 프로젝트입니다.
이 프로젝트의 참가자 2명은 분리된 각각의 방에서 모니터를 통해 서로의 감정 값 8가지와 심박수를 확인하며 서로 대화를 진행합니다. 팀 에이조는 이를 아카이빙 하여 컴퓨터와 인공지능을 통해 사람 사이의 대화가 어떻게 새롭게 진행되는지, 소통하는 상황에서 어떠한 감정들이 오고가며 이를 측정할 수 있는지를 분석하는 과정을 거쳤습니다.

Step 1: What You Need

*Raspberry Pi x 2

*raspberry pi cam X 2

*Arduino X 2

*pulse sensor * 2

*monitor X 2

*headphone X 2

*microphone X 2

*lighting X 2

*Amplifier

*desk

*partition

*black cloth

Step 2: Installation

1.책상을 다른 책상 위에 올리고 네 면을 검은 천으로 막아 시야를 차단할 수 있는 작은 방을 만듭니다.

Place your desk on another desk and block the four sides with a black cloth to create a small room that can block the participants' view.

2.가운데에 나무 판자로 만든 칸막이를 설치하여 상대방이 서로의 얼굴을 볼 수 없도록 합니다.

In the middle, install a partition to prevent the other party from seeing each other's faces.

3.라즈베리파이를 연결할 모니터를 각각 설치하고 뒷면에 라즈베리 파이와 카메라를 부착합니다.

** 이때 라즈베리 파이와 카메라는 모니터와 서로 반대가 되도록 붙입니다! 상대방의 데이터값을 볼 수 있도록!

Each monitor to connect the raspberry pie and attach the raspberry pie and the camera to the back.

** At this point, attach the raspberry pie and the camera to the opposite side of the monitor! To allow participants to view the other person's data values!

4.카메라가 표정을 잘 측정할 수 있도록 조명을 설치합니다

Install the lights so that the camera can measure the participants' facial expressions.

5.대화 시 사용할 헤드셋과 마이크를 각각 설치하고, 앰프와 연결합니다.

Install each headset and microphone to be used in the conversation, and connect with the amplifier.

Step 3: The Code : FACE API

microsoft azure에서 제공하는 face api를 사용하여 8가지 감정값을 추출해냅니다.

(체험판 계정을 통해 무료로 이용할 수 있습니다)

추출한 감정값에 따라 변화하는 그래프를 만듭니다

Extract eight emotional values using the face api provided by Microsoft Azure. (microsoft azure)

(available free of charge through your trial account)

Creates a graph that varies according to the values extracted.

Step 4: The Code : Pulse Sensor

아두이노를 라즈베리파이와 연결합니다.

심박센서를 아두이노에 연결합니다 검은 전선은 GND에 빨간 선은 5V 핀에 보라색 선은 A0 핀에 심박수를 측정하기 위해서 라이브러리를 설치해야 합니다. 첨부된 링크를 통해 다운받을 수 있습니다. vnc에 접속하여 아두이노IDE를 설치하고, 'Getting_BPM_to_Monitor'예제를 실행하여 프로세싱과 아두이노를 시리얼통신합니다. 프로세싱에서 받아온 심박수 값에 따라 사이즈가 변화하는 이미지를 출력합니다.

Connect the arduino to the raspberry pi.

Connect the pulse sensor to Arduino.

The black line is for the GND.

The red line is 5V.

The purple line is in A0

Install the library to measure the heart rate. You can download it(pulse_library)

Connect to vnc, install arduino IDE, run example 'Getting_BPM_to_Monitor' and Connect the processing with the Arduino via serial communication

Create images that change in size with heart rate values in processing

Step 5: Voice Modulation

1.텍스트 입력 - 변화 - 다운로드 (text-to-speech-translator)

2. 참가자들의 대화를 끊어줄 신호음 준비 (삡!)

3.로직을 이용한 트랙만들기 (1번,2번, 안내맨트, 삡 소리 - 최소 4개트랙)

audio FX - pitch - pitch Shifter - mono (1,2번 트랙 음성 변조)

1,2번 트랙 녹음 버튼 활성화

모니터 화면녹화와 함께 시작.

1.Enter text - Change - Download

2. Prepare a tone to cut off the conversation of the participants (PIP!)

3. Creating a track using logic (No. 1, 2, guide mark, PIP - minimum of 4 tracks)

audio FX - pitch shift - mono (track 1, 2 voice modulation)

Activate track recording buttons 1 and 2

Start with monitor screen recording.

Step 6: Test!

모든 것이 준비되면, 두가지를 경험할 수 있습니다.

1.커뮤니케이션 박스 안에 직접 들어가서 새로운 소통방식을 경험해볼 수 있습니다.

2.노트북으로 vnc접속하여 연결된 모니터를 관찰하며 두 사람이 소통하는 과정을 관찰할 수 있습니다.

When everything is ready, you can experience two things.

1. You can enter the communication box and experience new communication by wearing headphones and talking to others.

2.The screen on the monitor can be viewed through Vnc connection on the laptop to observe how the two participants are talking.

ㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡㅡ

Our team has conducted three experiments, giving sensitive questions that are usually not easy to talk about and observing the participants talking about them.Through these experiments, we were able to observe how the participants sympathized with each other in the process of talking, and how they spoke differently from their minds.The original intention was to help us understand each other better when we talk by digitizing the emotions and heart rates that appear in the communication process and visualizing them in a better way. Although this was interesting, it did not seem to have a direct impact on people's conversation with people as thought it would have been, as the result of the experiment was that you can understand emotions, such as feelings, and hesitation that are hard to observe directly.

우리 팀은 3번의 실험을 진행했는데, 평소에는 쉽게 이야기할 수 없는 민감한 질문들을 주고 참여자들이 이에 대해 대화하는 모습을 관찰했습니다.

이러한 실험을 통해 우리는 대화를 하는 과정에서 공감하는 모습, 속마음과 다르게 말하는 모습 등을 관찰할 수 있었습니다.

처음에 계획했던 의도는 소통하는 과정에서 나타나는 감정과 심박수를 데이터화하여 잘 알아볼 수 있도록 시각화하여 대화를 할 때 서로 이해하고 소통하는 데에 도움을 주는 것이었습니다. 직접 실험을 진행해본 결과 가시적으로 공감, 망설임 등 여러 감정들이 나타나는 모습을 파악할 수 있어 이 점은 흥미로웠으나 생각했던 것 만큼 사람과 사람이 대화를 하는 상황에 직접적인 영향을 주지는 못했던 것 같기도 합니다.