Introduction: Projeto CoCoa: Um Colete De Comunicação Alternativa

The CoCoA Project is a wearable vest connected to the internet that allows the coupling of tactile symbols of alternative communication to assist people with speech or non-verbal disabilities.

O Colete de Comunicação Alternativa (CoCoA) consiste em um colete vestível (weareable) conectado à internet que permite o acoplamento de símbolos táteis de comunicação alternativa para auxiliar pessoas com deficiência de fala ou não verbais.

Deficiências de fala afetam pessoas com autismo, afasia, paralisia cerebral, surdez parcial ou total, entre outros transtornos. Em pessoas com autismo, por exemplo, é frequente a presença de não verbalização ou atraso de fala. A ausência de fala pode também ser uma deficiência temporária devido a alguma enfermidade.

O comprometimento de fala, permanente ou temporário, necessita de atenção e tratamento, pois esta habilidade é importante para a socialização e para que a pessoa que apresente outra condição ou deficiência possa ser melhor compreendida em suas necessidades.

Recursos assistivos de comunicação alternativa (CA) são usados para auxiliar as pessoas com deficiência de fala a se comunicar com seus familiares, terapeutas e demais pessoas. Pictogramas são uma das formas mais frequentes de recurso de CA, onde a pessoa pode apontar para os símbolos fixados em pontos estratégicos da casa ou então usar aplicativos que vocalizam estes símbolos, como o Proloquo2Go.

Porém, os pictogramas físicos só podem ser utilizados para a pessoa se comunicar com outras pessoas no mesmo ambiente, o que dificulta a comunicação com seus cuidadores caso ela tenha uma necessidade urgente e eles estejam em outros ambientes.

O Colete de Comunicação Alternativa (CoCoA) consiste em um colete vestível (weareable) conectado à internet que permite o acoplamento de símbolos táteis de comunicação alternativa para auxiliar pessoas com deficiência de fala ou não verbais a expressar suas necessidades aos cuidadores, terapeutas, professores e outros profissionais de saúde, sem que eles estejam sempre presentes no mesmo ambiente da pessoa com deficiência, facilitando o monitoramento.

O CoCoA possibilitará ao usuário incluir até seis símbolos de CA, realizando diferentes combinações, os quais serão sensores (botões) que, ao serem pressionados, tomam duas ações:

  • Emitir o som das ações escolhidas por meio de um alto falante acoplado ao colete;Envio das ações escolhidas em formato textual via internet para algum aplicativo de comunicação dos cuidados, terapeutas ou professores, possibilitando que eles possam ser comunicados da necessidade da pessoa caso não estejam no mesmo recinto.
  • Para dar um feedback à pessoa com deficiência, os botões pressionados também piscaram um LED para indicar as ações escolhidas. Assim, é proposta uma solução de interface vestível, conectada, não intrusiva, portável e de fácil utilização para auxiliar pessoas com deficiência de fala a comunicar suas necessidades in loco ou remotamente. O colete não requerer esforço físico para utilização, pode ser usado em diferentes locais e facilita a assistência à pessoa com deficiência para atender suas necessidades, potencialmente impedindo que elas fiquem desconfortáveis ou estressadas.

Este projeto foi desenvolvido por Mauro Pichiliani (mauro@pichiliani.com.br) e Talita Pagani (talita.cpb@gmail.com)

Step 1: Componentes De Hardware

Para o projeto CoCoA utilizamos os seguintes elementos físicos (hardware):

1 placa DragonBoard 410C. Custo aproximado: 75 dólares.

1 Arduino NodeMCU ESP 8266 ou outro arduino com pelo menos 13 portas GPIO PWN. Custo aproximado: R$ 59,90

1 Módulo leitor de tags RFID modelo RC522 da Mifare. Custo aproximado: R$ 39,90

8 Tags RFID da Mifare. Custo aproximado: R$ 23,20

8 Botões tipo push button. Custo aproximado: R$ 2,90

8 LEDs de diversas cores. Custo aproximado: R$ 16,90

6 Resistores de 330Ohm. Custo aproximado: R$ 1,90.

5 metros quadrados de tecido TNT marrom. Custo aproximado: R$ 12,90

1 metro de tira de velcro. Custo aproximado R$ 16,74

8 Imagens de símbolos impressos em papel

1 alto falante USB. Custo aproximado: R$ 32,05

1 adaptador de som USB. Custo aproximado:R$ 25,90

1 Cartão de memória miniSD 4GB. Custo aproximado: R$ 19,90

1 Pack de pilhas como fonte de alimentação (2000 mAPH e 12 V de output). Custo aproximado: R$ 115,00

20 metros da cabo paralelo Cristal. Custo aproximado: R$ 20,00

Ferramentas gerais (alicate, chave de fenda, ferro de solda, pistola de cola quente, etc), fios e fita isolante

Step 2: Diagramas De Funcionamento

Para auxiliar a compreensão do funcionamento do colete vamos explicar seu uso por meio de três diagramas:

Diagrama 1: Este fluxo representa o uso inicial da roupa descrevendo os passo necessário para vestí-la e acessar os áudio já cadastrados.

Diagrama 2:Este diagrama mostra os passos para se trocar uma das almofadas existentes para que outro símbolo/som seja colocado no colete

Diagrama 3:Este diagrama mostra os passos para trocar o áudio associada a uma almofada existente. Este fluxo não foi implementado na versão 1.0 do colete

Step 3: Software

Utilizamos os seguinte softwares no projeto:

As dependências externas do do projeto foram a biblioteca do arduino para lidar com o módulo leitor do RFID, a biblioteca do Python twx.botapi para interagir com o Telegram e a biblioteca PySerial para ler/gravar dados pela porta serial com o Python. As bibliotecas do Python podem ser instaladas utilizando o gerenciador de pacotes pip.

Todos os códigos fontes do projetos foram disponibilizados no seguinte repositório do GitHub:

https://github.com/pichiliani/CoCoA

Step 4: Conexões Físicas

A arquitetura do projeto CoCoA se baseia na placa DragonBoard 410C, em um arduino NodeMCU 8622, na placa leitora de RFID, leds, pusb buttons e uma caixa de som. Também é feita uma integração com um bot do Telegram chamado ProjectCoCoABot que envia uma mensagem com o áudio gerado cada vez que um dos botões for pressionado. Cofigra na figura a arquitetura completa da solução.

É preciso primeiro conectar o leitor RFID e os Leds no arduino e depois fazer o upload do código que está na pasta /CocoaNodeMCUServer no GitHub. Os diagramas de conexões tanto dos Leds como do leitor RFID são mostrados nas figuras que ilustram este passo.

Ainda na parte de conexão física precisamos realizar a conexão dos push buttons com a placa DragonBoard. Este diagrama e tabela também são mostrados em imagens que acompanham este passo.

Step 5: Construção Das Almofadas

As almofadas que contém os símbolos devem ser construídas em seguida. Existe vários símbolos e sistemas para comunicação não verbal, mas podemos indicar o PECS como um bom ponto de partida. Este sistema possui diversos símbolos que podem ser impressos e colocados nas almofadas.

As almofadas possuem cerca de 10x10cm e foram preenchidas com algodão. É importante lembrar de colocar dentro de cada almofada um dos chaveiros que contém a tag RFID para que seja possível identificar cada uma das almofadas e seus respectivos sons.

Na parte da frente da frente da almofada colocamos os mesmo símbolo duas vezes: um com a imagem voltada para cima e outro para baixo. Desta forma é possível que o usuário do colete observe qual símbolo foi pressionado. Não esqueça de colocar na parte de trás da almofada um pedaço de um dos lados do velcro para que seja possível colocar e retirar a almofada do colete.

Step 6: Construção Do Colete

A próxima etapa é a construção do colete. Para isso utilize um molde de colete infantil masculino e faça os cortes no tecido de modo que haja um forro. Nestes links podemos encontrar alguns moldes de coletes para imprimir:

http://marlenemukaimoldeinfantil.com.br/2017/02/07/colete-social/

http://cortandoecosturando.com/Pap%20colete.html

É importante definir o local na parte da frente onde as almofadas vão ser encaixadas. Nestes locais devemos colocar partes do velcro para que as almofadas sejam encaixadas corretamente. Ainda na parte da frente podemos fazer os furos para colocar a parte que brilha dos leds logo acima das almofadas.

Na parte de trás do local das almofadas precisamos encaixar os leds e cada um dos push buttons. É importante encaixar os push buttons de forma que eles fiquem exatamente atrás do local do velcro no colete. Desta forma assim que o usuário pressionar o centro da almofada ele forçará a parte "dura" da almofada (o chaveiro com a tag rfid) e pressionará o push button.

Recomendados fixar todas as partes internas do colete (leds, resistores, push buttons e fios) utilizando a cola quente. Já a ligação dos fios pode ser feita com solda+fita isolante. Outra alternativa para evitar o uso de solda é cola quente ou esmalte de unha transparente do tipo "base".

A próxima parte do colete é construir pequenos bolsinhos para guardar os componentes de cada área das almofadas na parte de dentro. Crie também um bolso na parte da frente do colete mais perto da cintura para guardar a caixa de som. É recomendável colocar diversas tiras de velcro para fechar o colete na parte da cintura e dar firmeza à roupa.

Os fios que vão ligar os componentes (leds e push buttons) de cada área de toque devem ser agrupados de dois em dois. Desta forma teremos seis tiras com dois cabos cada. Vale a pena lembrar que cada cabo possui dois fios: o positivo e o negativo. É importante marcar a ordem dos cabos e qual componente está ligado em cada cabo (led ou push button). Recomendamos passar as tiras de fios pelos ombros dividindo em dois grupos de três.

Uma vez que os cabos e os fios já estejam conectados podemos fechar o colete colocando o forro. Para finalizar, crie um bolso horizontal na parte de trás do colete para guardar as placas (NodeMCU e DragonBoard), o conector de som USB e a bateria que vai ligar a DragonBoard.

Step 7: Ligação Geral E Teste

Uma vez que as tiras do colete já estejam passadas para a parte de trás é preciso fazer as conexões com as placas. São necessárias 12 conexões para os push buttons (6x2) e mais 12 conexões para os leds.

É preciso um cuidado adicional para ligar os fios que levam o sinal de terra (GND - Groud) para os leds, pois todas as seis "perninhas" dos leds devem ser ligadas no mesmo fio. De forma semelhante, se "perminhas" dos push buttons correspondentes ao terra (GND) devem ser ligados no mesmo fio.

Por fim, conecte na porta USB o adaptador de som (dongle) e ligue o adaptador na caixa de som, que devem ser colocada no bolso da frente do colete que fica na parte de baixo. Conecte o cabo USB no NodeMCU e na outra porta da USB da placa DragonBoard 410c. Por fim, ligue o pack de pilhas da bateria ao pino de alimentação (força) e inicie o programa CoCoaServer.py na placa DragonBoard como sudo (use uma coneão SSH ou conecte um monitor+teclado+mouse diretamente na placa):

$ sudo python CoCoaServer.py

A cada botão pressionado uma mensagem aparecerá no console da placa, o áudio correspondente será tocado e o led associado com a almofada será tocado.

Para um resumo do projeto veja o vídeo indicado no link abaixo:

https://youtu.be/-DxK2O-LcAA

Step 8: Referências

Referências relacionadas à comunicação alternativa:

Aplicativo de vocalização de símbolos Proloquo2Go – http://www.assistiveware.com/product/proloquo2go

Saba M.P., Filippo D., Pereira F.R., de Souza P.L.P. (2011) Hey yaa: A Haptic Warning Wearable to Support Deaf People Communication. In: Vivacqua A.S., Gutwin C., Borges M.R.S. (eds) Collaboration and Technology. CRIWG 2011. Lecture Notes in Computer Science, vol 6969. Springer, Berlin, Heidelberg. DOI 10.1007/978-3-642-23801-7_17

Referências sobre as bibliotecas de Python utilizadas:

PySerial

Twx.botapi

Informações sobre a placa DrabonBoard 410c

Exemplo de uso do leitor de RFID no arduino

Moldes de colete masculino infantil

http://marlenemukaimoldeinfantil.com.br/2017/02/07/colete-social/
http://cortandoecosturando.com/Pap%20colete.html


Comments