Lições Aprendidas Parte 3: Desenvolvendo um Chatbot – Resultados da Pesquisa-Ação

Telas da ANA

Na parte 3 dessa série, falaremos um pouco sobre os resultados do nosso projeto, descrevendo algumas das situações vividas durante o primeiro ciclo da pesquisa-ação, e discutindo algumas questões e preocupações associadas a elas que eram relevantes para nossa investigação.

Planejamento

Duas funcionalidades centrais eram esperadas para nosso chatbot: assistência ao sistema de saúde e educação em saúde. Assim, a ANA foi planejada para apoiar a triagem de casos suspeitos de COVID-19 e fornecer informações atualizadas e confiáveis para educar a população sobre a doença. Para isso, alguns requisitos foram identificados como: linguagem simples e clara, informação de qualidade que seguisse as recomendações e diretrizes clínicas baseadas em evidências científicas, e uma tecnologia que fosse simples e de fácil uso.

Em paralelo, a equipe do Centro de Telessaúde começou a desenvolver parcerias com outros municípios e unidades públicas de saúde, considerando os diferentes objetivos e infra-estrutura disponíveis em cada localidade onde o projeto seria desenvolvido (inicialmente as cidades de Belo Horizonte, Teófilo Otoni e Divinópolis em Minas Gerais). Pesquisadores das áreas de Linguística Aplicada e Ciência da Computação também foram convidados para participar do projeto. É preciso destacar que a equipe trabalhou sob fortes restrições de tempo, considerando a necessidade de produção de entregas rápidas para apoiar a população, o que impediu um trabalho de levantamento de requisitos e especificação da solução mais refinado. Com o alinhamento do projeto, foram feitos planos para avaliar a qualidade e os resultados do chatbot. Avaliações da interação dos usuários e de viabilidade clínica foram planejadas como parte dos objetivos práticos e de pesquisa do projeto, focando em diferentes aspectos do chatbot.

Ação

O assistente de chatbot foi desenvolvido por meio da plataforma BLiP, uma plataforma comercial para desenvolvimento de chatbots. Nela as conversas são projetadas por meio de um fluxograma, onde cada mensagem é definida e conectada com as respostas esperadas e mensagens subsequentes. A figura abaixo ilustra o fluxograma para construção de um chatbot:

Exemplo de fluxograma de uma conversa para construção de um chatbot na plataforma BLiP.
Figura 1 – Exemplo de fluxograma de uma conversa para construção de um chatbot na plataforma BLiP.

Esse processo é relativamente simples e rápido no caso de tarefas básicas, pois fornece uma interface padrão e integração nativa com aplicativos de mensagens populares, como o WhatsApp por exemplo. A desvantagem é que ele não se baseia no processamento de linguagem natural e o chatbot herda as limitações da interface padrão fornecida. É preciso lembrar que a necessidade de produção de uma solução funcional em curto prazo limitou a exploração de tecnologias mais avançadas e inovadoras.

Nosso chatbot é oficialmente referido como TeleCOVID-19, enquanto o agente de conversação se apresenta como ANA, um nome brasileiro curto e popular. Seus dois objetivos principais – triagem de casos suspeitos de COVID-19 e educação em saúde na língua portuguesa brasileira – foram desenvolvidos da seguinte forma:

  • Triagem de casos suspeitos de COVID-19: se baseia nos sintomas e comorbidades do paciente, seguindo as recomendações da OMS (WHO, 2020). Assim, com base nessas orientações, nosso chatbot foi construído para associar uma etiqueta colorida de acordo com a gravidade dos sintomas relatados, com 4 diferentes classificações: Vermelho – aconselhamento de procura de atendimento de emergência o mais rápido possível; Laranja – aconselhamento de procura de atendimento em um hospital; Amarelo – aconselhamento de procura de um centro de saúde de referência ou um serviço de teleconsulta; Verde – orientações de como lidar com os sintomas leves, isolamento doméstico, repouso e hidratação) e procura de teleconsulta, caso haja necessidade.
  • Educação em saúde: O chatbot possui uma base com 85 perguntas selecionadas pela equipe do Centro de Telessaúde. Todas as respostas foram formuladas por profissionais de saúde de acordo com a melhor evidência disponível. Essas perguntas foram agrupadas em 12 categorias diferentes, que incluem: informações gerais, transmissão, diagnóstico, sintomas, conselhos para casos suspeitos, tratamento, cuidado da casa, higiene, estilo de vida, uso de máscaras, gravidez e animais de estimação.

A fim de melhorar a disponibilidade e acesso, o TeleCOVID-19 foi disponibilizado ao público em três diferentes formas: no WhatsApp, no site oficial do Centro de Telessaúde, como um aplicativo móvel e em site oficiais de governos municipais, a depender da localidade de uso. Cada versão era uma aplicação independente, que se espelhavam umas nas outras, embora adaptadas para atender às necessidades particulares de cada cidade.

Interagindo com a ANA

Uma vez recebido um estímulo de início, o assistente virtual inicia uma conversa dando as boas-vindas aos usuários e pedindo seu consentimento para usar o serviço, apresentando um link para os termos de uso do chatbot. Se o o usuário concorda com eles, o assistente pede algumas informações pessoais como nome, idade, sexo e localização.

A interface e as características interativas seguem o padrão da plataforma BLiP. A equipe definiu a interação do fluxo e das mensagens da conversa. As versões do aplicativo e do site são parecidas e oferecem atalhos de botões e links que os usuários podem clicar. Já no WhatsApp os usuários precisam digitar suas mensagens, tendo sido fornecidos números de atalhos de texto, imitando um esquema de navegação por menu de linha de comando. A ANA então pergunta se o usuário se sente doente e quer verificar o que está sentindo ou se quer informações e diretrizes sobre a COVID-19

Se o usuário escolher a primeira opção, perguntas são feitas com base na árvore de decisão desenvolvida pela equipe, associando uma etiqueta colorida de acordo com sua gravidade. Se o usuário selecionar a segunda opção ou tiver passado pelo processo de triagem, o assistente iniciará a sessão de educação pedindo para que ele escolha um dos 12 tópicos disponíveis que tenha interesse em conhecer. As perguntas relacionadas com o tópico selecionado são então exibidas ao usuário.

Figura 2 – Duas capturas de tela da interface padrão do chatbot, como aparece no site e no aplicativo móvel.

Observação

Assim que a primeira versão do chatbot foi lançada, várias mudanças e refinamentos na tecnologia foram necessários. A fim de acomodar as exigências decorrentes do sistema que estava em uso bem como as solicitações de melhorias feitas pela nossa equipe e as modificações necessárias devido a fatores externos, como novas descobertas científicas sobre a COVID-19 ou atualizações de recomendações das autoridades de saúde, foi necessário um olhar reflexivo sobre nosso processo de desenvolvimento. Apresentaremos, a seguir, algumas situações que nos ensinaram lições importantes.

Necessidade de uma abordagem rápida

A necessidade urgente de implantação de uma solução no menor tempo possível restringiu as opções para soluções mais inovadoras e potencialmente melhores, mas também trouxe consequências que influenciaram na qualidade do produto e no processo de trabalho. Por atuar em 3 cidades diferentes, houve necessidade de adaptação do TeleCOVID-19 para as infraestruturas disponíveis, com a criação de três cópias adaptadas do mesmo chatbot. À medida que o trabalho avançava e mudanças eram feitas para corrigir bugs ou pequenas melhorias, houve situações onde as três diferentes versões se comportaram de forma distinta e até mesmo se desatualizaram.

Mesmo com os testes da equipe, alguns problemas só foram identificados após experiências específicas dos usuários, sendo localizados apenas após analise dos dados de avaliação e dos registros das conversas do chatbot. Como após cada interação os usuários eram convidados a avaliar sua experiência com o chatbot, esses relatos ajudaram a enxergar dificuldades de uso do aplicativo, como dificuldade em informar o número de telefone, relatada por algumas pessoas.

Incidentes como esse levaram a equipe a pensar sobre a necessidade de se ter um chatbot mais adaptável, com uma única versão de aplicação que pudesse se comportar de forma diferente dependendo das condições. Contudo, grandes mudanças exigiriam uma infra-estrutura tecnológica mais sofisticada e uma abordagem interativa que não havia sido planejada, o que levou os membros técnicos da equipe de pesquisa a experimentarem tecnologias diferentes para o chatbot, gerando assim várias versões experimentais paralelas do TeleCOVID-19. Isso resultou na proposta de um quadro tecnológico de referência que será apresentado e discutido na Parte 4.

Os desafios da multidisciplinaridade

Em relação aos pares de perguntas e respostas na parte educacional, houve dois assuntos urgentes. Primeiro, havia a necessidade de adaptar a linguagem das perguntas e respostas para que elas fossem acessíveis para a população em geral. Em segundo lugar, havia a necessidade de manter os pares de perguntas e respostas atualizados, tanto em termos de conteúdo e relevância (com o tempo, algumas questões foram menos procuradas, enquanto novas consultas surgiram).

A versão inicial das perguntas foi respondida pela equipe de pesquisadores médicos, com respostas longas, detalhadas e técnicas, o que poderia atrapalhar o entendimento e dificultar a interação pelo chatbot. Para resolver isso, a equipe de linguistas revisou o documento inicial, adaptando a linguagem e deixando o conteúdo mais interativo.

Com relação à relevância dos pares de perguntas-respostas, a equipe decidiu identificar as perguntas mais frequentes de comentários deixados nos vídeos do YouTube do médico Drauzio Varela sobre a doença. Isso permitiu o acesso a uma gama mais ampla de dúvidas e perguntas relacionadas à doenças e nos permitiu identificar o que as pessoas mais gostariam de saber sobre o assunto. A equipe de linguistas desenvolveu uma metodologia para extrair e classificar as perguntas obtidas através da sessão de comentários no YouTube.

Acompanhar a atualização das informações e notícias

Condição inerente ao contexto pandêmico, a necessidade constante de realizar atualizações rápidas do conteúdo da COVID-19 foi um desafio. Como a evolução do conhecimento sobre a doença era muito rápida, as intervenções no aplicativo eram constantes, especialmente em relação à parte educacional. Além disso, foi necessária a inclusão de informações especialmente direcionadas para combater notícias falsas.

Para além dos desafios e das possíveis instabilidades causadas pelas frequentes mudanças na tecnologia, o próprio processo de revisão da informação científica é complexo, ainda mais com a exigência da adaptação da linguagem para que pudesse ser compreendida pelo público em geral.

A princípio, a solução para proteger o projeto dessas variações foi recomendar aos usuários que procurassem mais informações no 136, a linha telefônica direta oficial do Ministério da Saúde dedicada à COVID-19. Entretanto, como o governo desligou o serviço, as versões precisaram ser atualizadas para suprimir essa recomendação. Várias vezes, dependendo da taxa de infecção e da sobrecarga do serviço de saúde, a cidade, o estado e as administrações federais mudaram as diretrizes oficiais para o distanciamento social e bloqueio, o que, muitas vezes, resultou em conflitos entre elas. Havia um clara necessidade de uma gestão mais dinâmica das informações, mas não havia uma infra-estrutura especificamente disponível para esse fim. Por fim, manter informações atualizadas exige o constante monitoramento da mídia e dos veículos de notícias, bem como da saúde e dos canais oficiais das autoridades. Em nosso caso, isso foi realizado através da união dos esforços de tecnólogos, médicos e linguistas para manter o chatbot atualizado.

Pesquisa e ação ou Ação e pesquisa?

A maioria das situações relatadas aqui surgiu como resultado da necessidade de atender tanto as metas práticas quanto as de pesquisa, um típico cenário de pesquisa de ação. O projeto possui então um duplo caráter: de servir a população e melhorar o serviço de saúde na prática, bem como produzir conhecimentos no campo da informática na área da saúde, e de tecnologia aplicada à saúde, no lado da pesquisa.

No lado da ação, nossa solução de trabalho foi utilizada por aproximadamente 3.500 pessoas de abril de 2020 a janeiro de 2021, atingindo um pico de quase 1.000 usuários em dezembro de 2020, seguindo a tendência de alta de casos confirmados de COVID-19 no Estado. Durante esse período, o TeleCOVID-19 recebeu mais de 44.000 mensagens, e enviou mais de 90.000 mensagens para as pessoas nas três cidades que atua e seus arredores.

No lado da pesquisa, temos rastreado situações e problemas que direcionaram ou influenciaram o curso de nossas ações – a intervenção da telesaúde. O relatório produzido consiste em uma observação de nosso próprio processo de trabalho e dos produtos gerados.

Reflexão

Nessa fase foi necessário rever e organizar o que aprendemos durante nosso primeiro ciclo, organizando nosso aprendizado e nos preparando para o próximo ciclo. As nossas reflexões são um olhar crítico sobre o trabalho, tanto internamente, entre os membros da equipe, quanto externamente, entre outros pesquisadores das áreas da Saúde, Linguística Aplicada e Computação, a fim de refinar o produto final.

Lições Aprendidas Parte 4: Discussão sobre nossa experiência – Processo e tecnologia

Achou interessante? Quer saber como funciona e se a ANA pode te ajudar? Para interagir com a ANA na nossa versão demonstração aqui ou na versão oficial já funcionando no site do Centro de Telessaúde da UFMG (veja os widgets no canto inferior direito da tela).

Referências:

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *