Como utilizar arquivos de teste para análise do modelo de IA Take Blip 15 de janeiro de 2021 21:58 Atualizado O arquivo de teste é uma lista de interações críticas que se deseja que o modelo de NLP classifique. Modelo este criado usando a base de conhecimento (intenções e entidades). O objetivo da criação deste arquivo é possibilitar a validação da assertividade do modelo, mais especificamente, garantir que o modelo identifique corretamente as intenções para as interações mais críticas do chatbot. Entende-se por perguntas críticas as interações relacionadas às skills (e conteúdos) que o chatbot não pode, em hipótese nenhuma, deixar de responder. A recomendação é que sejam coletadas interações reais dos usuários que estejam dentro dos assuntos críticos mencionados acima. Dica: Use os filtros da Tela de Aprimoramento para encontrar essas interações. Esse arquivo é importante, pois assim é possível validar as modificações feitas na base, garantindo que tais alterações não gerem nenhum impacto negativo ao modelo, ou seja, tudo o que era reconhecido continua sendo reconhecido corretamente. O arquivo deve estar no formato .csv, onde a primeira coluna contém as perguntas e a segunda o id da intenção que se espera que o modelo reconheça para aquela pergunta, utilize a ferramenta BLiP Build AI Model Analysis File para construir este arquivo facilmente. Utilização O uso do arquivo é feito na tela Análise do modelo de IA, onde pode-se criar o relatório com métricas de avaliação do modelo de IA. Deve-se escolher a opção de Arquivo e seguir as orientações. Lembrando que para gerar o relatório é necessário que o BLiP envie as perguntas para o modelo, o que pode gerar custos dependendo do provedor utilizado. Resultados As métricas apresentadas pelo relatório, são: Acurácia Precisão Recall F1 Score Confiabilidade média Classificados corretamente Classificados incorretamente Top Falsos Positivos Top Falsos Negativos No caso do relatório criado com o arquivo de teste, as métricas geradas devem ter os seguintes valores da tabela abaixo: Acurácia 1,00 Precisão 1,00 Recall 1,00 F1 Score 1,00 Confiabilidade Média Variável Classificados Corretamente 100% Classificados Incorretamente 0% Top Falsos Positivos Nenhum Top Falsos Negativos Nenhum A Confiabilidade média é variável, pois este valor é a média da confiabilidade dada pelo provedor ao analisar cada uma das perguntas do arquivo de teste. Caso o valor de alguma das outras métricas seja diferente do que está na tabela, significa que o modelo não está respondendo corretamente todas as perguntas. Sendo assim, a sugestão é conferir quais são elas nas abas Top Falsos Positivos e Top Falsos Negativos, onde é possível identificar qual intenção era esperada e qual foi reconhecida. Além disso, também é gerado a Matriz de Confusão onde é possível identificar pontos de confusão entre intenções. A coluna superior representa as intenções esperadas, enquanto a coluna da esquerda mostra as intenções reconhecidas. Ex.: Era-se esperado que 10 perguntas fossem reconhecidas como Curiosidades, mas apenas 5 foram. Portanto, há confusão entre a intenção Curiosidades com a intenção O que é, Sinais básicos, e Como aprender, pois uma pergunta foi reconhecida como O que é, outra como Sinais básicos e outras 3 como Como aprender. O cenário ideal da análise da matriz de confusão é que apenas a diagonal principal seja diferente de 0 (zero), e é esse cenário que se deve ter quando o arquivo de teste for usado para gerar o relatório. Atualização do arquivo O arquivo de teste deve conter as perguntas críticas relacionadas as skills (e conteúdos) que o chatbot não pode, em hipótese nenhuma, deixar de responder. Sendo assim, toda vez que o modelo for treinado e publicado deve-se adicionar interações que testem o que foi alterado na base (desde que seja algo crítico). É importante salientar que não se deve adicionar exatamente o exemplo que foi adicionado à uma intenção mas, sim, uma interação que teste a capacidade do modelo de NLP de entender quando algo parecido for enviado ao chatbot. Além disso, a recomendação é que a atualização (e operação) do arquivo seja feita pela mesma pessoa que fez as modificações na base de conhecimento (intenções e entidades) ou, no máximo, por alguém que tenha conhecimento das alterações que foram feitas. Versionamento Para controle de versão do arquivo recomenda-se que cada versão criada seja nomeada com o dia e hora da publicação do modelo a ser testado, para que se tenha uma relação entre a versão do arquivo e o respectivo modelo. Se seguidas as recomendações feitas neste documento, a pessoa responsável pela evolução da base de conhecimento (e, consequentemente, do modelo de NLP) terá a capacidade de validar as modificações feitas na base, garantindo que, no geral, houve evolução e não retrocesso. Além disso, cria-se um modo de garantir que o modelo responde corretamente aquilo que o cliente espera e, caso seja identificado algo que não é respondido, isso deve ser entendido como melhoria do modelo e não bug. Artigos relacionados Como aprimorar meu modelo de inteligência artificial Como usar o Assistente de Conteúdo Como testar seu modelo de NLP Como configurar o Watson Assistant como um provedor de Inteligência Artificial Como importar/exportar uma base de conhecimento
O arquivo de teste é uma lista de interações críticas que se deseja que o modelo de NLP classifique. Modelo este criado usando a base de conhecimento (intenções e entidades). O objetivo da criação deste arquivo é possibilitar a validação da assertividade do modelo, mais especificamente, garantir que o modelo identifique corretamente as intenções para as interações mais críticas do chatbot. Entende-se por perguntas críticas as interações relacionadas às skills (e conteúdos) que o chatbot não pode, em hipótese nenhuma, deixar de responder. A recomendação é que sejam coletadas interações reais dos usuários que estejam dentro dos assuntos críticos mencionados acima. Dica: Use os filtros da Tela de Aprimoramento para encontrar essas interações. Esse arquivo é importante, pois assim é possível validar as modificações feitas na base, garantindo que tais alterações não gerem nenhum impacto negativo ao modelo, ou seja, tudo o que era reconhecido continua sendo reconhecido corretamente. O arquivo deve estar no formato .csv, onde a primeira coluna contém as perguntas e a segunda o id da intenção que se espera que o modelo reconheça para aquela pergunta, utilize a ferramenta BLiP Build AI Model Analysis File para construir este arquivo facilmente. Utilização O uso do arquivo é feito na tela Análise do modelo de IA, onde pode-se criar o relatório com métricas de avaliação do modelo de IA. Deve-se escolher a opção de Arquivo e seguir as orientações. Lembrando que para gerar o relatório é necessário que o BLiP envie as perguntas para o modelo, o que pode gerar custos dependendo do provedor utilizado. Resultados As métricas apresentadas pelo relatório, são: Acurácia Precisão Recall F1 Score Confiabilidade média Classificados corretamente Classificados incorretamente Top Falsos Positivos Top Falsos Negativos No caso do relatório criado com o arquivo de teste, as métricas geradas devem ter os seguintes valores da tabela abaixo: Acurácia 1,00 Precisão 1,00 Recall 1,00 F1 Score 1,00 Confiabilidade Média Variável Classificados Corretamente 100% Classificados Incorretamente 0% Top Falsos Positivos Nenhum Top Falsos Negativos Nenhum A Confiabilidade média é variável, pois este valor é a média da confiabilidade dada pelo provedor ao analisar cada uma das perguntas do arquivo de teste. Caso o valor de alguma das outras métricas seja diferente do que está na tabela, significa que o modelo não está respondendo corretamente todas as perguntas. Sendo assim, a sugestão é conferir quais são elas nas abas Top Falsos Positivos e Top Falsos Negativos, onde é possível identificar qual intenção era esperada e qual foi reconhecida. Além disso, também é gerado a Matriz de Confusão onde é possível identificar pontos de confusão entre intenções. A coluna superior representa as intenções esperadas, enquanto a coluna da esquerda mostra as intenções reconhecidas. Ex.: Era-se esperado que 10 perguntas fossem reconhecidas como Curiosidades, mas apenas 5 foram. Portanto, há confusão entre a intenção Curiosidades com a intenção O que é, Sinais básicos, e Como aprender, pois uma pergunta foi reconhecida como O que é, outra como Sinais básicos e outras 3 como Como aprender. O cenário ideal da análise da matriz de confusão é que apenas a diagonal principal seja diferente de 0 (zero), e é esse cenário que se deve ter quando o arquivo de teste for usado para gerar o relatório. Atualização do arquivo O arquivo de teste deve conter as perguntas críticas relacionadas as skills (e conteúdos) que o chatbot não pode, em hipótese nenhuma, deixar de responder. Sendo assim, toda vez que o modelo for treinado e publicado deve-se adicionar interações que testem o que foi alterado na base (desde que seja algo crítico). É importante salientar que não se deve adicionar exatamente o exemplo que foi adicionado à uma intenção mas, sim, uma interação que teste a capacidade do modelo de NLP de entender quando algo parecido for enviado ao chatbot. Além disso, a recomendação é que a atualização (e operação) do arquivo seja feita pela mesma pessoa que fez as modificações na base de conhecimento (intenções e entidades) ou, no máximo, por alguém que tenha conhecimento das alterações que foram feitas. Versionamento Para controle de versão do arquivo recomenda-se que cada versão criada seja nomeada com o dia e hora da publicação do modelo a ser testado, para que se tenha uma relação entre a versão do arquivo e o respectivo modelo. Se seguidas as recomendações feitas neste documento, a pessoa responsável pela evolução da base de conhecimento (e, consequentemente, do modelo de NLP) terá a capacidade de validar as modificações feitas na base, garantindo que, no geral, houve evolução e não retrocesso. Além disso, cria-se um modo de garantir que o modelo responde corretamente aquilo que o cliente espera e, caso seja identificado algo que não é respondido, isso deve ser entendido como melhoria do modelo e não bug.
