Categorias
Tutoriais

Deteção de Conteúdo de IA: Bard Vs ChatGPT Vs Claude

Pesquisadores observam capacidades variadas de deteção de conteúdo de IA, destacando possíveis novas direções para identificar conteúdo gerado por IA

Destaques

  • O conteúdo de texto criado por Claude é mais difícil de detetar do que o conteúdo criado por Bard ou ChatGPT
  • Bard & ChatGPT tiveram uma autodetecção de sua própria precisão relativamente maior
  • Os resultados da autodetecção de conteúdo parafraseado produziram resultados surpreendentes entre os três modelos de IA testados
  • Os testes parecem indicar que Claude gerou a menor quantidade de artefatos detectáveis, tornando-o mais difícil de detetar

Os pesquisadores testaram a ideia de que um modelo de IA pode ter uma vantagem na autodetecção de seu próprio conteúdo porque a deteção estava alavancando o mesmo treinamento e conjuntos de dados. O que eles não esperavam encontrar foi que, dos três modelos de IA testados, o conteúdo gerado por um deles era tão indetetável que nem mesmo a IA que o gerou poderia detetá-lo.

O estudo foi conduzido por pesquisadores do Departamento de Ciência da Computação, Escola de Engenharia Lyle na Southern Methodist University.

Deteção de Conteúdo de IA

Muitos detetores de IA são treinados para procurar os sinais característicos do conteúdo gerado por IA. Esses sinais são chamados de “artefatos”, que são gerados por causa da tecnologia de transformadores subjacente. Mas outros artefatos são únicos para cada modelo base da IA (o Modelo de Linguagem Grande no qual a IA se baseia).

Esses artefatos são únicos para cada IA e surgem dos dados de treinamento distintivos e do ajuste fino que é sempre diferente de um modelo de IA para o próximo.

Os pesquisadores descobriram evidências de que é essa singularidade que permite que uma IA tenha maior sucesso na autoidentificação de seu próprio conteúdo, significativamente melhor do que tentar identificar conteúdo gerado por uma IA diferente.

Bard tem uma melhor chance de identificar o conteúdo gerado por Bard e ChatGPT tem uma taxa de sucesso maior na identificação do conteúdo gerado por ChatGPT, mas…

Os pesquisadores descobriram que isso não era verdade para o conteúdo gerado por Claude. Claude teve dificuldade em detetar o conteúdo que gerou. Os pesquisadores compartilharam uma ideia do porquê Claude não foi capaz de detetar seu próprio conteúdo e este artigo discute isso mais adiante.

Esta é a ideia por trás dos testes de pesquisa:

“Uma vez que cada modelo pode ser treinado de forma diferente, criar uma ferramenta de deteção para detetar os artefatos criados por todas as possíveis ferramentas de IA generativa é difícil de alcançar.

Aqui, desenvolvemos uma abordagem diferente chamada autodetecção, onde usamos o próprio modelo generativo para detetar seus próprios artefatos para distinguir seu próprio texto gerado do texto escrito por humanos.

Isso teria a vantagem de não precisarmos aprender a detetar todos os modelos de IA generativa, mas só precisamos de acesso a um modelo de IA generativa para a deteção.

Isso é uma grande vantagem em um mundo onde novos modelos são continuamente desenvolvidos e treinados.”

Metodologia

Os pesquisadores testaram três modelos de IA:

  1. ChatGPT-3.5 da OpenAI
  2. Bard do Google
  3. Claude da Anthropic

Todos os modelos usados eram das versões de setembro de 2023.

Foi criado um conjunto de dados de cinquenta tópicos diferentes. Cada modelo de IA recebeu as mesmas instruções exatas para criar ensaios de cerca de 250 palavras para cada um dos cinquenta tópicos, o que gerou cinquenta ensaios para cada um dos três modelos de IA.

Em seguida, cada modelo de IA recebeu instruções idênticas para parafrasear seu próprio conteúdo e gerar um ensaio adicional que era uma reescrita de cada ensaio original.

Eles também coletaram cinquenta ensaios gerados por humanos sobre cada um dos cinquenta tópicos. Todos os ensaios gerados por humanos foram selecionados da BBC.

Os pesquisadores então usaram a solicitação de zero-shot para autodetetar o conteúdo gerado pela IA.

A solicitação de zero-shot é um tipo de solicitação que se baseia na capacidade dos modelos de IA de completar tarefas para as quais não foram especificamente treinados para fazer.

Os pesquisadores explicaram ainda mais sua metodologia:

“Criamos uma nova instância de cada sistema de IA iniciado e apresentado com uma consulta específica: ‘Se o texto a seguir corresponde ao seu padrão de escrita e escolha de palavras.’ O procedimento é repetido para os ensaios originais, parafraseados e humanos, e os resultados são registrados.

Também adicionamos o resultado da ferramenta de deteção de IA ZeroGPT. Não usamos esse resultado para comparar o desempenho, mas como uma linha de base para mostrar o quão desafiadora é a tarefa de deteção.”

Também observaram que uma taxa de precisão de 50% equivale a um palpite, que pode ser considerado essencialmente um nível de precisão que é um fracasso.

Resultados: Autodetecção

Deve ser observado que os pesquisadores reconheceram que a taxa de amostragem era baixa e disseram que não estavam fazendo afirmações de que os resultados são definitivos.

Abaixo está um gráfico mostrando as taxas de sucesso da autodetecção de IA dos primeiros ensaios. Os valores em vermelho representam a autodetecção de IA e o azul representa o desempenho da ferramenta de deteção de IA ZeroGPT.

Resultados da Autodetecção de Conteúdo de Texto Próprio de IA

Bard se saiu razoavelmente bem ao detetar seu próprio conteúdo e ChatGPT também teve um desempenho semelhante ao detetar seu próprio conteúdo.

O ZeroGPT, a ferramenta de deteção de IA, detetou o conteúdo de Bard muito bem e teve um desempenho ligeiramente inferior ao detetar o conteúdo de ChatGPT.

O ZeroGPT essencialmente falhou em detetar o conteúdo gerado por Claude, tendo um desempenho pior do que o limite de 50%.

Claude foi a exceção do grupo porque não foi capaz de autodetetar seu próprio conteúdo, tendo um desempenho significativamente pior do que Bard e ChatGPT.

Os pesquisadores hipotetizaram que pode ser que a saída de Claude contenha menos artefatos detetáveis, explicando por que tanto Claude quanto ZeroGPT não foram capazes de detetar os ensaios de Claude como gerados por IA.

Assim, embora Claude não tenha sido capaz de autodetetar de forma confiável seu próprio conteúdo, isso acabou sendo um sinal de que a saída de Claude era de maior qualidade em termos de produzir menos artefatos de IA.

O ZeroGPT teve um melhor desempenho ao detetar o conteúdo gerado por Bard do que ao detetar o conteúdo de ChatGPT e Claude. Os pesquisadores hipotetizaram que poderia ser que Bard gera mais artefatos detetáveis, tornando Bard mais fácil de detetar.

Portanto, em termos de autodetecção de conteúdo, Bard pode estar gerando mais artefatos detetáveis e Claude está gerando menos artefatos.

Resultados: Autodetecção de Conteúdo Paraf…

Captura de tela da Autodetecção de Conteúdo Parafraaseado por IA

Esses testes produziram resultados quase imprevisíveis, especialmente em relação ao Claude da Anthropic, e essa tendência continuou com o teste de quão bem os modelos de IA detectavam o conteúdo um do outro, o que trouxe uma reviravolta interessante.

Resultados: Modelos de IA Detectando o Conteúdo um do Outro

O próximo teste mostrou o quão bem cada modelo de IA conseguia detectar o conteúdo gerado pelos outros modelos de IA.

Se é verdade que o Bard gera mais artefatos do que os outros modelos, os outros modelos conseguirão detectar facilmente o conteúdo gerado pelo Bard?

Os resultados mostram que sim, o conteúdo gerado pelo Bard é o mais fácil de detectar pelos outros modelos de IA.

Quanto à detecção do conteúdo gerado pelo ChatGPT, tanto o Claude quanto o Bard não conseguiram detectá-lo como gerado por IA (assim como o Claude não conseguiu detectá-lo).

O ChatGPT conseguiu detectar o conteúdo gerado pelo Claude a uma taxa mais alta do que tanto o Bard quanto o Claude, mas essa taxa mais alta não foi muito melhor do que adivinhar.

A conclusão aqui é que todos eles não eram tão bons em detectar o conteúdo um do outro, o que os pesquisadores opinaram que pode indicar que a autodetecção é uma área promissora de estudo.

Aqui está o gráfico que mostra os resultados deste teste específico:

Neste ponto, deve ser observado que os pesquisadores não afirmam que esses resultados são conclusivos sobre a detecção de IA em geral. O foco da pesquisa era testar se os modelos de IA poderiam ter sucesso ao se autodetectar o próprio conteúdo gerado. A resposta é principalmente sim, eles se saem melhor na autodetecção, mas os resultados são semelhantes ao que foi encontrado com o ZEROGpt.

Os pesquisadores comentaram:

“A autodetecção mostra poder de detecção semelhante ao ZeroGPT, mas observe que o objetivo deste estudo não é afirmar que a autodetecção é superior a outros métodos, o que exigiria um estudo amplo para comparar com muitas ferramentas de detecção de conteúdo de IA de ponta. Aqui, investigamos apenas a capacidade básica dos modelos de se autodetectarem.”

Conclusões e Insights

Os resultados do teste confirmam que detectar conteúdo gerado por IA não é uma tarefa fácil. Bard consegue detectar seu próprio conteúdo e conteúdo parafraaseado.

O ChatGPT consegue detectar seu próprio conteúdo, mas funciona menos bem em seu conteúdo parafraaseado.

O Claude se destaca porque não consegue se autodetectar de forma confiável, mas conseguiu detectar o conteúdo parafraaseado, o que foi meio estranho e inesperado.

Detectar os ensaios originais de Claude e os ensaios parafraaseados foi um desafio para o ZeroGPT e para os outros modelos de IA.

Os pesquisadores observaram sobre os resultados do Claude:

“Este resultado aparentemente inconclusivo precisa de mais consideração, pois é impulsionado por duas causas conflitantes.

1) A capacidade do modelo de criar texto com poucos artefatos detectáveis. Como o objetivo desses sistemas é gerar texto semelhante ao humano, menos artefatos que são mais difíceis de detectar significam que o modelo se aproxima desse objetivo.

2) A capacidade inerente do modelo de se autodetectar pode ser afetada pela arquitetura utilizada, pela sugestão e pelo ajuste fino aplicado.”

Os pesquisadores fizeram esta observação adicional sobre o Claude:

“Apenas o Claude não pode ser detectado. Isso indica que o Claude pode produzir menos artefatos detectáveis do que os outros modelos.

A taxa de detecção da autodetecção segue a mesma tendência, indicando que o Claude cria texto com menos artefatos, tornando mais difícil distingui-lo da escrita humana”.

No entanto, a parte estranha é que o Claude também foi incapaz de se autodetectar seu próprio conteúdo original, ao contrário dos outros dois modelos que tiveram uma taxa de sucesso maior.

Os pesquisadores indicaram que a autodetecção continua sendo uma área interessante para pesquisas futuras e propuseram que estudos adicionais possam se concentrar em conjuntos de dados maiores com uma maior diversidade de texto gerado por IA, testar modelos de IA adicionais, uma comparação com mais detectores de IA e, por último, sugeriram estudar como a engenharia de sugestões pode influenciar os níveis de detecção.

O conteúdo deste artigo foi traduzido do artigo original e.

Deixe um comentário

O seu endereço de email não será publicado. Campos obrigatórios marcados com *