No último artigo postado eu testei se o ChatGPT é uma ferramenta apropriada para a pesquisa de jurisprudências e o resultado foi exatamente o que eu esperava de uma inteligência artificial da natureza do ChatGPT.
Com essa experiência e considerando as limitações específicas de uma pesquisa de jurisprudência, resolvi fazer um novo teste na mesma linha, mas agora sobre citações e doutrinas.
Comecei pedindo para que trouxesse uma citação dita por Renato Zambonatto do livro “Legal Design no Brasil”, e o resultado foi o seguinte:
Até então nenhuma surpresa, já que eu realmente nunca escrevi esse livro, e ele não teria como encontrar essa informação – importante destacar que a base de dados do ChatGPT vai apenas até setembro de 2021.
Como eu já esperava essa resposta, parti para o experimento real: tentar encontrar citações de livros existentes e que eu possuo, para verificar a veracidade das informações.
O primeiro teste foi com a obra “Antimanual de Criminologia”, do autor Salo de Carvalho:
O que aconteceu foi que, com o livro em mãos, percebi que o trecho era uma invenção do ChatGPT.
Indaguei sobre a realidade da resposta e em sua réplica o ChatGPT trouxe uma nova citação falsa:
Como eu percebi que isso seria basicamente uma caminhada em círculos, parti para uma abordagem um pouco diferente, dessa vez com o clássico “Desobediência Civil”, escrito por Thoreau.
Novamente com o livro em mãos e imaginando diferenças entre traduções e edições distintas, pedi que ele trouxesse uma citação qualquer da edição específica que eu tinha em mãos:
Como vocês podem ver, ele sequer identificou a edição que eu possuo, mas trouxe um trecho que, sinceramente, eu não consigo afirmar com certeza absoluta que não foi dito por ele.
A frase parece muito com algo que possa ter sido dito por ele, principalmente na temática da obra, mas a falta de citação específica da obra e da página de onde esse trecho fora retirado prejudicam o propósito da minha experiência.
Antes de explicar para vocês o motivo de tais erros, vou mostrar um último pedido:
Apesar de explicar de maneira bem resumida quem é Maria Helena Diniz, as obras não parecem ser obras realmente escritas por ela, apesar de dois títulos indicados serem reais.
O fato de serem reais, no entanto, não significa que a IA acertou na resposta – e esse é o problema.
As respostas são baseadas no bando de dados que, apesar de praticamente infinito (para o processamento humano), não possui todas as informações do mundo. Isso ocorre especialmente por conta das limitações da própria tecnologia, já que o ChatGPT é uma ferramenta predominantemente criativa, e não de busca.
Todas as frases “erradas” apresentadas, apesar de falsas, fazem sentido. E o pior: fazem mais sentido do que muito do que foi realmente dito ou escrito pelos autores indicados.
A natureza do ChatGPT faz com que ele apresente respostas que fazem sentido, e é aí que mora o perigo.
Imaginem as implicações de se apresentar uma citação falsa em um processo. Litigância de má-fé, violações éticas, induzimento ao erro etc. são algumas implicações que consigo pensar em um primeiro momento, mas podemos ir além: e se a parte contrária fizer uso de tais trechos falsos? Quem verifica a veracidade das doutrinas e das jurisprudências? Se ninguém verificar, quais desdobramentos podem surgir?
Se você, operador do Direito, usa ou pretende usar o ChatGPT, fique atento a como a ferramenta funciona. Ela pode ser maravilhosa, mas confiar cegamente nas informações trazidas por ela, como se ela fosse uma invenção plenamente sapiente, que tudo sabe e que tudo vê, com certeza não é a abordagem mais prudente.
