Ao contrário do ChatGPT, GPT-4 passa com distinção no exame à Ordem dos Advogados

A OpenAI apresentou ontem uma versão ainda melhor do ChatGPT, o GPT-4 que se destaca pela sua capacidade de raciocínio, quase como se fosse um humano. Os resultados mostram que o GPT-4, ao contrário do ChatGPT, foi capaz de passar com distinção no exame exaustivo de acesso à Ordem dos Advogados nos EUA.

Logo depois do anúncio da nova versão do GPT-4 foi divulgado um estudo que revela bem as potencialidades da nova inteligência artificial (IA). Nos Estados Unidos, para se poder exercer a profissão de advogado é necessário passar a um exame exaustivo que dura dois dias e que dá acesso aquilo que aqui em Portugal é equivalente à Ordem dos Advogados.

Segundo o estudo, o GPT-4 é capaz de superar a maioria das pessoas formadas em direito no exame da ordem.

O GPT-4, o modelo atualizado de IA lançado esta semana pela OpenAI, obteve 297 pontos no exame da ordem numa experiência conduzida por dois professores de direito e dois funcionários da empresa de tecnologia jurídica Casetext. O GPT-4 ficou classificado no percentil 90 dos alunos reais do teste e é suficiente para ser admitido para exercer a advocacia na maioria dos estados.

O exame da ordem avalia conhecimento e raciocínio, inclui ensaios e testes de desempenho destinados a simular o trabalho jurídico, bem como questões de múltipla escolha.

Os autores referem que:

Modelos de linguagem grandes podem atender ao padrão aplicado a advogados humanos em quase todas as jurisdições nos Estados Unidos, lidando com tarefas complexas que exigem profundo conhecimento jurídico, compreensão de leitura e capacidade de escrita

Há menos de 4 meses, o mesmo estudo foi feito pela equipa de investigadores e concluiu que o ChatGPT não estava apto a passar ao exame de acesso à ordem. Destaca-se portanto a rapidez com que a tecnologia evoluiu e está disponível para todos.

Poderá o GPT-4 substituir os advogados?

O GPT-4 mais recente acertou quase 76% das questões de escolha múltipla do exame da barra, contra cerca de 50% do ChatGPT, superando o desempenho do candidato humano médio em mais de 7%.

A Conferência Nacional de Examinadores de Ordem, que projeta a secção de escolha múltipla, disse em comunicado que os advogados têm habilidades únicas adquiridas através da educação e experiência que “a IA não pode igualar atualmente”. Contudo, o coautor do estudo Daniel Katz, professor do Chicago-Kent College of Law, revelou que ficou muito surpreso com a capacidade do GPT-4 de produzir ensaios e respostas de testes de desempenho amplamente relevantes e coerentes.

Neste artigo, ao falar em ChatGPT estamos a referir-nos à versão GPT-3.5, tal como é referido no estudo apresentado.