IA no exame da ordem de Portugal

Este artigo avalia o desempenho de Ferramentas de IA Generativa - ChatGPT 3.5, ChatGPT 4.0 e Gemini - no Exame da Ordem dos Contabilistas Certificados Portuguesa (CPA). Este estudo mostra uma variação significativa na precisão ao longo de 600 questões que cobrem contabilidade financeira, contabilidade de gestão, fiscalidade e ética. Os resultados mostram que o ChatGPT 4.0 teve o melhor desempenho global (precisão média de 48%), seguido pelo Gemini (38%) e pelo ChatGPT 3.5 (36%). Deve também notar-se que tanto o ChatGPT como o Gemini exibem maior dificuldade em responder a questões relacionadas com Contabilidade de Gestão e Contabilidade Financeira, em comparação com questões sobre fiscalidade e ética. Em última análise, estes resultados destacam tanto o potencial como as limitações das Ferramentas de IA Generativa em exames específicos e desafiantes, sugerindo que é necessário mais trabalho para atingir notas de aprovação.

Tradução portuguesa do artigo:

Pinto, A. S., Abreu, A., Costa, E., & Paiva, J. (2024). AI in Accounting: Can AI

Models Like ChatGPT and Gemini Successfully Pass the Portuguese Chartered Ac-

countant Exam? In International Conference in Information Technology and Education

(pp. 429-438). Springer Nature Switzerland. https://doi.org/10.1007/978-3-031-

78155-1_40