참가자가 평가한 답변의 품질. 신용 거래: 컴퓨팅 시스템의 인적 요소에 관한 CHI 회의 진행 (2024). 도이: 10.1145/3613904.3642596
퍼듀 대학교(Purdue University)의 컴퓨터 과학자 팀은 인기 있는 LLM 프로그램인 ChatGPT가 컴퓨터 프로그래밍 질문에 답할 때 매우 부정확하다는 사실을 발견했습니다. ~에 종이 의 일부로 게시됨 컴퓨팅 시스템의 인적 요소에 관한 CHI 회의 진행그룹은 StackOverflow에서 질문을 가져와 ChatGPT에 게시한 다음 응답 시 정확성을 측정한 방법을 설명합니다.
또한 팀은 컴퓨팅 시스템의 인간 요소 컨퍼런스에서 연구 결과를 발표했습니다(치 2024)가 5월 11일부터 16일까지 개최되었습니다.
ChatGPT 및 기타 LLM 소프트웨어는 최근 뉴스에 많이 등장했으며 이러한 응용 프로그램이 일반 대중에게 공개되면서 매우 인기를 얻었습니다. 불행하게도 이러한 앱에서 제공하는 많은 응답에 포함된 유용한 정보와 함께 부정확한 정보도 많이 있습니다. 더욱 불행한 점은 앱이 잘못된 답변을 제공하는 경우가 항상 명확하지 않다는 것입니다.
이 새로운 연구에서 Purdue 팀은 많은 프로그래밍 학생들이 프로그래밍 과제를 위한 코드 작성을 도울 뿐만 아니라 프로그래밍 관련 질문에 답하기 위해 MBA를 사용하기 시작했다는 것을 관찰했습니다. 예를 들어, 학생은 ChatGPT에게 “버블 정렬과 병합 정렬의 차이점은 무엇입니까?” 또는 더 일반적으로는 재귀가 무엇인지 질문할 수 있습니다.
MBA가 이러한 질문에 얼마나 정확하게 답할 수 있는지 알아보기 위해 연구팀은 그중 하나인 ChatGPT에만 노력을 집중했습니다. 앱 테스트에 사용할 질문을 찾기 위해 연구원들은 프로그래머가 관심 분야의 다른 사람들과 협력하여 프로그래밍에 대해 더 많이 배울 수 있도록 만들어진 사이트인 StackOverflow에서 무료로 제공되는 질문을 사용했습니다. 사이트의 한 부분에서 사용자는 답변을 알고 있는 다른 사람들이 답변할 질문을 게시할 수 있습니다.
연구팀은 사이트에서 517개의 질문을 사용한 후 ChatGPT가 정답을 제공한 횟수를 측정했습니다. 안타깝게도 이는 전체 사례의 52%에 불과했습니다. 그들은 또한 인간 전문가가 동일한 질문을 받았을 때보다 답변이 더 자세한 경향이 있음을 발견했습니다.
놀랍게도 팀은 사용자 연구 참가자가 35%의 시간 동안 ChatGPT에서 제공한 답변을 선호한다는 사실을 발견했습니다. 연구원들은 또한 ChatGPT에서 제공하는 답변을 읽는 동일한 사용자가 오류를 인지하지 못하고 오히려 39%의 경우 잘못된 답변을 간과하는 경우가 더 많다는 것을 발견했습니다.
추가 정보:
Samia Kabir et al., 스택 오버플로가 오래되었나요? Stack Overflow 질문에 대한 ChatGPT 답변의 속성에 대한 실험적 연구는 다음과 같습니다. 컴퓨팅 시스템의 인적 요소에 관한 CHI 회의 진행 (2024). 도이: 10.1145/3613904.3642596
© 2024 사이언스 웹
인용구: 과학자들은 컴퓨터 프로그래밍 질문에 답변할 때 ChatGPT가 부정확하다고 판단합니다(2024년 5월 27일) https://techxplore.com/news/2024-05-scientists-chatgpt-inaccurate.html에서 2024년 5월 27일에 검색됨
이 문서는 저작권의 보호를 받습니다. 사적인 연구나 조사를 위한 공정한 거래에도 불구하고, 서면 허가 없이는 어떤 부분도 복제할 수 없습니다. 해당 콘텐츠는 정보 제공의 목적으로만 제공됩니다.
“Ah Dong-yul, who shares his thoughts on various topics through Twitter, is mentally deep. He loves beer, but sometimes his aloofness stands out. However, his passion for music is more genuine than anyone else’s.”