LLM 모델이 예측한 answer와 train dataset의 answer가 다른 경우 어떻게 해야할까?

[Sujinkim-625]

여러개의 LLM 모델이 예측한 answer가 모두 동일하고, train dataset의 answer만 다른 경우, 이 데이터셋은 어떻게 해야할까?

ex.

generation-for-nlp-813	한 학생이 이미 3시간 동안 시험 공부를 한 후, 같은 시험을 위해 1시간 더 공부를 하겠다고 결심합니다.	다음 중 사실일 가능성이 가장 높은 것은?	['네 번째 시간의 한계 편익은 네 번째 시간의 한계 비용보다 확실히 적다.', '네 번째 시간의 한계 편익은 네 번째 시간의 한계 비용보다 확실히 많다.', '학생의 시험 공부에 대한 기회 비용을 알지 못하면 학생의 한계 편익이 한계 비용보다 큰지 여부를 알 수 없다.', '세 번째 시간의 한계 비용은 네 번째 시간의 한계 비용보다 더 컸을 가능성이 높다.']

gpt와 엑사원은 모두 3번으로 예측하였는데, train dataset은 2라고 한다.

[luckyvickyricky]

• 현재 [EXP]EXAONE-3.0-7.8 모델 및 디노이즈 성능분석 #38 의 결과를 보면 문제가 되는 데이터를 제거하여도 성능하락이 거의 없습니다.
• 학습없이 추론만 한경우에는 낮은 성능이 보이는 것을 보아, 모델 자체의 깡성능이 높아서 성능하락폭이 낮게 나오는 결과는 아닌 것 같습니다.
• 따라서 삭제를 하거나 paragraph를 보완하는 쪽으로 가면 어떨까 합니다.