Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[BE] - AI 모델 성능 테스트를 위한 LangSmith 설치 및 API 추가 #35

Open
wants to merge 4 commits into
base: develop
Choose a base branch
from

Conversation

dooohun
Copy link
Collaborator

@dooohun dooohun commented Feb 19, 2025

📝작업 내용

  • LangSmith 설치
  • zod 설치
  • QuizEvaluationService QuizEvaluationController 추가

createLargeDataset - 다량의 데이터셋 생성 요청 메서드
jsonSchemaEvaluator - zod를 이용한 JSON 응답 검증 평가자 메서드
relevanceEvaluator - AI 기반 퀴즈 문맥 적절성 평가 메서드

AI 모델 성능 테스트의 목적

AI 모델의 퀴즈 생성 기능을 한 번이 아닌 많은 양의 테스트를 진행하여 AI 모델 성능을 한 눈에 확인하는 데 있다.

AI 모델 성능 테스트 평가 기준

  • JSON 응답이 올바른 스키마를 따르는가?
  • 퀴즈의 개수, 선택지의 개수 등 요청한 조건을 충족하는가?
  • 퀴즈의 내용이 실제로 사용자가 요청한 값과 관련있는 내용인가?

스크린샷

image image

@dooohun dooohun added ✨ Feature 기능 작업 ✅ Test 테스트 관련 작업 labels Feb 19, 2025
@dooohun dooohun requested a review from glaxyt February 19, 2025 04:44
@dooohun dooohun self-assigned this Feb 19, 2025
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
✨ Feature 기능 작업 ✅ Test 테스트 관련 작업
Projects
None yet
Development

Successfully merging this pull request may close these issues.

1 participant