refactor: 임베딩 모델 로컬 모델로 변경

Dockerfile.module

@@ -1,7 +1,7 @@
 # node_modules를 가지고 있는 이미지
 # 이 이미지를 기반으로 각 workspace 별 이미지를 만들면 
 # yarn install 레이어를 공유하게 된다.
-FROM node:20-alpine
+FROM node:20-slim
 
 WORKDIR /app
 
@@ -12,4 +12,4 @@ COPY apps/frontend/package.json ./apps/frontend/
 COPY apps/websocket/package.json ./apps/websocket/
 
 # 의존성 설치
-RUN yarn install
+RUN yarn install --check--files && yarn cache clean

apps/backend/package.json

@@ -21,9 +21,11 @@
   },
   "dependencies": {
     "@aws-sdk/client-s3": "^3.693.0",
+    "@huggingface/transformers": "^3.3.3",
     "@langchain/community": "^0.3.28",
     "@langchain/core": "^0.3.37",
     "@langchain/openai": "^0.4.2",
+    "@langchain/textsplitters": "^0.1.0",
     "@nestjs/common": "^10.0.0",
     "@nestjs/config": "^3.3.0",
     "@nestjs/core": "^10.0.0",

apps/backend/src/langchain/langchain.service.ts

@@ -4,13 +4,13 @@ import {
   PGVectorStore,
   DistanceStrategy,
 } from '@langchain/community/vectorstores/pgvector';
-import { OpenAIEmbeddings } from '@langchain/openai';
 import { PoolConfig } from 'pg';
 import type { Document } from '@langchain/core/documents';
 import { v4 as uuidv4 } from 'uuid';
 import { ChatOpenAI } from '@langchain/openai';
 import { pull } from 'langchain/hub';
 import { ChatPromptTemplate } from '@langchain/core/prompts';
+import { HuggingFaceTransformersEmbeddings } from '@langchain/community/embeddings/huggingface_transformers';
 
 const llm = new ChatOpenAI({
   model: 'gpt-4o-mini',
@@ -21,8 +21,8 @@ type DocumentInfo = {
   content: string;
 };
 // Embeddings 초기화
-const embeddings = new OpenAIEmbeddings({
-  model: 'text-embedding-3-small',
+const embeddings = new HuggingFaceTransformersEmbeddings({
+  model: 'Xenova/all-MiniLM-L6-v2',
 });
 
 @Injectable()

apps/frontend/src/features/AI/ui/QuestionForm/index.tsx

@@ -34,8 +34,8 @@ export function QuestionForm({
       },
     );
 
-    const reader = response.body
-      .pipeThrough(new TextDecoderStream())
+    const reader = response
+      .body!!.pipeThrough(new TextDecoderStream())
       .getReader();
     while (true) {
       const { value, done } = await reader.read();

services/module/Dockerfile

@@ -1,7 +1,7 @@
 # COPY 명령어는 여러 디렉토리를 목적지로 파일 복사하는 것이 불가능하다.
 # 빌드 스테이지에서 COPY 명령어를 여러 번 생성해서 여러 디렉토리로 파일을 복사한다.
 # 그 후 그 디렉토리 자체를 다음 스테이지에서 그대로 복사하여 layer의 개수를 줄인다.
-FROM node:20-alpine as builder 
+FROM node:20-slim as builder 
 
 WORKDIR /app
 

services/module/Dockerfile.init

@@ -1,7 +1,7 @@
 # COPY 명령어는 여러 디렉토리를 목적지로 파일 복사하는 것이 불가능하다.
 # 빌드 스테이지에서 COPY 명령어를 여러 번 생성해서 여러 디렉토리로 파일을 복사한다.
 # 그 후 그 디렉토리 자체를 다음 스테이지에서 그대로 복사하여 layer의 개수를 줄인다.
-FROM node:20-alpine as builder 
+FROM node:20-slim as builder 
 
 WORKDIR /app