cron을 통해 가져온 데이터를 RDB에 저장하는 과정에서 생기는 이슈

[grulla99]

문제 상황

• cron 을 통해 amadeus api를 매일 40건씩 요청하려고 합니다.
• 이 데이터는 메인페이지에서의 항공권 추천과 가격추이기능을 활용될 예정입니다.
• 매건 당 최대 2.0MB의 응답데이터가 오는데, 이 데이터를 RDB(MySQL)에 6개의 테이블로 나눠서 저장하려고 합니다.
• 중복 데이터를 제거하고, 저장하려는데 이 때 읽기 작업 중인 테이블에 대해 쓰기 작업이 가능한지 궁금합니다.

[grulla99]

jeff: MVCC(멀티버전동시성 제어)를 사용한다면 읽기작업이 진행 중인 동안에도 쓰기 작업이 가능합니다. 하지만 사용 중인 테이블의 스토리지 엔진과 트랜잭션 격리 수준에 따라 달라질 수 있습니다. 또한 프로젝트하나의 응답 데이터를 6개의 테이블로 나누어서 저장하는건 비효율적이고, mysql 을 사용할 것이라면 mysql에 json 형식으로 저장할 수 있으니 고려해보시길 바랍니다. 또한 해당 데이터를 이후 정제가 필요하거나 서치 쿼리가 많이 사용된다면 mongodb 사용을 고려해보시길 바랍니다.

[ej31]

답변

또한 프로젝트하나의 응답 데이터를 6개의 테이블로 나누어서 저장하는건 비효율적이고, mysql 을 사용할 것이라면 mysql에 json 형식으로 저장할 수 있으니 고려해보시길 바랍니다. 또한 해당 데이터를 이후 정제가 필요하거나 서치 쿼리가 많이 사용된다면 mongodb 사용을 고려해보시길 바랍니다.

• 이 부분은 잘못 전달 됐습니다.

  • API 응답으로 나온 JSON 데이터 원본을 MYSQL 에 그대로 저장한다면 mongodb 대비 성능 차이가 날 수 밖에 없다는게 전제입니다.
  • JSON 데이터를 예쁘게 파싱해서 RDB에 6개의 테이블로 나누는 것 자체는 괜찮습니다. 다만 아마데우스의 응답이 비정형 상태라는게 불안요소 입니다.
  • 또한 API 콜 한번에 JSON 데이터가 MB 단위로 발생하는 상황에서 MYSQL의 JSON 컬럼타입을 이용한 JSON 데이터 탐색과 mongodb 의 JSON 탐색 속도는 차이가 있을 수 밖에 없다는 점이 핵심입니다.

• 추가적으로 해당 JSON 데이터는 서드파티 (아마데우스) 에서 얻는 데이터이기 때문에 JSON 구조가 변하거나 value의 형태가 변하는 등 이슈가 발생하면 mongodb 가 RDB보다 더 유연할 수 밖에 없습니다.

  • 아마데우스에서 제공해주는 API 응답데이터가 더티데이터 수준은 아니지만 아마데우스 개발서버 API 를 통해 응답이 제멋대로 바뀌어서 내려왔다는 얘길 듣고 나서 RDB를 쓰는게 맞는지 더 애매했습니다. 응답데이터가 비정형이라는 뜻이기 때문이지요.

• 결론적으로 안정적으로 제공해야 하는 점까지 고려해야 한다면 mongodb 가 RDB 보다 더 유연할 수밖에 없습니다.

• 추가적으로 이 점을 이용해서 딥다이브 주제를 선정해보시라 조언해드린 점도 잊지말아주세요!

[grulla99]

이해했습니다. 감사합니다!