[Linkllet] 흔한 N+1 문제 해결하기

BackEnd/Linkllet

[Linkllet] 흔한 N+1 문제 해결하기

샤아이인 2023. 7. 21. 13:19

1. 문제 되는 상황

팀원 중 한 분이 폴더 목록을 조회할 때, 해당 폴더 내부에 몇 개의 링크가 저장되어 있는지 그 원소의 수 또한 함께 전달해 달라 요청해 주셨습니다.

이 카톡을 처음 봤을 때 시간이 늦은 시간이었던 지라 매우 간단하게 생각하고 다음날 바로 구현하겠다 하고 눈을 감았습니다만....

그럴 때 있잖아요? 뭔가 실수한 거 같아서 눈은 감고 있지만 계속 생각날 때?

머릿속에 스쳐 지나가는 N+1 쿼리 문제.... 아 이거 폴더마다 count 쿼리가 날아갈 텐데... 아읔....

일단 자야지 하면서.... 계속 어떻게 구현할지 생각하다 잠들어버렸습니다.....

다음날 눈 뜨자마자 N+1을 외치면서 눈을 뜨게 되었습니다... (진짜로.. 눈뜨자 마다 이생각부터 난...)

1 - 1) ER 다이어그램

현제 저희 프로젝트의 대략적인 E-R 다이어그렘은 다음과 같습니다.

Folder : Artice = 1 : N의 관계로 형성되어 있죠. 이게 문제의 시작 지점입니다.

(추가로 Folder가 Aggregate Root 역할을 하기 때문에 Root인 Folder를 통해서만 연산을 수행할 수 있는 구조입니다 by DDD)

1 - 2) 데이터 테이블

DB상에 저장된 있는 데이터를 살펴보면 다음과 같습니다.

▶ Folder 테이블 데이터

총 4개의 folder가 저장되어 있는 것을 확인할 수 있습니다.

▶ Article 테이블 데이터

총 5개의 데이터, 1번 폴더 0개, 2번 폴더 2개, 3번 폴더 3개, 4번 폴더 0개 가 저장되어 있습니다.

즉 다음과 같은 상태입니다.

1 - 3) 문제가 되는 코드

특정 유저의 모든 Folder를 찾아온 후, Folder에 포함된 Article의 사이즈를 구하는 가장 간단한 로직은 대략 다음과 같아지는데...

@Transactional(readOnly = true)
fun lookupFolderList(deviceId: String): FolderLookupListResponse {
    val findMember = memberRepository.findByDeviceIdOrThrow(deviceId)

    return folderRepository.findAllByMemberId(findMember.getId)
            .map { FolderLookupDto.of(it) }
            .let(::FolderLookupListResponse)
}

findAllByMemberId로 모든 Folder를 찾아온 후, FolderLookupDto.of() 메서드를 통해 DTO로 변환하게 됩니다.

data class FolderLookupDto(
        val id: Long,
        val name: String,
        val type: FolderType,
        val size: Int,
) {
    companion object {
        fun of(folder: Folder): FolderLookupDto 
           = FolderLookupDto(folder.getId, folder.name, folder.getType, folder.size)
    }
}

이렇게 하면 로직상 간단하고, 매우 직관적이며, 정상적으로 동작한다는 점을 확인할 수 있습니다.

하지만 문제점이 남아 있으니...

N+1 쿼리 문제 바로 발생!

다음과 같이 Folder 전체를 조회하는 쿼리와 각각의 Folder가 본인들의 article을 조회하는 쿼리가 4개 추가적으로 발생한 것을 알 수 있었습니다.