Spring Batch (2)

🤔 Step을 처리하는 방식 

1. Tasklet 방식  :

잘 사용하지 않는 방식이긴 합니다.

Input/Output에 대한 process가 없는 단순 통계, 일반적인 Query 수행과 같은 간단한 Batch에 사용하곤 합니다.

Chunk의  ItemReader, ItemProcessor, ItemWirter의 과정을 단일 작업으로 인식하여 Step을 수행합니다.

 

2. Chunk 방식 :

지정한 Chunksize에 맞게 ItemReader, ItemProcessor, ItemWirter로 나눠 Step을 처리하는 방식입니다.

 

정리하자면, Spring Batch에서는 Job이 있는데요.

이 Job은 여러개의 Step으로 구성되고,

Step 은 Tasklet || Chunk로 구성된다고 생각하시면 됩니다.

---

🤔 Chunk

Chunk란 처리되는 row(data)의 갯수를 얘기합니다 .

ChunkSize = 5 라면, 5개의 data가 하나씩 읽혀지고 하나의 Chunk를 이루어 한 번에 처리된다는 것이죠! 

 

😳 Chunk가 중요한 이유는 무엇일까요 ?

여러분이 10000개의 data에 대한 처리를 매일 매일 진행해야 하는 업무가 있습니다.

근데, 어느 날 9876번째 데이터를 처리하는 와중에 에러가 발생했습니다... 그럼, 일반적인 프로그램은 1번째부터 다시 처리를 시작하게 됩니다. 그러나, Chunk를 이용하게 되면, 9876번째 데이터가 속한 chunk부터 다시 처리를 시작할 수 있게됩니다.

이렇게 되면, 시간과 자원 모두 아낄 수 있겠죠?

 

😳 Chunk는 어떻게 처리되나요?

만약 ChunkSize가 5 라고 생각할 때, IteamReader, ItemProcessor에서 하나하나 순서대로 5개를 처리하고 ItemWriter에서 5건의 데이터를 한 번에 처리합니다.

 ItemReader의 read() 메소드는 Item 하나를 반환하는 반면, ItemWriter의 write()는 인자로 Item List를 받습니다.

 

다시 정리하자면,

Reader와 Processor에서는 1건씩 다뤄지고,

Writer에선 Chunk 단위로 처리됩니다.

 

for(int i=0; i<totalSize; i+=chunkSize){ 
    List items = new Arraylist();
    for(int j = 0; j < chunkSize; j++){
        Object item = itemReader.read()
        Object processedItem = itemProcessor.process(item);
        items.add(processedItem);
    }
    itemWriter.write(items);
}

조졸두님의 블로그(jojoldu.tistory.com/331)에 작성된 Java를 이용해 청크지향 프로세스 처리 과정을 보여준 예제입니다.

 

---

🤔 Page Size와 Chunk Size 뭐가 다른가요?

Page Size : 한 번에 조회할 data의 양

Chunk Size : 한 트랜잭션에서 처리할 data의 양

 

만약, PageSize = 10 이고, Chunk Size = 50 이라고 생각해봅시다!

이 말은 IteamReader에서 조회가 5번 이루어져야 1번의 Transaction이 발생해 Chunk가 처리된다는 말입니다.

 

이 두 가지는 완전히 다른 의미를 갖지만, 2개 값을 일치시키는 것이 보편적이며 좋은 방법이라고 합니다.

 

 

<일치하지 않음으로 인해 벌어지는 이슈>

Spring Batch에서 영속성 컨텍스트 문제 (processor에서 lazyException 발생할때)