Spring Batch (3)

🤩 Spring Batch 시스템을 만들어봅시다 !

 

SpringBoot 프로젝트는 IntelliJ를 사용하실 경우, 툴 내에서 생성이 가능합니다. 사용하지 않으실 경우, spring.io라는 공식 사이트를 이용하시면 편리하게 생성하실 수 있습니다.

해당 포스트는 조졸두님의 jojoldu.tistory.com/325?category=902551 포스트를 기반한 포스트입니다.

 

먼저, 정말 정말 정말 * 100 간단한 배치 시스템을 만들어보겠습니다.

일단 BatchApplication.java에 @EnableBatchProcessing 어노테이션을 추가하여 Spring Batch가 동작할 수 있는 어플리케이션으로 만들어주어야 합니다.

import org.springframework.batch.core.configuration.annotation.EnableBatchProcessing;
import org.springframework.boot.SpringApplication;
import org.springframework.boot.autoconfigure.SpringBootApplication;

// Spring Batch를 사용하기 위해 꼭 필요한 어노테이션
@EnableBatchProcessing
@SpringBootApplication
public class BatchApplication {

    public static void main(String[] args) {
        SpringApplication.run(BatchApplication.class, args);
    }

}

 

그 후, SimpleJobConfiguration.java라는 파일을 생성하여 Job과 Step을 생성합니다.

import lombok.RequiredArgsConstructor;
import lombok.extern.slf4j.Slf4j;
import org.springframework.batch.core.Step;
import org.springframework.batch.core.Job;
import org.springframework.batch.core.configuration.annotation.JobBuilderFactory;
import org.springframework.batch.core.configuration.annotation.StepBuilderFactory;
import org.springframework.batch.repeat.RepeatStatus;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Slf4j
@RequiredArgsConstructor // 생성자 DI를 위한 lombok 어노테이션
@Configuration // SpringBatch의 모든 job은 해당 어노테이션이 필요
public class SimpleJobConfiguration {
    private final JobBuilderFactory jobBuilderFactory;
    private final StepBuilderFactory stepBuilderFactory;

    @Bean
    public Job simpleJob() {
        return jobBuilderFactory.get("simpleJob") // Job 이름은 Builder를 통해 생성
                .start(simpleStep1()) //Step
                .build();
    }

    @Bean
    public Step simpleStep1() {
        return stepBuilderFactory.get("simpleStep1") // Step 이름은 Builder를 통해 생성
                // step 안에서 실행될 기능들을 tasklet 방식을 통해 지정
                .tasklet((contribution, chunkContext) -> {
                    log.info(">>>>> 이곳은 simpleStep1 입니다.");
                    return RepeatStatus.FINISHED;
                })
                .build();
    }
}

 

이렇게 하여, 어플리케이션을 실행하게 되면 다음과 같이 Job과 그에 속한 Step을 실행하고 어플리케이션이 ShutDown되는 것을 보실 수 있습니다. (원래의 웹이라면 ShutDown이 안되는데 말이죠!)

이렇게 하나의 Batch Application이 만들어졌습니다..!

---

 

🤔 근데, Batch Application은 이렇게 간단하지 않을텐데요...?

네, 그래서 이제 DB도 연결해보고 .. Chunk방식도 사용해 위 예제보다 좀 더 복잡한 Batch Application을 만들어볼게요!

 

그 전에 먼저 Meta Data라는 것을 좀 볼까요...?

👩🏻‍🏫 Spring Batch MetaData

Spring에서 제공하는 Meta Data Schema(docs.spring.io/spring-batch/docs/3.0.x/reference/html/metaDataSchema.html)는 다음과 같습니다.

이 MetaData는 다음과 같은 정보들을 담고 있는데요.

- 이전에 실행한 Job의 정보

- 최근 실패한 Batch Parameter의 정보

- 성공한 Job의 정보

- 다시 실행한다면 어디서 부터 시작하면 되는지에 대한 정보

- 어떤 Job에 어떤 Step들이 있었고, Step들 중 성공한 Step과 실패한 Step들은 어떤것들이 있는지

등등...

한 마디로 Batch System이 Run될 때의 모든 정보들을 담고 있다고 생각하시면 됩니다...!

 

다음과 같은 구조를 가진 테이블이 프로젝트와 연결된 DB에 존재해야지만, SpringBatch가 동작할 수 있는데요!

기본적으로 H2 DB를 사용할 경우, 해당 테이블을 Boot가 실행될때 자동으로 생성해주지만, 

MySQL이나 Oracle과 같은 DB를 사용할때는 개발자가 직접 생성해야합니다.

 

다행스럽게도 밑의 이미지 경로에 이 테이블들에 대한 SQL파일들이 생성되어 있으니, 각자 DB에 삽입해주시면 됩니다.

 

---

🤩 MySQL과 연동하기

각 운영체제에 맞추어 MySQL을 설치하고 계정 정보를 설정합니다. (웹상에 많이 나와있어 생략하겠습니다.)

설정 후, 프로젝트의 application.yml에 다음과 같이 추가를 해줍니다.

해당 코드의 의미는 h2 / mysql 환경을 active를 통해 조작할 수 있도록 하는 것입니다. 

우리는 많은 데이터들을 저장할 필요가 있기에 active의 local을 mysql로 바꾸어줍니다.

spring:
  profiles:
    active: local

spring:
  profiles: local
  datasource:
    hikari:
      jdbc-url: jdbc:h2:mem:testdb;DB_CLOSE_DELAY=-1;DB_CLOSE_ON_EXIT=FALSE
      username: 
      password:
      driver-class-name: org.h2.Driver

spring:
  profiles: mysql
  datasource:
    hikari:
      jdbc-url: jdbc:mysql://localhost:3306/spring_batch
      username: root
      password:
      driver-class-name: com.mysql.jdbc.Driver