[네트워크] 로드 밸런싱 (Load Balancing)

로드 밸런싱 (Load Balancing) 이란?

• 네트워크 또는 서버에 가해지는 부하(Load)를 분산(Balancing) 해주는 기술이다.
• 중앙처리장치 혹은 저장장치와 같은 컴퓨터 자원들에게 작업을 나누는 것을 의미한다.

 

로드 밸런싱의 필요성?

로드밸런싱은 여러 대의 서버를 두고 서비스를 제공하는 분산 처리 시스템에서 필요한 기술이다.

 

서비스의 제공 초기 단계라면 적은 수의 클라이언트로 인해 서버 한 대로 요청에 응답하는 것이 가능하다.

하지만 사업의 규모가 확장되고, 클라이언트의 수가 늘어나게 되면 기존 서버만으로는 정상적인 서비스가 불가능하게 된다.

트래픽이 많은 최신 웹 사이트는 클라이언트의 수많은 동시 요청을 처리하고 텍스트, 이미지, 비디오 또는 애플리케이션 데이터 등을 빠르고 안정적인 방식으로 제공해야 한다. 

이러한 대규모 트래픽이 발생하는 사이트들은 서버를 확장해서 운영하는 것이 일반적이다.

 

증가한 트래픽에 대처할 수 있는, 서버를 확장하는 방법은  scale-up, scale-out 2가지가 있다.

 

하드웨어의 성능을 올리거나(Scale-up) 여러대의 서버가 나눠서 일하도록 만드는 것(Scale-out)이다.

 

하드웨어 향상 비용이 더욱 비싸기도 하고, 서버가 여러대면 무중단 서비스를 제공하는 환경 구성이 용이하므로 Scale-out이 효과적이다. 이때 여러 대의 서버에게 트래픽을 균등하게 분산시켜주는것이 바로 로드밸런싱이다.

1. Scale-up

• 서버 자체의 성능을 확장하는 것이다.
• 비유: CPU가 i3인 컴퓨터를 i7으로 업그레이드하는 것과 같다.

 

2. Scale-out

• 기존 서버와 동일하거나 낮은 성능의 서버를 두 대 이상 증설하여 운영하는 것을 의미한다.
• 비유: CPU가 i3인 컴퓨터를 여러 대 추가 구입해 운영하 것과 같다.

 

scale-out 방식으로 여러 서버를 운영 중이더라도 수많은 클라이언트의 요청이 하나의 서버로 몰릴 수 있다. 이렇게 여러 서버를 두더라도 하나의 서버에 집중적으로 부하가 발생할 수 있다는 것이다.

 

이런 특정 서버로의 트래픽 쏠림 현상을 해결하기 위해 로드밸런싱은 반드시 필요한 기술이다.

 

로드 밸런서 (Load Balancer)란?

• 서버의 부하를 분산시키는 하드웨어 또는 소프트웨어이다.
• 로드밸런싱 기술을 제공하는 서비스 또는 장치이다.
• 클라이언트와 네트워크 트래픽이 집중되는 서버들 또는 네트워크 허브 사이에 위치한다.

 

 

로드 밸러서의 종류

'OSI 7 Layer를 기준으로 부하를 어떻게 분산할지'에 따라 종류가 나뉜다.

2, 3계층을 기준으로 부하를 분산하면 각 L2, L3인 방식이다. 상위 계층은 하위 계층의 데이터를 모두 가지기 때문에, 상위 계층일수록 섬세한 로드 밸런싱이 가능하고 하위 계층일수록 간단한 로드 밸런싱만 가능하다. 상위 계층일수록 가격이 비쌌지만 현재 점점 가격차이가 줄어드는 추세여서 L7을 주로 사용한다.

 

로드 밸런싱에는 L4 로드 밸런서와 L7 로드 밸런서가 가장 많이 사용된다. 

 

1. L4 로드 밸런서 (L4 Load Balancing)

• 전송 계층에서 로드를 분산한다.
• IP주소나 포트번호, MAC주소 등에 따라 트래픽을 나누고 분산처리가 가능하다.
  • 4 Layer 이하의 모든 계층의 정보를 가지기 때문에

• CLB(Connection Load Balancer) 혹은 SLB(Session Load Balancer)라고 부르기도 한다.
• L4 로드 밸런서부터 포트 번호를 바탕으로 부하(Load)를 분산하는 것이 가능하다.
  • 한 대의 서버에 각기 다른 포트 번호를 부여하여 다수의 서버 프로그램을 운영하는 경우라면
  • 최소 L4 로드 밸런서 이상을 사용해야만 한다.

 

2. L7 로드 밸런서 (L7 Load Balancing)

• 애플리케이션 계층에서 부하(Load)를 분산한다.
• OSI 7계층의 프로토콜(HTTP, SMTP, FTP 등)을 바탕으로도 분산 처리가 가능하다.
• HTTP 헤더, 쿠키 등과 같은 사용자의 요청을 기준으로 특정 서버에 트래픽을 분산하는 것이 가능하다.
  • 패킷의 내용을 확인해서 그 내용에 따라 트래픽을 특정 서버에 전송하는 것이 가능한 것이다.

• URL에 따라 부하를 분산시키거나, HTTP 헤더의 쿠키값에 따라 부하를 분산하는 등 클라이언트의 요청을 보다 세분화해 서버에 전달할 수 있다. 
• 서버의 응답까지도 알고 분석할 수 있다.
  • 서버들로부터 필요한 정보를 응답 받아
  • 클라이언트의 요청을 전달하기 전에
  • 서버의 상태를 파악한 후 로드밸런싱을 진행할 수 있다.

 

로드 밸런싱 알고리즘 (Load Balancing Algorithm)

로드 밸런서가 서버를 선택하는 방식

 

1. 라운드 로빈 (Round Robin)

• 클라이언트의 요청을 여러 대의 서버에 순차적으로 분배하는 방식이다.
• 모든 서버의 스펙이 동일하거나 비슷한 경우에 사용된다.
• 서버와의 연결(세션)이 오래 지속되지 않는 경우에 활용하기 적합하다.

 

추가적인 계산작업이 없이, 들어온 요청을 빠르게 서버에 분산해 전송하는 1차원적인 주기능에 focus를 맞춘 방식이기 때문에, 가장 많이 사용되는 로드밸런싱 기법이다.

 

2. 가중 라운드 로빈 (Weighted Round Robin)

• 각 서버마다 처리량(가중치)을 지정한 후, 가중치가 높은 서버에 클라이언트 요청을 우선적으로 배분하는 방식이다.
• 주로 서버의 트래픽 처리 용량(능력)이 다를 경우, 즉 특정 서버의 스펙(사양)이 더 좋을 경우 사용된다.

 

예를 들어, A 서버(가중치 3)와 B 서버(가중치 1)가 있고 로드 밸런서가 클라이언트로부터 총 8개의 요청을 받았다면,

A와 B 서버에 각 6개와 2개의 요청이 전달된다.

 

3. IP 해시 (IP Hash)

• 클라이언트의 IP 주소를 특정 서버로 매핑하여 요청을 처리하는 방식이다.
• 클라이언트의 IP 주소가 바뀌지 않으면 동일한 서버로 요청이 보내지는 것을 보장한다.
  • 사용자의 IP를 해싱해 부하(로드)를 분배하기 때문에 사용자가 항상 동일한 서버로 연결되는 것을 보장한다.
  • Hashing: 임의의 길이를 지닌 데이터를 고정된 길이의 데이터로 매핑하는 것, 또는 그러한 함수이다.
• RR 방식과 달리, 서버에 Session clustering이 구성되어 있지 않은 경우에 주로 사용한다.

 

4. 최소 연결 (Least Connection)

• 요청이 들어온 시점에 가장 적은 연결상태를 보이는 서버에 우선적 요청을 전송하는 방식이다.
• 자주 세션이 길어지거나, 서버에 분배된 트래픽들이 일정하지 않은 경우에 적합하다.

 

5. 최소 응답 시간 (Least Response Time)

• 서버의 현재 연결 상태와 응답 시간을 모두 고려하여 트래픽을 배분하는 방식이다.
• 가장 적은 연결 상태와 가장 짧은 응답 시간을 가지는 서버에 우선적으로 요청을 보내는 방식이다.
  • 응답시간(Response Time, 서버에 요청을 보내고 최초 응답을 받을 때까지 소요되는 시간)

 

로드 밸런서 장애 대비

갑작스러운 장애에 대비해 로드 밸런서 서버는 아래와 같이 이중화를 기본으로 구성한다.

 

Active 상태와 Passive 상태

 

로드 밸런서에 장애가 발생했을 시의 시나리오

1. 이중화된 로드 밸런서들은 서로 상태 확인을 한다.
2. Master 서버가 Fail되면 Standby 서버가 자동으로 Master 서버의 역할을 한다.
3. Standby 서버는 평상 시에는 대기 상태로 있다가 Master 서버가 Fail 되었을 경우에만 작동한다.
4. 이 구성을 Fail Over라고 한다.

 

---

참고 자료

https://steady-coding.tistory.com/535

https://gyoogle.dev/blog/computer-science/network/Load%20Balancing.html

https://chunsubyeong.tistory.com/106

https://velog.io/@yanghl98/OS%EC%9A%B4%EC%98%81%EC%B2%B4%EC%A0%9C-%EB%A1%9C%EB%93%9C%EB%B0%B8%EB%9F%B0%EC%8B%B1-Load-Balancing-%EC%A0%95%EC%9D%98-%EC%A2%85%EB%A5%98-%EC%95%8C%EA%B3%A0%EB%A6%AC%EC%A6%98