Heart's Develop Inside (WP)

Heart's Develop Blog in WordPress.com

Storm wiki : Fault tolerance 정리

leave a comment »

원문

Fault tolerance

worker 가 죽는 경우

  • supervisor 가 worker 를 재구동시킨다
  • 재구동이 계속 실패하고 Nimbus 로의 heartbeat 가 실패하면, worker 를 다른 서버에 재할당한다

서버가 죽는 경우

  • 서버에 할당된 task 들이 모두 timeout 됨
  • Nimbus 가 timeout 된 task 들을 모두 다른 서버에 할당

Nimbus 나 Supervisor 가 죽는 경우

  • Nimbus 와 Supervisor daemon 들은 fail-fast & stateless 하게 설계됨
    • 모든 상태값들은 zookeeper 나 disk 에 기록
  • Nimbus 와 Supervisor 들은 daemontools 나 monit 등을 통해 관리되어야 한다
  • Nimbus 나 Supervisor 가 죽을 때 worker 에는 영향이 없다
    • Hadoop M/R 과 다른 부분

Nimbus 는 SPOF(Single point of failure) 인가?

  • 현재 일종의 SPOF 상태이다
    • Nimbus 가 죽어도 worker 들은 계속 동작한다
    • 또한 supervisor 들이 worker 가 죽었을 때 재구동 시켜준다
    • 하지만 Nimbus 가 없으면 worker 가 다른 서버에 재할당되어야 할 경우 처리될 수 없다
  • 하지만 Nimbus 가 죽어도 크리티컬하진 않다

Storm 은 데이터 처리를 어떻게 보장하는가?

Advertisements

Written by kabhwan

2013년 8월 18일 , 시간: 10:51 오후

Storm에 게시됨

Tagged with

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

%d 블로거가 이것을 좋아합니다: