Heart's Develop Inside (WP)

Heart's Develop Blog in WordPress.com

Storm practice : Word Count in Local Cluster

leave a comment »

학습 목적으로 storm-starter 의 WordCountTopology 를 직접 구현해 보았습니다.
storm-starter 의 예제 코드가 잘 되어 있고 간단한 사용은 어렵지 않게 되어 있어서 금방 만들고 확인할 수 있었네요.

[gist 6199943]

Local Cluster (Macbook Air 2011 13인치) 에서 돌려 보았는데…
Spout 과 Bolt 의 worker 수를 잘 정의해야 문제가 생기지 않습니다.
입력 속도가 처리 속도보다 많이 빠를 경우 아래처럼 로그가 계속 찍히고 처리가 중지됩니다.

[Thread-29] INFO backtype.storm.daemon.executor – Processing received message source: __system:-1, stream: __tick, id: {}, [5]

ps. Storm 문서에서는 Topology 에서 Spout 을 통해 유입되는 데이터가 1번 이상 처리되는 것을 보증한다고 합니다. 정확히 1 번 처리되게 하려면 Trident API 를 사용해야 합니다.

http://storm-project.net/about/guarantees-data-processing.html

Storm’s basic abstractions provide an at-least-once processing guarantee, the same guarantee you get when using a queueing system. Messages are only replayed when there are failures.
Using Trident, a higher level abstraction over Storm’s basic abstractions, you can achieve exactly-once processing semantics.

Advertisements

Written by kabhwan

2013년 8월 10일 , 시간: 7:37 오후

Storm에 게시됨

Tagged with , ,

답글 남기기

아래 항목을 채우거나 오른쪽 아이콘 중 하나를 클릭하여 로그 인 하세요:

WordPress.com 로고

WordPress.com의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Twitter 사진

Twitter의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Facebook 사진

Facebook의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

Google+ photo

Google+의 계정을 사용하여 댓글을 남깁니다. 로그아웃 / 변경 )

%s에 연결하는 중

%d 블로거가 이것을 좋아합니다: