實做新的 Metric Collector

[chinghongfang]

現在我們的 Dispatcher 會需要使用 Metric Collector 獲取 broker 的效能數據，暫時儲存於記憶體內。當應用端的 producer 量增加時，我們 broker JMX server 要對應的連線數也會增加，且大量的 JMX 連線有著不可忽視的成本。
我們可以提供一個統一介面，運行一隻獨立的程式，負責和各 broker 做 JMX 連線，抓取各個 broker 的效能數據，並放到一個 middleware 管理，如此一來，大量的 Metric Collector 僅需要和 middleware 索取資料，連線方面的問題也較好優化，不會被 JMX 連線的 protocol 限制住。

middleware 預計重複利用 Kafka ，用 inner-topic 來存放 broker 效能數據，也因為 Kafka 本身需要應對大量 producer, consumer，在 protocol 設計上也有考慮連線數優化的問題。藉此應付大量 MetricCollector 要索取 broker 效能數據時的負擔。

• 效能數據拉取、發布腳本 (Metric publisher #1481 )
• 數據資料結構，ClusterBean BeanObject 轉換 (serializer, deserializer) ([SERIALIZATION] Serialize BeanObject by protoBuf #1640 )
• MetricCollector 實做從 inter-topic 拉取 broker 效能數據 ([Metric] Implement metric collector fetch from topic #1545 )

[chia7712]

@chinghongfang 感謝提供概念，實驗的部分需要早一點完成，知道要觀察的數字(對象)有助於我們開發過程中做檢查

[chia7712]

@chinghongfan 請問狀況如何？

[chinghongfang]

@chinghongfan 請問狀況如何？

Serialization/deserialization #1581 目前測好 “手刻版” 和 “使用protobuf”，目前在嘗試使用 avro 測試，不過因為 avro 沒有官方的 gradle plugin, 現在在看 gradle 的文件，嘗試用 gradle 來管 gen code。

[chia7712]

感謝回覆，如果這幾天無法完成的話，就把這個議題移動到 0.3.0

[chinghongfang]

Closed by #1481 , #1545 , #1640