最新国产好看的视频,伊人天堂AV在线,国产Aaaaaa视频,蜜臀视频在线观看一区,人妻av色图,密臀久久久精品影片,青青视频免费观看毛片,久草在线观看视,国产三级精品色情在线

實時計算知多少?

 更新時間:2015年07月27日 11:48:48   作者:foreach_break  
這篇文章對滑動窗口計數(shù)的概念和關(guān)鍵代碼做了較為詳細解釋,讓我們對實時計算這一概念有了更深的了解,需要的朋友可以參考下

實時計算是什么?
請看下面的圖:

我們以熱賣產(chǎn)品的統(tǒng)計為例,看下傳統(tǒng)的計算手段:

1將用戶行為、log等信息清洗后保存在數(shù)據(jù)庫中.
2將訂單信息保存在數(shù)據(jù)庫中.
3利用觸發(fā)器或者協(xié)程等方式建立本地索引,或者遠程的獨立索引.
4join訂單信息、訂單明細、用戶信息、商品信息等等表,聚合統(tǒng)計20分鐘內(nèi)熱賣產(chǎn)品,并返回top-10.
5web或app展示.

這是一個假想的場景,但假設(shè)你具有處理類似場景的經(jīng)驗,應(yīng)該會體會到這樣一些問題和難處:

1、水平擴展問題(scale-out)
顯然,如果是一個具有一定規(guī)模的電子商務(wù)網(wǎng)站,數(shù)據(jù)量都是很大的。而交易信息因為涉及事務(wù),所以很難直接舍棄關(guān)系型數(shù)據(jù)庫的事務(wù)能力,遷移到具有更好的scale-out能力的NoSQL數(shù)據(jù)庫中。

那么,一般都會做sharding。歷史數(shù)據(jù)還好說,我們可以按日期來歸檔,并可以通過批處理式的離線計算,將結(jié)果緩存起來。
但是,這里的要求是20分鐘內(nèi),這很難。

2、性能問題
這個問題,和scale-out是一致的,假設(shè)我們做了sharding,因為表分散在各個節(jié)點中,所以我們需要多次入庫,并在業(yè)務(wù)層做聚合計算。

問題是,20分鐘的時間要求,我們需要入庫多少次呢?
10分鐘呢?
5分鐘呢?
實時呢?
而且,業(yè)務(wù)層也同樣面臨著單點計算能力的局限,需要水平擴展,那么還需要考慮一致性的問題。
所以,到這里一切都顯得很復(fù)雜。

3、業(yè)務(wù)擴展問題
假設(shè)我們不僅僅要處理熱賣商品的統(tǒng)計,還要統(tǒng)計廣告點擊、或者迅速根據(jù)用戶的訪問行為判斷用戶特征以調(diào)整其所見的信息,更加符合用戶的潛在需求等,那么業(yè)務(wù)層將會更加復(fù)雜。

也許你有更好的辦法,但實際上,我們需要的是一種新的認知:

這個世界發(fā)生的事,是實時的。
所以我們需要一種實時計算的模型,而不是批處理模型。
我們需要的這種模型,必須能夠處理很大的數(shù)據(jù),所以要有很好的scale-out能力,最好是,我們都不需要考慮太多一致性、復(fù)制的問題。

那么,這種計算模型就是實時計算模型,也可以認為是流式計算模型。

現(xiàn)在假設(shè)我們有了這樣的模型,我們就可以愉快地設(shè)計新的業(yè)務(wù)場景:

轉(zhuǎn)發(fā)最多的微博是什么?
最熱賣的商品有哪些?
大家都在搜索的熱點是什么?
我們哪個廣告,在哪個位置,被點擊最多?

或者說,我們可以問:

這個世界,在發(fā)生什么?

最熱的微博話題是什么?

我們以一個簡單的滑動窗口計數(shù)的問題,來揭開所謂實時計算的神秘面紗。

假設(shè),我們的業(yè)務(wù)要求是:

統(tǒng)計20分鐘內(nèi)最熱的10個微博話題。

解決這個問題,我們需要考慮:

1、數(shù)據(jù)源
這里,假設(shè)我們的數(shù)據(jù),來自微博長連接推送的話題。
2、問題建模
我們認為的話題是#號擴起來的話題,最熱的話題是此話題出現(xiàn)的次數(shù)比其它話題都要多。
比如:@foreach_break : 你好,#世界#,我愛你,#微博#。
“世界”和“微博”就是話題。
3、計算引擎
我們采用storm。
4、定義時間
如何定義時間?
時間的定義是一件很難的事情,取決于所需的精度是多少。
根據(jù)實際,我們一般采用tick來表示時刻這一概念。

在storm的基礎(chǔ)設(shè)施中,executor啟動階段,采用了定時器來觸發(fā)“過了一段時間”這個事件。
如下所示:

(defn setup-ticks! [worker executor-data]
 (let [storm-conf (:storm-conf executor-data)
    tick-time-secs (storm-conf TOPOLOGY-TICK-TUPLE-FREQ-SECS)
    receive-queue (:receive-queue executor-data)
    context (:worker-context executor-data)]
  (when tick-time-secs
   (if (or (system-id? (:component-id executor-data))
       (and (= false (storm-conf TOPOLOGY-ENABLE-MESSAGE-TIMEOUTS))
          (= :spout (:type executor-data))))
    (log-message "Timeouts disabled for executor " (:component-id executor-data) ":" (:executor-id executor-data))
    (schedule-recurring
     (:user-timer worker)
     tick-time-secs
     tick-time-secs
     (fn []
      (disruptor/publish
       receive-queue
       [[nil (TupleImpl. context [tick-time-secs] Constants/SYSTEM_TASK_ID Constants/SYSTEM_TICK_STREAM_ID)]]
       )))))))

每隔一段時間,就會觸發(fā)這樣一個事件,當流的下游的bolt收到一個這樣的事件時,就可以選擇是增量計數(shù)還是將結(jié)果聚合并發(fā)送到流中。

bolt如何判斷收到的tuple表示的是“tick”呢?
負責管理bolt的executor線程,從其訂閱的消息隊列消費消息時,會調(diào)用到bolt的execute方法,那么,可以在execute中這樣判斷:

public static boolean isTick(Tuple tuple) {
  return tuple != null
      && Constants.SYSTEM_COMPONENT_ID .equals(tuple.getSourceComponent())
      && Constants.SYSTEM_TICK_STREAM_ID.equals(tuple.getSourceStreamId());
}

結(jié)合上面的setup-tick!的clojure代碼,我們可以知道SYSTEM_TICK_STREAM_ID在定時事件的回調(diào)中就以構(gòu)造函數(shù)的參數(shù)傳遞給了tuple,那么SYSTEM_COMPONENT_ID是如何來的呢?
可以看到,下面的代碼中,SYSTEM_TASK_ID同樣傳給了tuple:

;; 請注意SYSTEM_TASK_ID和SYSTEM_TICK_STREAM_ID
(TupleImpl. context [tick-time-secs] Constants/SYSTEM_TASK_ID Constants/SYSTEM_TICK_STREAM_ID)
然后利用下面的代碼,就可以得到SYSTEM_COMPONENT_ID:

  public String getComponentId(int taskId) {
    if(taskId==Constants.SYSTEM_TASK_ID) {
      return Constants.SYSTEM_COMPONENT_ID;
    } else {
      return _taskToComponent.get(taskId);
    }
  }

滑動窗口
有了上面的基礎(chǔ)設(shè)施,我們還需要一些手段來完成“工程化”,將設(shè)想變?yōu)楝F(xiàn)實。

這里,我們看看Michael G. Noll的滑動窗口設(shè)計。

Topology
   

String spoutId = "wordGenerator";
  String counterId = "counter";
  String intermediateRankerId = "intermediateRanker";
  String totalRankerId = "finalRanker";
  // 這里,假設(shè)TestWordSpout就是我們發(fā)送話題tuple的源
  builder.setSpout(spoutId, new TestWordSpout(), 5);
  // RollingCountBolt的時間窗口為9秒鐘,每3秒發(fā)送一次統(tǒng)計結(jié)果到下游
  builder.setBolt(counterId, new RollingCountBolt(9, 3), 4).fieldsGrouping(spoutId, new Fields("word"));
  // IntermediateRankingsBolt,將完成部分聚合,統(tǒng)計出top-n的話題
  builder.setBolt(intermediateRankerId, new IntermediateRankingsBolt(TOP_N), 4).fieldsGrouping(counterId, new Fields(
    "obj"));
    // TotalRankingsBolt, 將完成完整聚合,統(tǒng)計出top-n的話題
  builder.setBolt(totalRankerId, new TotalRankingsBolt(TOP_N)).globalGrouping(intermediateRankerId);


上面的topology設(shè)計如下:

將聚合計算與時間結(jié)合起來
前文,我們敘述了tick事件,回調(diào)中會觸發(fā)bolt的execute方法,那可以這么做:

RollingCountBolt:

 @Override
 public void execute(Tuple tuple) {
  if (TupleUtils.isTick(tuple)) {
   LOG.debug("Received tick tuple, triggering emit of current window counts");
   // tick來了,將時間窗口內(nèi)的統(tǒng)計結(jié)果發(fā)送,并讓窗口滾動
   emitCurrentWindowCounts();
  }
  else {
   // 常規(guī)tuple,對話題計數(shù)即可
   countObjAndAck(tuple);
  }
 }

// obj即為話題,增加一個計數(shù) count++
 // 注意,這里的速度基本取決于流的速度,可能每秒百萬,也可能每秒幾十.
 // 內(nèi)存不足? bolt可以scale-out.
 private void countObjAndAck(Tuple tuple) {
  Object obj = tuple.getValue(0);
  counter.incrementCount(obj);
  collector.ack(tuple);
 }
 
 // 將統(tǒng)計結(jié)果發(fā)送到下游
 private void emitCurrentWindowCounts() {
  Map<Object, Long> counts = counter.getCountsThenAdvanceWindow();
  int actualWindowLengthInSeconds = lastModifiedTracker.secondsSinceOldestModification();
  lastModifiedTracker.markAsModified();
  if (actualWindowLengthInSeconds != windowLengthInSeconds) {
   LOG.warn(String.format(WINDOW_LENGTH_WARNING_TEMPLATE, actualWindowLengthInSeconds, windowLengthInSeconds));
  }
  emit(counts, actualWindowLengthInSeconds);
 }

上面的代碼可能有點抽象,看下這個圖就明白了,tick一到,窗口就滾動:

 IntermediateRankingsBolt & TotalRankingsBolt:

 public final void execute(Tuple tuple, BasicOutputCollector collector) {
  if (TupleUtils.isTick(tuple)) {
   getLogger().debug("Received tick tuple, triggering emit of current rankings");
   // 將聚合并排序的結(jié)果發(fā)送到下游
   emitRankings(collector);
  }
  else {
   // 聚合并排序
   updateRankingsWithTuple(tuple);
  }
 }

其中,IntermediateRankingsBolt和TotalRankingsBolt的聚合排序方法略有不同:

IntermediateRankingsBolt的聚合排序方法:

// IntermediateRankingsBolt的聚合排序方法:
 @Override
 void updateRankingsWithTuple(Tuple tuple) {
  // 這一步,將話題、話題出現(xiàn)的次數(shù)提取出來
  Rankable rankable = RankableObjectWithFields.from(tuple);
  // 這一步,將話題出現(xiàn)的次數(shù)進行聚合,然后重排序所有話題
  super.getRankings().updateWith(rankable);
 }

TotalRankingsBolt的聚合排序方法:

// TotalRankingsBolt的聚合排序方法
 @Override
 void updateRankingsWithTuple(Tuple tuple) {
 // 提出來自IntermediateRankingsBolt的中間結(jié)果
  Rankings rankingsToBeMerged = (Rankings) tuple.getValue(0);
 // 聚合并排序
  super.getRankings().updateWith(rankingsToBeMerged);
 // 去0,節(jié)約內(nèi)存
  super.getRankings().pruneZeroCounts();
 }

而重排序方法比較簡單粗暴,因為只求前N個,N不會很大:

 private void rerank() {
  Collections.sort(rankedItems);
  Collections.reverse(rankedItems);
 }

結(jié)語
下圖可能就是我們想要的結(jié)果,我們完成了t0 - t1時刻之間的熱點話題統(tǒng)計,其中的foreach_break僅僅是為了防盜版 : ].

以上就是本文的全部內(nèi)容,希望大家喜歡。

您可能感興趣的文章:

相關(guān)文章

  • 分析JVM的組成結(jié)構(gòu)

    分析JVM的組成結(jié)構(gòu)

    JVM(虛擬機):指以軟件的方式模擬具有完整硬件系統(tǒng)功能、運行在一個完全隔離環(huán)境中的完整計算機系統(tǒng) ,是物理機的軟件實現(xiàn)。JVM和VMware,Virtual Box等虛擬機一樣,都是運行在操作系統(tǒng)之上的計算機系統(tǒng)
    2021-06-06
  • 如何運行SpringBoot項目的方法

    如何運行SpringBoot項目的方法

    這篇文章主要介紹了如何運行SpringBoot項目的方法,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友們下面隨著小編來一起學(xué)習學(xué)習吧
    2020-03-03
  • 分享Java性能調(diào)優(yōu)的11個實用技巧

    分享Java性能調(diào)優(yōu)的11個實用技巧

    這些建議中的大多數(shù)都是基于Java的,但是也不一定,也有一些是可以應(yīng)用于所有的應(yīng)用程序和編程語言的。在我們分享基于Java的性能調(diào)優(yōu)技巧之前,讓我們先討論一下這些通用的性能調(diào)優(yōu)技巧
    2017-11-11
  • Java使用ByteArrayOutputStream 和 ByteArrayInputStream 避免重復(fù)讀取配置文件的方法

    Java使用ByteArrayOutputStream 和 ByteArrayInputStream 避免重復(fù)讀取配置文

    這篇文章主要介紹了Java使用ByteArrayOutputStream 和 ByteArrayInputStream 避免重復(fù)讀取配置文件的方法,需要的朋友可以參考下
    2015-12-12
  • 解決使用redisTemplate高并發(fā)下連接池滿的問題

    解決使用redisTemplate高并發(fā)下連接池滿的問題

    這篇文章主要介紹了解決使用redisTemplate高并發(fā)下連接池滿的問題,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧
    2020-12-12
  • 關(guān)于Java中的dozer對象轉(zhuǎn)換問題

    關(guān)于Java中的dozer對象轉(zhuǎn)換問題

    Dozer是Java?Bean到Java?Bean映射器,它以遞歸方式將數(shù)據(jù)從一個對象復(fù)制到另一個對象,這篇文章主要介紹了Java中的dozer對象轉(zhuǎn)換的操作方法,需要的朋友可以參考下
    2022-08-08
  • Oracle JDBC連接BUG解決方案

    Oracle JDBC連接BUG解決方案

    這篇文章主要介紹了Oracle JDBC連接BUG解決方案,文中通過示例代碼介紹的非常詳細,對大家的學(xué)習或者工作具有一定的參考學(xué)習價值,需要的朋友可以參考下
    2020-10-10
  • Spring注解解析之@ImportResource

    Spring注解解析之@ImportResource

    之前我們使用spring,最多的還是通過xml配置文件的方式來配置spring bean等內(nèi)容,隨著注解的廣泛應(yīng)用和spring4中Java config的引入,xml配置文件方式逐步被替換,但是如果是想要使用xml配置文件方式的話,也可以通過@ImportResource注解來實現(xiàn),下面我們來一起看下如何使用.
    2021-05-05
  • 微信java開發(fā)之實現(xiàn)微信主動推送消息

    微信java開發(fā)之實現(xiàn)微信主動推送消息

    這篇文章主要介紹了微信開發(fā)過程中的使用java實現(xiàn)微信主動推送消息示例,需要的朋友可以參考下
    2014-03-03
  • 基于SpringBoot開機啟動與@Order注解

    基于SpringBoot開機啟動與@Order注解

    這篇文章主要介紹了SpringBoot開機啟動與@Order注解,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教
    2021-09-09

最新評論

武清区| 正安县| 漳平市| 桃园市| 洪湖市| 普陀区| 莱州市| 兴国县| 涿鹿县| 舒城县| 彩票| 金塔县| 耒阳市| 翼城县| 兴城市| 景谷| 宁远县| 林甸县| 千阳县| 甘肃省| 临西县| 南康市| 阜阳市| 襄城县| 上饶市| 湖北省| 保山市| 西畴县| 南漳县| 甘泉县| 航空| 延川县| 慈利县| 海晏县| 墨脱县| 郴州市| 孝义市| 福海县| 潼关县| 杭州市| 博湖县|