ruby和pig處理流式文件實例
大數(shù)據(jù)操作中涉及到數(shù)據(jù)清洗步奏還是用腳本處理比較方便，下邊介紹一下pig加載hdfs文件后調(diào)用ruby腳本處理數(shù)據(jù)，再返回數(shù)據(jù)流至pig中處理的一個簡單案例。
注意：ruby的流式處理用到wukong這個gem包，相關下載：
https://github.com/mrflip/wukong
pig中加載分布式文件調(diào)用ruby流式處理：
log = load '$INFILE' using PigStorage('\t');
define tracking_parser `/usr/ruby parse_click.rb --map` SHIP('parse_click.rb', 'click_tracking.rb');
strmo = stream log through tra_parser;
store strmo into '$OUTFILE' using PigStorage('\t');
require 'wukong'
require 'json'
require './click_tra.rb'
module ParseClick
class Mapper < Wukong::Streamer::RecordStreamer
def before_stream
@bad_count = 0
end
def after_stream
raise RuntimeError, "Exceeded bad records : #{@bad_count}" if @bad_count > 10
end
def process *records
yield ClickTra.new(JSON.parse(records[2])).to_a
rescue => e
@bad_count += 1
warn "Bad record #{e}: #{records[2]}"
end
end
end
Wukong.run ParseClick::Mapper, nil
require 'date'
require './models.rb'
class ClickTra
output :ip
output :c_date
#output your other atrributes
def c_date
click_date.strftime("%Y%m%d").to_i
end
def ip
browser_ip.to_i
end
end
其中
strmo = stream log through tra_parser;調(diào)用定義的外部程序tra_parser處理log對象。
Wukong.run ParseClick::Mapper, nil執(zhí)行完后，將ruby執(zhí)行結(jié)果回調(diào)pig接收。
store strmo into '$OUTFILE' using PigStorage('\t');做結(jié)果存儲持久化。
相關文章
這篇文章主要介紹了Ruby中Time對象的常用函數(shù)總結(jié),包括Ruby中一些實用的時間算法,需要的朋友可以參考下2016-03-03
Ruby on Rails所構(gòu)建的應用程序基本目錄結(jié)構(gòu)總結(jié)
Ruby on Rails是Ruby世界中一家獨大的Web開發(fā)框架,要掌握Rails程序的構(gòu)建,對其目錄結(jié)構(gòu)的了解十分必要,下面就來看一下Ruby on Rails所構(gòu)建的應用程序基本目錄結(jié)構(gòu)總結(jié)2016-05-05
rudy 方法 分析...2007-11-11
GitHub網(wǎng)站服務器端主要就是使用的Ruby作為編程語言,因而GitHub所提倡采用的Ruby書寫規(guī)范也就顯得更有些說服力XD 下面我們就整理除了這份GitHub倡導的Ruby代碼編寫風格總結(jié),需要的朋友可以參考下2016-05-05
本文給大家分享的是通過ruby獲取github上的hosts文件內(nèi)容，修改到本地Ubuntu中，十分的實用，具體你懂得，有需要的小伙伴可以參考下。2015-06-06
這篇文章主要介紹了ruby使用restclient上傳服務器本地文件示例,需要的朋友可以參考下2014-05-05
這篇文章主要介紹了Ruby中使用設計模式中的簡單工廠模式和工廠方法模式的示例,這兩種模式經(jīng)常被用于Ruby on Rails開發(fā)的結(jié)構(gòu)設計中,需要的朋友可以參考下2016-03-03
最近在學習lambda演算的相關內(nèi)容，由于資料不全，學習的過程很是痛苦，下面這篇文章主要給大家介紹了關于如何利用Ruby簡單模擬Lambda演算的相關資料，需要的朋友可以參考借鑒，下面來隨著小編一起學習學習吧。2017-08-08
這篇文章主要介紹了Ruby編程中的語法使用風格推薦,好的代碼書寫風格有助于debug等工作的進行,需要的朋友可以參考下2015-08-08
這篇文章主要介紹了Ruby程序中創(chuàng)建和解析XML文件的方法,創(chuàng)建用builder庫,解析用ReXML庫,需要的朋友可以參考下2015-11-11