pyodps中的apply用法及groupby取分組排序第一條數(shù)據(jù)

更新時間：2022年05月31日 10:07:55 作者：??橙子猿????

這篇文章主要介紹了pyodps中的apply用法及groupby取分組排序第一條數(shù)據(jù)，問綻放圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值需要的小伙伴可以參考一下

1、apply用法

apply在pandas里非常好用的，那在pyodps里如何去使用，還是有一些區(qū)別的，在pyodps中要對一行數(shù)據(jù)使用自定義函數(shù)，可以使用 apply 方法，axis 參數(shù)必須為 1，表示在行上操作。

apply 的自定義函數(shù)接收一個參數(shù)，為上一步 Collection 的一行數(shù)據(jù)，用戶可以通過屬性、或者偏移取得一個字段的數(shù)據(jù)。

iris.apply(lambda row: row.sepallength + row.sepalwidth, axis=1, reduce=True, types='float').rename('sepaladd').head(3)
   sepaladd
0       8.6
1       7.9
2       7.9

reduce為 True 時，表示返回結果為Sequence，否則返回結果為Collection。 names和 types參數(shù)分別指定返回的Sequence或Collection的字段名和類型。如果類型不指定，將會默認為string類型。

在 apply 的自定義函數(shù)中，reduce 為 False 時，也可以使用 yield關鍵字來返回多行結果。

iris.count()
150
def handle(row):
    yield row.sepallength - row.sepalwidth, row.sepallength + row.sepalwidth
    yield row.petallength - row.petalwidth, row.petallength + row.petalwidth
iris.apply(handle, axis=1, names=['iris_add', 'iris_sub'], types=['float', 'float']).count()
300

我們也可以在函數(shù)上來注釋返回的字段和類型，這樣就不需要在函數(shù)調(diào)用時再指定。

 from odps.df import output

 @output(['iris_add', 'iris_sub'], ['float', 'float'])
 def handle(row):
     yield row.sepallength - row.sepalwidth, row.sepallength + row.sepalwidth
     yield row.petallength - row.petalwidth, row.petallength + row.petalwidth
 iris.apply(handle, axis=1).count()
 300

也可以使用 map-only 的 map_reduce，和 axis=1 的apply操作是等價的。

 iris.map_reduce(mapper=handle).count()
 300

如果想調(diào)用 ODPS 上已經(jīng)存在的 UDTF，則函數(shù)指定為函數(shù)名即可。

 iris['name', 'sepallength'].apply('your_func', axis=1, names=['name2', 'sepallength2'], types=['string', 'float'])

使用 apply 對行操作，且 reduce為 False 時，可以使用 并列多行輸出 與已有的行結合，用于后續(xù)聚合等操作。

并列多行輸出：

對于 list 及 map 類型的列，explode 方法會將該列轉(zhuǎn)換為多行輸出。使用 apply 方法也可以輸出多行。為了進行聚合等操作，常常需要將這些輸出和原表中的列合并。此時可以使用 DataFrame 提供的并列多行輸出功能，寫法為將多行輸出函數(shù)生成的集合與原集合中的列名一起映射。

并列多行輸出的例子如下：

>>> df
   id         a             b
0   1  [a1, b1]  [a2, b2, c2]
1   2      [c1]      [d2, e2]
>>> df[df.id, df.a.explode(), df.b]
   id   a             b
0   1  a1  [a2, b2, c2]
1   1  b1  [a2, b2, c2]
2   2  c1      [d2, e2]
>>> df[df.id, df.a.explode(), df.b.explode()]
   id   a   b
0   1  a1  a2
1   1  a1  b2
2   1  a1  c2
3   1  b1  a2
4   1  b1  b2
5   1  b1  c2
6   2  c1  d2
7   2  c1  e2

如果多行輸出方法對某個輸入不產(chǎn)生任何輸出，默認輸入行將不在最終結果中出現(xiàn)。如果需要在結果中出現(xiàn)該行，可以設置 keep_nulls=True。

此時，與該行并列的值將輸出為空值：

>>> df
id a
0 1 [a1, b1]
1 2 []
>>> df[df.id, df.a.explode()]
id a
0 1 a1
1 1 b1
>>> df[df.id, df.a.explode(keep_nulls=True)]
id a
0 1 a1
1 1 b1
2 2 None

 from odps.df import output
 @output(['iris_add', 'iris_sub'], ['float', 'float'])
 def handle(row):
     yield row.sepallength - row.sepalwidth, row.sepallength + row.sepalwidth
     yield row.petallength - row.petalwidth, row.petallength + row.petalwidth
 iris[iris.category, iris.apply(handle, axis=1)]

pyodps中有很多本來在pandas中一個API解決的東西卻要想半天才能搞定。

pandas中在groupby后只要用first就可以去出分組后的第一行。

例如：

# 以student_id為分組列，然后取出分組后每組的第一條數(shù)據(jù)
df_stu_frist_course = df_stu_course.groupby('student_id').first()

2、取分組排序后的第一條數(shù)據(jù)

然而pyodps中卻很坑爹，沒有什么first，只能自己想辦法。這里我又添加了一個排序

例如：

首先用student_id進行分組，然后用student_id和gmt_create進行排序，最后用窗口函數(shù)nth_value取分組中的第一個值并改名first_course_id, 并將其他字段輸出

df_group = df.groupby('student_id')
df_inst_stu_cou = df_inst_stu_cou['student_id', df_group.sort(['student_id', 'gmt_create'], ascending=[True, False]).course_id.nth_value(0).rename('first_course_id')]

但是這是并不是取出第一行，而是將所有以student_id分為一組的數(shù)據(jù)的其他列數(shù)據(jù)都改為排序后的第一個值, 也就是說原df_inst_stu_cou還沒有分組，只是添加了分組的后取出第一個值的一列，所以我們要以student_id分組去重。
所以我們只要再以student_id分組，然后用聚合函數(shù)cat將其他所有的列按照行進行連接(這里我的連接符選擇了逗號)，然后在map函數(shù)中用split分割成列表取第一個即可

df = df.groupby('student_id').agg(df.first_course_id.cat(sep=',').rename('first_course_ids'))
df['first_course_name'] = df.first_course_names.map(lambda x: x.split(',')[0], 'string')

到此這篇關于pyodps中的apply用法及groupby取分組排序第一條數(shù)據(jù)的文章就介紹到這了,更多相關pyodps apply的用法內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！

您可能感興趣的文章: