Pandas 中实现聚合统计,有几种方法?
pandas是当前Python数据分析中最为重要的工具,其提供了功能强大且灵活多样的API,可以满足使用者在数据分析和处理中的多种选择和实现方式。今天本文以Pandas中实现分组计数这个最基础的聚合统计功能为例,分享多种实现方案,最后一种应该算是一个骚操作了……
这里首先给出模拟数据集,不妨给定包括如下Pa两列的一个dataframe,需求是统计各国将领的人数。应该讲这是一个很基础的需求,旨在通过这一需求梳理pandas中分组聚合的几种通用方式。
value_counts上述需求是统计各国将领的人数,换言之就是在上述数据集中统计各个国家出现的次数。所以实现这一目的只需简单的对国家字段进行计数统计即可:
当然,以nd上实现其实仅适用于计数统计这种特定需求,对于其他的聚合统计是不能满足的。
groupby+count第一种实现算是走了取巧的方式,对于更为通用的聚合统计其实是不具有泛化性的,那么pandas中标准的聚合是什么样的呢?对于上述仅有一种聚合函数的例子,在pandas中更倾向于使用groupby直接+聚合函数as,例如上述的分组计数需求,其实就是groupby+count实现。
进一步的,其具体实现形式有两种:
1、分组后对指定列聚合,在这种形式中依据country分组后只提取name一列,相当于每个country下对应了一个由多个name组成的series,而后的count即为对这个series进行count。
2 中、分组后直接聚合,然后再提取指定列。此时,依据country分组后不限定特定列,而是直接加聚合函数count,此时相当于对列都进行count,此时得到的仍然是一个dataframe,而后再从这个dataframe中提取对特定列的计数结果。
值得指出,在此例中country以外的其他列实际上也是只有name实现一列,但与第一种形式其实也是不同的,具体在于未加提取name列之前,虽然也是只有name一列,但却还是一个dataframe:
groupby+agg上述方法是直接使用groupby+相应的聚合函数,这种聚合统计方法简单易懂,但缺点就是仅能实现单一的聚合需求,对于有多种聚合函数的情况是不适用的。此时,功能聚合更为强大的agg函数随之登场。agg是aggregation的缩写,可见其是专门用于聚合统计的,其可以接收多种不同的聚合函数,因而更具可定制性。
agg函数主要接收两个参数,第一个参数func用于接收聚合算子,可以是一个函数名或对象,也可以是一个函数列表,还可以是一个字典,使用方法很是灵活;第二参数axis统计则是指定聚合所沿着的轴向,默认是axis=0,即沿着行的方向对列聚合。agg的函数文档如下:
这里,仍然以上述分组计数为例,讲解groupby+agg的三种典型应用方式:
1、agg内接收聚合函数或聚合函数列表。具体实现形式也分为两种,与前面groupby直接+聚合函数的用法类似。实际上,该种用法其实与g,有roupby直接+聚合函数极为类似。
2、agg内接收聚合函数字典,其中key为列名,value为聚合函数或函数列表,可实现同时对多个不同列实现不同聚合统计。这里字典的key是要聚合的name字段,字典的value即为要用的聚合函数count,当然也可以是包含count的列表的形式。用字典传入聚合函数的形式下,统几种计结果都是一个dataframe,更进一步的说当传入字典的value是聚合函数列表时,结果中dataframe的列名是一个二级列名。
3、agg内接收新列名+元组,实现对指定列聚合并重命名。对于聚合函数不是特别复杂而又希望能同时完成聚合列的重命名时,可以选用此种方式,具体传参形式实际上采用了python中可变字方法典参数**kwargs的用法,其中字典参数中的key是新列名,value是一个元组的形式,包括聚合字段列名和聚合函数。
groupby+apply如果说上述实现方式都还是pandas里中规中矩的聚合统计,那么这一种方式则是不是该算是一种骚操作?实际上,这是应用了pandas中apply的强大功能,具体可参考历Pa史推文Pandas中的这3个函数,没想到竟成了我数据处理的主力。
由于apply支持了多种重载方法,所以对于分组后的grouped dataframe应用apply,也可实现特定的聚合函数统计功能。首先看如下实际应用:
在上述方法中,groupby('country')后的结果,实际上是得到了一个DataFrndameGroupBy对象,实际上是一组(key, value)的集合,其中每个key对应country列中的一种取值,每个value为该key对应的一个子dataframe,具体拆解打印如下:
而后,groupby后面接的apply函数,实质上即为对每个分组下的子dataframe进行聚合,具体使用何种聚as合方式则就看apply中传入何种参数了!
总结本文针对一个最为基础的聚合统计场景,介绍pandas中4类不同的实现方案,其中第一种value_counts不具有一般性,仅对分组计数需求适用;第二种groupby+聚合函数,是最为简单和基础的聚合统计,仅适用于单一聚合函数的需求;第三种groupby+agg 中,具有灵活多样的传参方式,是功能最为强大的聚合统计方案;而第四种groupby+apply则属于是灵活应用了apply的重载功能,可以用于完成一些特定的统计需求。
最后,虽然本文以简单的分组计数作为讲解案例,但所提到的方法其实是能够代表pandas中的各种聚合统计需求。
(责任编辑:家具家装)
-
云梦级1月5日云梦级消息,小米新任公关部总经理徐洁云今日发文致歉:“经过仔细的调查确认,我们的团队此前确实跟相关 KOL 有过接触。经大家提醒,经过查证,我们立即终止可能进行的任何形式的合作,且以后也...[详细]
-
IDC:中国品牌升腾(Centerm)拿下瘦客户机市场第一,超越长期领先的戴尔和惠普
3 月 14 日消息,根据国际数据公司 IDC 全球季度企业客户端设备跟踪报告,2022 年,瘦客户机设备的全球出货量下降了 7.9%,在 2022 年第四季度下降了 24%,这是瘦客户机设备出货量连...[详细]
-
今日,蚂蚁集团正式宣布启动针对虚假医疗广告的专项整治行动,其旗下AI健康管家AQ同步推出AI拍照打假、AI电话验真、24小时滚动辟谣等系列创新功能,构建全链条医疗信息防伪体系。用户仅需在AQ App输...[详细]
-
根据最新研究,人工智能聊天机器人在模拟赌博环境中表现出令人担忧的赌博成瘾迹象。研究人员来自韩国光州科技学院,他们测试了四个先进的语言模型,包括 OpenAI 的 GPT-4o-mini 和 GPT-4...[详细]
-
OB Cloud已支持100多个可用区服务,将登陆阿里云精选市场
9月26日消息,2022年OceanBase推出云数据库产品OB Cloud,正式启动云数据库战略。两年来OB Cloud发展情况如何? 据OceanBase公有云事业部总经理尹博学介绍,OB Clo...[详细]
-
看热闹不嫌事大?微软和欧洲媒体抱团要求谷歌、Facebook付费
欧洲出版商理事会负责人方喜罗 新浪科技讯 2月23日早间消息,据报道,澳大利亚和谷歌及Facebook就新闻媒体收费一事闹得不可开交,然而正所谓“看热闹不嫌事大”,作为另外一家美国科技巨头的微软公司,...[详细]
-
中国企业大模型调用量突破10万亿Tokens,开源趋势引领未来
近日,国际市场调研机构沙利文(Frost & Sullivan)发布了一份令人瞩目的报告,显示中国企业在人工智能领域的快速增长。报告指出,截止到2025年上半年,中国企业级大模型的调用量预计将达到每日...[详细]
-
再见“独家”!OpenAI与微软深度解绑,AI芯片与云市场将迎来巨变
OpenAI与微软的长期合作关系在今日迎来了重大的转折性调整。据最新公开的修订条款显示,双方已正式更新了AI技术合作协议,这标志着自 2025 年以来,这两家科技巨头之间的利益分配与合作边界经历了第三...[详细]
-
云安全日报211214:IBM网管解决方案发现执行任意代码漏洞,需要尽快升级
IBM Tivoli Netcool System Service Monitors/Application Service Monitors是IBM推出的网管解决方案。 12月13日,IBM发布了安...[详细]
-
云梦级2月6日云梦级消息,欣旺达动力今日发布声明称,此前,“威睿电动汽车技术(宁波)有限公司”与“欣旺达动力科技股份有限公司”因合同执行纠纷引发诉讼,双方经充分沟通与友好协商已达成和解。 欣旺达动力表...[详细]

跑步热菜什么梗的视频
服务成本不断增加:阿里云域名抢注平台价格调整
标签: 比亚迪 联想 小米汽车 MWC2026
微软工程师用PyTorch实现图注意力网络,可视化效果惊艳
OpenAI放宽ChatGPT限制, 将允许经过验证的成年用户生成成人内容
