SkillAgentSearch skills...

DsSpark

该项目是基于Java开发的spark电商项目分析

Install / Use

/learn @king-universe/DsSpark
About this skill

Quality Score

0/100

Supported Platforms

Universal

README

DsSpark(大型电商Spark项目,分析用户点击行为,购买行为和搜索行为)

该项目是基于Java开发的spark电商项目分析 本项目主要用于互联网电商企业中,使用Spark技术开发的大数据统计分析平台,对电商网站的各种用户行为(访问行为、购物行为、广告点击行为等)进行复杂的分析。用统计分析出来的数据,辅助公司中的PM(产品经理)、数据分析师以及管理人员分析现有产品的情况,并根据用户行为分析结果持续改进产品的设计,以及调整公司的战略和业务。最终达到用大数据技术来帮助提升公司的业绩、营业额以及市场占有率的目标。

本项目使用了Spark技术生态栈中最常用的三个技术框架,Spark Core、Spark SQL和Spark Streaming,进行离线计算和实时计算业务模块的开发。实现了包括用户访问session分析、页面单跳转化率统计、热门商品离线统计、广告流量实时统计4个业务模块。

在项目中,重点介绍符合实际企业项目中的性能调优、troubleshooting以及数据倾斜等知识和技术,同时以企业级大数据项目开发流程贯穿每个业务模块的讲解,涵盖了项目开发全流程,包括需求分析、方案设计、数据设计、编码实现、测试以及性能调优等环节,全面还原真实大数据项目的开发流程

View on GitHub
GitHub Stars5
CategoryDevelopment
Updated1y ago
Forks0

Languages

Java

Security Score

55/100

Audited on Jun 22, 2024

No findings