#大数据分析

life2vec

life2vec项目开发了基于Transformer的模型，利用生命事件序列预测人类生活。该模型能从个人生活事件中学习，预测死亡率、移民倾向和性格特征。这项研究将自然语言处理技术应用于社会科学，为理解人类行为模式和社会动态提供新视角。研究成果发表于Nature Computational Science期刊。

SZT-bigdata

SZT-bigdata项目基于Flink、Redis、Kafka等大数据技术，对深圳地铁刷卡数据进行分析，旨在研究客运能力并探索服务优化方向。项目涵盖数据采集、存储、处理、分析和可视化等环节，展示了完整的大数据处理流程。通过运用多种常用技术框架，项目不仅实现了实际应用，还为开发者提供了技术栈对比和选型参考。

delight

Delight是一款开源的Spark应用性能分析工具，为Spark UI和History Server提供替代方案。它适用于各种Spark平台，通过直观的界面展示执行器CPU使用情况和内存峰值等关键指标。Delight集成了Spark History Server功能，简化了Spark UI的访问过程。该工具使用开源agent收集Spark事件，并在应用完成后在托管仪表板上呈现详细分析结果，助力开发者优化Spark应用性能。

Context

Context平台通过独特的Autopilot功能，帮助用户自动生成并编辑专业的演示文稿和文档，支持自然语言对数据表格进行分析。它不仅简化了使用Python进行数据科学工作的复杂性，而且能够高效构建财务模型和数据分析。Context助力于提高工作效率，是办公中不可或缺的工具。