GitHub

第1章 SparkSQL 概述

Spark SQL 是 Spark 用于结构化数据(structured data)处理的 Spark 模块。 SparkSQL 的前身是 Shark，给熟悉 RDBMS 但又不理解 MapReduce 的技术人员提供快速上手的工具。Hive 是早期唯一运行在 Hadoop 上的 SQL-on-Hadoop 工具。但是 MapReduce 计算过程中大量的中间磁盘落地过程消耗了 ...
搜狐

大数据分析工程师入门9-Spark SQL

本文为《大数据分析师入门课程》系列的第9篇，在本系列的第8篇-Spark基础中，已经对Spark做了一个入门介绍，在此基础上本篇拎出Spark SQL，主要站在使用者的角度来进行讲解，需要注意的是本文中的例子的代码均使用Scala语言。 Spark SQL是Spark专门用来处理结构化 ...
搜狐

一文读懂动态面板数据操作及应用（DPD-Dynamic panel-data）

对于面板数据，如果观测到被解释变量随时间而改变，则开启了动态面板对参数估计的可能性。动态面板模型设定了一个个体的被解释变量部分取决于前一期的值。当被解释变量的滞后一期或者多期出现在解释变量中。 对于短面板数据来说，需要研究短面板的 ...
GitHub

yidasanqian/dynamic-add-date

Dynamic-add-date是基于Mybatis插件原理开发的可以动态在Insert和Update Sql语句中添加日期列和对应的值的插件。 可以解决MySQL 5.6.5之前的版本对自动初始化时间戳的限制： DATETIME列不支持DEFAULT CURRENT_TIMESTAMP和ON UPDATE CURRENT_TIMESTAMP DEFAULT ...