Java虚拟机

《深入理解java虚拟机》学习篇

前言 记录总结一下java虚拟机的部分知识,知识主要来自于书籍《深入理解java虚拟机》。 组织形式会以小标题 & 内容解答组成。 内存管理机制 虚拟机内存如何划分 主要有程序计数器,虚拟机栈,本地方法栈,Java堆,方法区 程序计数器:当前线程执行的字节码行号指示 虚拟机栈:java方法执行的信息(局部变量表,操作栈,动态链接,方法出口等) 本地方法栈:native方法执行的信息......

改版博客我的部分

这是一次不大不小的改版

前言 原博客主要定位为技术博客,因此都是一些技术分享上的文章; 本次将引入很多其他元素,博客不仅仅记录下技术上的改变,也能反映音乐,阅读,理财,生活等方面的变化,因此主目录部分还是原来的文章,在侧边栏将FRIENDS改为了MINE,同时定向到了各个不同的版块; 为了留下更多自己的足迹,为了更好的自己; 我的音乐 音乐主要还是平常敲代码就喜欢听纯音乐, 听到好听的便可以记录下来。 另外也学过一......

chrome插件 web_robot

web_robot最新版教程

前言 2020-08-23 暂停频繁的更新,等待新的idea出现 这边是 web_robot 持续更新教程, 对于基本的安装,导入,基础使用,请参照V1.0 版本教程 对于 V1.0 版本以外的功能这边都会做提醒与说明,目前版本 1.8.2 先看演示 演示流程事务 演示源码事务 演示受控事务 事务模式 新建事务的时候可以选择三种事务 流程事务 源码事务 受控事务 流程事务 之......

利用Hadoop-MapReduce实现稀疏矩阵乘法

前言 之前关于hadoop,也就试过一个wordcount,这次来学习一下用mapreduce实现矩阵乘法,体会一下里面的思路过程。 预备 开发环境准备 第一次开发MapReduce程序可以看下这边的环境准备 开发环境准备 MapReduce 关于MapReduce这边只用到最基础的,因此了解一下wordcount也就能知道最基础的思想。 Map将每行数据转为key,value的格式; s......

TABLE-MAKER

一个万能数据表格的浏览器插件

前言 本次依旧发布一款浏览器插件–万能表格。 说说为什么万能,其一,因为它可以接入任意的GET接口数据或其他文本(html/text…)数据来源,且无跨域限制,且一些需要cookie的接口或网站访问数据时也会带上cookie。 其二,你可以自定义列的数量和名称,自定义数据的解析到对应的列,json解析用就直接用key,文本解析就用正则表达式。 其三,设置的数据来源一般是一个数据的详情接口或详......

WEB-ROBOT

一个管理网页自动化执行的chrome插件

前言 这边主要介绍一款个人自行开发的chrome插件 web-robot, 这边讲解的是他的V1.0版本, 包括它的开始设计,使用教程,实现思路和细节。 源码的github地址是在https://github.com/webgjc/web_robot 软件设计 关于这个软件的初始设计定位,这边将他定位为网页自动化链路管理执行; 类似模拟自动化测试,但不会有结果校验。 创建事务和流程的用户主要......

HIVE源码学习-hivehook尝试表血缘与字段血缘的解析

前言 hive在中间执行过程中留下不少钩子可以供开发者开发拓展功能,大致有如下几个 driver run的时候 执行计划semanticAnalyze前后 查询放入job之前 exec前后 执行失败时 下面引用一份完整的hive中hook的流程,包括相应的配置项。 Dri......

基于antlr4实现hiveSQL的解析[表血缘和字段血缘]

前言 关于 HiveSQL 血缘,一般表示的就是 hive 数据仓库中所有表和字段的来源流向关系。它的解析是十分必要的,一方面数仓建表的时候有时只会定义 SQL 任务不会特别关注到任务之间的关系,对于查看的数据也不容易追溯两层以上或以下的数据来源和去向。 有了血缘就可以对离线任务执行的先后关系作出一定规范,可以做数据来源链路的分析,数据的上卷下钻,数仓直接的数据建模等。 实现思路 一般来说比......

HIVE源码学习-执行计划Operators和优化Optimizers

逻辑执行 首先看下之前的总体处理流程 Hive SQL - (Parser) -> AST - (Semantic Analyze) -> QB - (Logical Plan) -> Operator Tree - (Physical Plan) -> Task Tree - (Physical Optim) -> Task Tree主要有三大块,......

HIVE源码学习--实现一个自定义的HIVE序列化与反序列化器

前言 hive本身并不存储数据,它用的是hdfs上存储的文件,在与hdfs的文件交互读取和写入的时候需要用到序列化, hive有一个serde模块,其中就有很多的序列化器和反序列化器, 序列化(serialize)是将导入的数据转成hadoop的Writable格式 反序列化(deserialize)是select时将hadoop上的数据导入到内存object 当然也有一部分不放在ser......