elasticsearch的java api 数据处理

elasticsearch的java api

摘要这里总结es中java api的一些知识点。主要有es的连接、文档操作、搜索操作、聚合操作、查询DSL等。 连接es 连接es的方式有两种。一种是传输机连接(TransportClient),另一...
阅读全文
es-sql的overview 数据处理

es-sql的overview

摘要elasticsearch在搜索领域的已经被广泛采用,但是如果你要是写一个DSL那是一件十分繁琐的事,随着es的发展,在6.3中正式推出sql语法。 构造数据 使用环境 在es中有两种使用sql的...
阅读全文
Spark-Streaming使用记录 数据处理

Spark-Streaming使用记录

1、通过高效的利用集群资源减少每个数据批次处理所用的时间。 2、为了让数据处理和数据接收一样快,需要设置正确的批次大小。 环境说明(版本号:2.1.0): 代码解析 总结: 1、使用redis存储每次...
阅读全文
spark中rdd的操作 数据处理

spark中rdd的操作

1、RDDs的操作 支持两种类型的操作:transformations,从一个存在的数据集创建一个新的数据集;另一个是actions,返回一个基于数据集计算后的值,也肯能是一个新的数据集。下面列出一些...
阅读全文
spark编程第一篇 数据处理

spark编程第一篇

1、Spark第一句 每个Spark应用都包含一个驱动程序,它用于运行用户的主函数和在集群上执行各种并行操作 2、变量分享 变量分享主要有两种方式:广播变量和累加器 广播变量提供了一种只读的共享变量,...
阅读全文