Druid快速入门

Druid快速入门


在本快速入门中,我们将下载Druid并在一台机器上进行设置。完成此初始设置后,群集将准备好加载数据。

在开始快速入门之前,阅读一般的Druid概述和 摄取概述是有帮助的,因为教程将参考这些页面上讨论的概念。

先决条件你会需要:

Java 8
Linux,Mac OS X或其他类Unix操作系统(不支持Windows)
8G的RAM
2个vCPU
在Mac OS X上,您可以使用Oracle的JDK 8来安装Java。

在Linux上,您的OS包管理器应该能够帮助Java。如果基于Ubuntu的操作系统没有最新版本的Java,则WebUpd8会为这些操作系统提供软件包。

入门

下载 0.13.0孵化版本。

通过在终端中运行以下命令来解压Druid:

tar -xzf apache-druid-0.13.0-incubating-bin.tar.gz
cd apache-druid-0.13.0-incubating

在包中,您应该找到:

DISCLAIMER,LICENSE和NOTICE文件
bin/* - 对此快速入门有用的脚本
conf/* - 群集设置的模板配置
extensions/* - 核心Druid扩展
hadoop-dependencies/* - DruidHadoop依赖
lib/* - 核心Druid的图书馆和依赖项
quickstart/* - 快速入门教程的配置文件,示例数据和其他文件

下载Zookeeper

Druid依赖Apache ZooKeeper进行分布式协调。您需要下载并运行Zookeeper。

在程序包根目录中,运行以下命令:

curl https://archive.apache.org/dist/zookeeper/zookeeper-3.4.11/zookeeper-3.4.11.tar.gz -o zookeeper-3.4.11.tar.gz
tar -xzf zookeeper-3.4.11.tar.gz
mv zookeeper-3.4.11 zk

本教程的启动脚本将期望Zookeeper tar ball的内容位于zkapache-druid-0.13.0-incubating包根目录下。

启动Druid服务

从apache-druid-0.13.0-incubating package root,运行以下命令:

bin/supervise -c quickstart/tutorial/conf/tutorial-cluster.conf

这将启动Zookeeper和Druid服务的实例,所有这些都在本地机器上运行,例如:

bin/supervise -c quickstart/tutorial/conf/tutorial-cluster.conf

输出内容

[Thu Jul 26 12:16:23 2018] Running command[zk], logging to[/stage/apache-druid-0.13.0-incubating/var/sv/zk.log]: bin/run-zk quickstart/tutorial/conf
[Thu Jul 26 12:16:23 2018] Running command[coordinator], logging to[/stage/apache-druid-0.13.0-incubating/var/sv/coordinator.log]: bin/run-druid coordinator quickstart/tutorial/conf
[Thu Jul 26 12:16:23 2018] Running command[broker], logging to[//stage/apache-druid-0.13.0-incubating/var/sv/broker.log]: bin/run-druid broker quickstart/tutorial/conf
[Thu Jul 26 12:16:23 2018] Running command[historical], logging to[/stage/apache-druid-0.13.0-incubating/var/sv/historical.log]: bin/run-druid historical quickstart/tutorial/conf
[Thu Jul 26 12:16:23 2018] Running command[overlord], logging to[/stage/apache-druid-0.13.0-incubating/var/sv/overlord.log]: bin/run-druid overlord quickstart/tutorial/conf
[Thu Jul 26 12:16:23 2018] Running command[middleManager], logging to[/stage/apache-druid-0.13.0-incubating/var/sv/middleManager.log]: bin/run-druid middleManager quickstart/tutorial/conf

所有持久状态(如集群元数据存储和服务段)都将保存在varapache-druid-0.13.0-incubating package root下的目录中。服务日志位于var/sv。

停止服务

如果你想停止服务,CTRL-C退出bin/supervise脚本,这将终止Druid进程。

重置群集状态

如果要在停止服务后进行干净启动,请删除该var目录并bin/supervise再次运行该脚本。

每个服务启动后,您就可以加载数据了。

重置卡夫卡

如果您完成了教程:从Kafka加载流数据并希望重置群集状态,则还应清除任何Kafka状态。

在停止Zookeeper和Druid服务之前,使用CTRL-C关闭Kafka代理,然后删除Kafka日志目录/tmp/kafka-logs:

rm -rf /tmp/kafka-logs

集群安装配置

https://blog.csdn.net/wangshuminjava/article/details/80870157 https://blog.csdn.net/a794922102/article/details/88237610