Strategy ONE
开始于 MicroStrategy 2021 更新 4, Hadoop Gateway 不再受支持。
简介 MicroStrategy Hadoop Gateway
假设
- 本文件仅适用于 Strategy MicroStrategy Hadoop Gateway 10.11 及更高版本。先前的版本并未完全涵盖。
- 情报服务器和 MicroStrategy Hadoop Gateway 版本号必须相同。否则,数据文件可能无法成功导入。
- 查看 认证仪表板 获取认证网关的列表。
-
从...开始 Strategy 10.11, MicroStrategy Hadoop Gateway 将推出 spark提交。
该应用程序检测 Hadoop 和 Java 依赖关系并自动解决它们。Strategy 还提供通过自动部署 MicroStrategy Hadoop Gateway 经理。參閱 MicroStrategy 社区 更多细节。
简介
MicroStrategy Hadoop Gateway 是一种新的数据处理引擎,于 Strategy 10.6,可以在Spark环境中安装。该原生连接器允许分析 Hadoop 中的数据,并在 Hadoop 分布式文件系统 (HDFS) 和 MicroStrategy Intelligence Server。
MicroStrategy Hadoop Gateway 是一个基于Spark 1.6.x构建的原生连接器。您可以从 Hadoop HDFS 中选择一个或多个数据文件并将其加载到 MicroStrategy Intelligence Server。数据文件可以作为内存多维数据集或实时连接多维数据集发布。
MicroStrategy Hadoop Gateway 支持三种操作模式:
- YARN 客户端
- Standalone(HDP集群不支持Standalone)
- 本地
在YARN客户端模式下,driver运行在客户端进程中,application master只用于向YARN请求资源。在此模式下运行需要在 Hadoop 集群上启用 YARN 服务。
在独立模式下, MicroStrategy Hadoop Gateway 使用 Spark Master 协调数据处理。
在本地模式下,Spark节点中不会部署任何应用程序。所有数据处理均在 MicroStrategy Hadoop Gateway 主持人。此模式旨在用于测试和故障排除。
相关主题
如何部署 MicroStrategy Hadoop Gateway
如何开始 MicroStrategy Hadoop Gateway
