Strategy ONE
开始于 MicroStrategy 2021 更新 4, Hadoop Gateway 不再受支持。
常见问题解答
下表有助于根据工作节点数、每个节点中的 RAM 和虚拟核心以及每个工作节点上分配的执行器数量计算推荐设置。
| YARN 客户端模式的推荐性能参数 | |||||
|---|---|---|---|---|---|
|
ID |
Item |
范围 |
公式 |
值 |
描述 |
|
C1 |
节点数 |
|
|
2 |
在您的硬件中可用 |
|
C2 |
每个节点的 RAM (GB) |
|
|
380 |
在您的硬件中可用 |
|
C3 |
每个节点的 VCores |
|
|
40 |
在您的硬件中可用 |
|
C4 |
VCores 总数 |
|
C1×C3 |
80 |
|
|
S1 |
已分配的执行者 |
|
S1 = S2 × C1 |
48 |
|
|
S2 |
每个节点的执行程序 |
spark.executor.cores |
|
6 |
每个工作节点上分配的执行器数量 |
|
S3 |
每个执行器的最大内存(GB) |
|
S3 = C2/S2 |
63 |
|
|
H1 |
开销 (GB) |
|
H1=S3×0.07 |
4 |
操作系统使用的开销内存。 默认为 0.07 × spark.executor.内存 |
|
H2 |
执行者人数 |
spark.executor.实例 |
H2 = S1 - 1 |
47 |
集群中创建的执行器总数。 一个节点需要为AM占用一个执行器。 |
|
H3 |
每个执行器的内存(GB) |
spark.executor.内存 |
H3 = S3 - H1 |
59 |
运行具有过多内存的执行器通常会导致过多的垃圾收集延迟。 对于单个执行器来说,64 GB 是一个粗略的估计上限。 |
|
H4 |
每个执行器的核心数 |
|
H4 = (C3 / S2) - 1 |
6 |
留 1 个核心用于系统进程 |
是的, MicroStrategy Hadoop Gateway 支持在服务空闲时释放集群资源。您必须配置 MicroStrategy Hadoop Gateway 执行器和核心动态分配以实现此行为。修改 MicroStrategy Hadoop Gateway 配置文件 <MicroStrategy Hadoop Gateway 安装路径>/conf/hgos-spark.properties,并取消注释动态分配部分。
是的, MicroStrategy Hadoop Gateway 支持 Live Connect Cube Strategy 10.9.无需额外配置即可启用它。
最低要求 MicroStrategy Hadoop Gateway 是256 MB的磁盘空间和2 GB的内存。
MicroStrategy Hadoop Gateway 不会在 NameNode 或 DataNode 上启动任何额外的进程。 MicroStrategy Hadoop Gateway 只需向 Spark 提交作业。
DataNode内存使用量取决于客户设置的属性文件数量 spark.executor.内存 在配置文件中(默认情况下为 1 GB)。同时,NameNode的内存使用率不会受到明显影响。
什么时候 MicroStrategy Hadoop Gateway 启动时,一些 JAR 文件将上传到 HDFS 以 hdfs://HDFSNameNode:8020/user/${user_name_start_hgos}/.sparkStaging。默认情况下,文件 sparkStaging 将被自动删除 MicroStrategy Hadoop Gateway 服务已关闭。
JAR 文件的总大小不会大于 256 MB。
不, MicroStrategy Hadoop Gateway 不会自动刷新 Kerberos 主体票证。您必须通过运行 基尼特 命令或创建一个 cron 作业来按计划刷新票证。
模板 kinit_cron脚本:
function setup_kerberos() {
echo "klist:"
klist
echo "KRB5CCNAME env:"
export KRB5CCNAME="$HGOS_HOME/conf/krb5cc_hgos"
echo $KRB5CCNAME
echo "kinit"
kinit -kt $keytab_path $principal_name -l 1d5h -r 2d -f
echo "klist"
klist
}
setup_kerberos
要安排 cron 作业,请运行:
root@HOST # crontab -l 0 */2 * * * <path to file>/kinit_cron.sh
是的, MicroStrategy Hadoop Gateway 通过Apache Sentry支持HDFS ACL,无需额外配置。观看下面的视频来了解如何 MicroStrategy Hadoop Gateway 与 Apache Sentry 协作。
不。 MicroStrategy Hadoop Gateway 基于 Spark 1.6 构建,仅适合部署在 Spark 1.6 环境中。我们正在努力发布 MicroStrategy Hadoop Gateway 在 Spark 2 上。
相关主题
简介 MicroStrategy Hadoop Gateway
如何部署 MicroStrategy Hadoop Gateway
如何开始 MicroStrategy Hadoop Gateway
