• 系统配置

    系统配置

    配置名称默认值含义
    xlearning.container.extra.java.opts""container进程额外JVM参数
    xlearning.allocate.interval1000AM获取RM分配container状态时间间隔，单位为毫秒
    xlearning.status.update.interval1000AM向RM汇报状态时间间隔，单位为毫秒
    xlearning.task.timeout5 60 1000container超时时长，单位为毫秒
    xlearning.task.timeout.check.interval3 1000container超时检查时间间隔，单位为毫秒
    xlearning.localresource.timeout5 60 1000container下载本地资源超时时长，单位为毫秒
    xlearning.messages.len.max1000消息队列大小限制，单位为字节
    xlearning.execute.node.limit200作业申请节点数目上限
    xlearning.staging.dir/tmp/XLearning/staging作业本地资源上传至HDFS路径
    xlearning.cleanup.enabletrue作业结束后，是否删除资源上传HDFS路径内容
    xlearning.container.maxFailures.rate0.5作业允许container失败比例上限
    xlearning.download.file.retry3DOWNLOAD模式下，输入文件下载尝试次数
    xlearning.download.file.thread.nums10DOWNLOAD模式下，输入文件下载线程数
    xlearning.upload.output.thread.nums10UPLOAD模式下，输出文件上传线程数
    xlearning.container.heartbeat.interval10 1000container向AM发送心跳时间间隔，单位为毫秒
    xlearning.container.heartbeat.retry3container发送心跳尝试次数
    xlearning.container.update.appstatus.interval3 * 1000container获取作业执行状态时间间隔，单位为毫秒
    xlearning.container.auto.create.output.dirtruecontainer是否自动创建本地输出路径
    xlearning.log.pull.interval10000client获取AM日志输出时间间隔，单位为毫秒
    xlearning.user.classpath.firsttrue是否优先加载用户自定义jar包
    xlearning.worker.mem.autoscale0.5作业失败重试时，worker内存自动增长比例
    xlearning.ps.mem.autoscale0.2作业失败重试时，ps内存自动增长比例
    xlearning.app.max.attempts1作业执行次数，默认执行失败后不重试
    xlearning.report.container.statustrueclient端打印container运行状态信息
    xlearning.env.maxlength102400container启动程序执行时，环境变量长度上限
    xlearning.am.env.[EnvironmentVariableName](none)用户自定义am环境变量，用户可通过定义多项来设置多个环境变量
    xlearning.container.env.[EnvironmentVariableName](none)用户自定义container环境变量，用户可通过定义多项来设置多个环境变量
    xlearning.am.nodeLabelExpression(none)指定调度AM的yarn节点标签表达
    xlearning.worker.nodeLabelExpression(none)指定调度worker的yarn节点标签表达
    xlearning.ps.nodeLabelExpression(none)指定调度ps的yarn节点标签表达