• 应用配置

    应用配置

    配置名称默认值含义
    xlearning.am.memory1024AM申请所需内存大小，单位为MB
    xlearning.am.cores1AM申请所需CPU核数
    xlearning.worker.num1worker启动数目
    xlearning.worker.memory1024worker申请使用内存大小，单位为MB
    xlearning.worker.cores1worker申请使用CPU核数
    xlearning.chief.worker.memory1024chief worker申请使用的内存大小，主要针对TensorFlow作业中index为0时的特殊worker，单位为MB，默认与worker memory一致
    xlearning.evaluator.worker.memory1024evaluator worker申请使用的内存大小，主要针对TensorFlow estimator作业中evaluator角色的内存分配使用，单位为MB，默认与worker memory一致
    xlearning.ps.num0ps启动数目，默认作业不使用ParameterServer机制
    xlearning.ps.memory1024ps申请使用内存大小，默认单位为MB
    xlearning.ps.cores1ps申请使用CPU核数
    xlearning.app.queueDEFAULT作业提交队列
    xlearning.app.priority3作业优先级，级别0-5，分别对应DEFAULT、VERYLOW、LOW、NORMAL、HIGH、VERY_HIGH
    xlearning.input.strategyDOWNLOAD输入文件加载模式，目前主要有DOWNLOAD、STREAM、PLACEHOLDER
    xlearning.inputfile.renamefalse输入文件下载至本地是否需要重命名，该选项只用于输入文件加载模式为DOWNLOAD时
    xlearning.stream.epoch1输入文件加载次数，该选项只用于输入文件加载策略为STREAM时
    xlearning.input.stream.shufflefalse输入文件是否采用shuffle模式，该选项只用于输入文件加载模式为STREAM时
    xlearning.inputformat.classorg.apache.hadoop.mapred.TextInputFormat.classSTREAM模式下，输入文件inputformat类指定
    xlearning.inputformat.cachefalsestream epoch大于1时，是否采用缓存至本地文件的操作
    xlearning.inputformat.cachefile.nameinputformatCache.gzinputformat缓存至本地的文件名称
    xlearning.inputformat.cachesize.limit100*1024inputformat缓存于本地的文件大小上限，单位为MB
    xlearning.output.local.diroutput输出文件本地默认路径，该选项只用于作业提交参数output未指定本地输出路径时
    xlearning.output.strategyUPLOAD输出文件加载策略，目前主要有DOWNLOAD、STREAM
    xlearning.outputformat.classTextMultiOutputFormat.classSTREAM模式下，输出文件outputformat类指定
    xlearning.interresult.dir/interResult指定模型中间结果上传至HDFS子路径
    xlearning.interresult.upload.timeout30 60 1000模型中间结果上传至HDFS超时时长设置，单位为毫秒
    xlearning.interresult.save.incfalse模型中间结果是否增量上传，默认为全部上传
    xlearning.tf.evaluatorfalseTensorFlow类型分布式作业中，是否将最后一个worker视为evaluator角色，主要针对Estimator高级API
    xlearning.tf.distribution.strategyfalse是否使用TensorFLow分布式策略方法，默认为false