• 运行提交参数

    运行提交参数

    在XLearning客户端，使用$XLEARNING_HOME/bin/xl-submit命令，将作业提交至Yarn集群进行调度执行。提交命令使用说明请见README运行示例部分，详细提交参数说明如下：

    参数名称含义
    app-name指定作业名称
    app-type指定作业类型，默认为XLearning，可根据使用深度学习平台设置为TensorFlow、Caffe、XGBoost等
    input输入文件路径，格式为 HDFS路径#本地文件夹名称
    output输出文件路径，格式为 HDFS路径#本地文件夹名称
    files指定作业执行所需本地文件
    cacheArchive指定作业执行所需相关HDFS压缩文件
    cacheFile指定作业执行所需相关HDFS文件
    launch-cmd作业执行命令
    user-path用户追加环境变量$PATH
    jars指定用户自定义jar包文件
    user-classpath-first是否优先加载用户自定义jar包，默认为系统配置xlearning.user.classpath.first
    conf设置系统配置
    am-cores指定AM申请使用的CPU核数，默认个数为系统配置xlearning.am.cores
    am-memory指定AM申请使用的内存大小，默认单位MB，默认大小为系统配置xlearning.am.memory
    ps-num指定ps申请数目，默认个数为系统配置xlearning.ps.num
    ps-cores指定ps申请的CPU核数，默认个数为系统配置xlearning.ps.cores
    ps-memory指定ps申请的内存大小，默认单位为MB，默认大小为系统配置xlearning.ps.memory
    worker-num指定worker申请数目，默认个数为系统配置xlearning.worker.num
    worker-cores指定worker申请的CPU核数，默认个数为系统配置xlearning.worker.cores
    worker-memory指定worker申请内存，默认单位为MB，默认大小为系统配置xlearning.worker.memory
    chiefworker-memory指定chief worker申请内存, 主要是针对TensorFlow作业中index 0的worker，默认大小同worker-memory一致
    evaluatorworker-memory指定evaluator worker申请内存，主要针对TensorFlow Estimator作业中的estimator角色，默认大小同worker-memory一致
    queue指定作业提交队列，默认为系统配置xlearning.app.queue
    priority指定作业提交优先级，默认为系统配置xlearning.app.priority对应级别
    board-enable是否开启Board服务，默认为系统配置xlearning.tf.board.enable
    board-index指定开启Board服务的work index，默认为系统配置xlearning.tf.board.worker.index
    board-logdirBoard日志存放路径，默认为系统配置xlearning.tf.board.log.dir
    board-reloadintervalTensorBoard数据加载时间间隔，默认为系统配置xlearning.tf.board.reload.interval
    board-historydirBoard日志HDFS上传路径，默认为系统配置xlearning.tf.board.history.dir
    board-modelpbVisualDL加载的模型文件，默认为系统配置xlearning.board.modelpb
    board-cacheTimeoutVisualDL加载缓存间隔时间，默认为系统配置xlearning.board.cache.timeout
    input-strategy输入文件加载策略，默认为系统配置xlearning.input.strategy
    inRenameInputFile当输入文件加载策略为DOWNLOAD时，设置是否对下载后的文件进行重命名，默认为系统配置xlearning.inputfile.rename
    stream-epoch当输入文件加载策略为STREAM时，流式数据读取次数，默认为系统配置xlearning.stream.epoch
    inputformat当输入文件加载策略为STREAM时，指定inputformat类，默认为系统配置xlearning.inputformat.class
    inputformat-shuffle当输入文件加载策略为STREAM时，指定inputformat输入是否需要shuffle操作，默认为系统配置xlearning.input.stream.shuffle
    output-strategy输出文件加载策略，默认为系统配置xlearning.output.strategy
    outputformat当输出文件加载模式为STREAM时，指定outputformat类，默认为系统配置xlearning.outputformat.class
    tf-evaluator在分布式TensorFlow作业类型下，是否设置evaluator角色，默认为系统配置xlearning.tf.evaluator
    output-index指定保存index对应worker的输出文件，默认保存所有worker的输出结果