机器之心|使用AmazonSageMaker运行中文命名实体识别( 五 )

train_instance_type='local'
if subprocess.call('nvidia-smi') == 0:
train_instance_type = 'local_gpu'
estimator = TensorFlow(entry_point='albert_ner.py',
source_dir='.',
train_instance_type=train_instance_type,
train_instance_count=1,
hyperparameters=hyperparameters,
role=role,
framework_version='1.15.2',
py_version='py3',
script_mode=True)
inputs = {'training': f'file:///home/ec2-user/SageMaker/albert-chinese-ner/data/'}
estimator.fit(inputs)
这里我们可以注意到estimator.fit()传入的参数与BYOC略有不同，这两个写法其实是等价的，事实上，这里的写法更规范一些，按照Amazon SageMaker的文档，输入数据可以有多个通道（Channel），默认的通道是training ，在本文的代码中，训练、验证等过程其实都是从training通道中读取的数据，所以更规范的做法是，我们应该额外增加一个通道validation ，用来存放验证数据。
训练启动后，我们可以看到训练的日志输出，以及监控本机的GPU、CPU、内存等的使用率等情况，以确认程序可以正常工作。
如果在此过程中需要进入正在运行的容器内调试，我们可以使用docker ps命令获取当前正在运行的容器ID ，并使用docker exec -it /bin/bash进入容器内进行调试。另外，我们使用docker images命令可以看到Amazon SageMaker自动下载了一个名为
763104351884.dkr.ecr.us-east-1.amazonaws.com/tensorflow-training:1.15.2-gpu-py3的镜像，该镜像是由Amazon SageMaker预编译的。

本文插图

3.2 Amazon SageMaker测试
在本地测试完成后，我们可以使用Amazon SageMaker进行测试：第一步，上传数据到Amazon S3 。第二步，指定执行的角色，这里我们假设您是在Amazon SageMaker Notebook上执行的，如果是其他环境，您可能需要手动指定角色的ARN 。第三步，设定超参数，这里需要对应到您程序中所需的超参数。第四步，设定训练机型为ml.p2.xlarge（支持GPU）。第五步，创建一个名为TensorFlow的Estimator ，这里需要传入训练入口脚本（entry_point）、源代码路径（source_dir）、之前获得的角色、训练机型、机器数量、TensorFlow版本、Python版本、超参数等。第六步，启动训练，这里需要传入训练数据的位置，在Amazon SageMaker模式下，训练数据的位置需要设置成Amazon S3路径。
inputs = sagemaker.Session().upload_data(path='/home/ec2-user/SageMaker/albert-chinese-ner/data', key_prefix='DEMO-tensorflow-albert-chinese-ner')
estimator = TensorFlow(entry_point='albert_ner.py',
source_dir='.',
train_instance_type='ml.p2.xlarge',
train_instance_count=1,
hyperparameters=hyperparameters,
role=role,
framework_version='1.15.2',
py_version='py3',
script_mode=True)
estimator.fit({'training': inputs})
训练启动后，我们可以在Amazon SageMaker控制台看到这个训练任务，点进详情可以看到训练的详情，日志输出，以及监控机器的GPU、CPU、内存等的使用率等情况，以确认程序可以正常工作。
在这里， source_dir我们设置的是本地代码路径， Amazon SageMaker会自动将该路径下的所有代码和数据拷贝进容器中。此外， BYOS模式还支持git路径作为代码路径，使用方法如下：
git_config = {'repo': 'https://github.com/whn09/albert-chinese-ner.git', 'branch': 'master'}

机器之心|使用AmazonSageMaker运行中文命名实体识别( 五 )

推荐阅读

贵女娇且撩(重生) 盛京第一宠

「袁隆平」今天，网友纷纷祝袁隆平长命超百岁，成为“00后”！

「马拉松跑步健身TB」这该怎么办？，恢复跑一公里就气喘吁吁

华安国家星火计划项目26日通过专家验收

淘宝自行承诺未履行处罚规则淘宝承诺未履行规则

投资银行业务|预增！锦龙股份：预计2020年半年度净利润约1.37亿元~1.76亿元，同比增长75%~125%

互联网大佬说|赚钱还完债后，也不会去买回锤子手机，罗永浩：手机是准夕阳产业

九游网|《看门狗军团》武器升级效果介绍升级武器作用是什么

粽子：端午除了吃粽子，这几样传统美食都不能少，你知道吗？

慢先生的情感故事|嫁了就是赚到，不要彩礼的都在排队哩”“攀不起”，“我儿子优秀

新能源报告：开着比高铁稳，颜值高过途观L，但打折促销都卖不出去，车重1.8吨

穿搭|蓝色的运动装扮帅气又活力, 简约风格装扮出的自然美感

格隆汇|复星医药AH股均涨超6% 子公司新药获批用于两项新增适应症

游戏资讯帝|直言学会轻松上王者，网友：这下稳了！，张大仙公布S20版本之神

印尼首款官方电子货币将投入使用

iQOO Z1直播平台汇总下午14:30发布价格或有惊喜！

排位赛|“夹子哥”太强了！排位赛连胜直接上王者，安利一波给大家

53年前被冷冻的美国首富冰冻50年的美国富豪复活了吗

小影夫妇抖音丈夫前妻?杰出小影是夫妻吗?

油菜|“精致城市寻味威海” | 威海味道之特色小吃—粗粮玉米面