使用JAX实现完整的Vision Transformer( 三 ) _JAX

best_eval = 0.0
for epoch_idx in tqdm(range(1, num_epochs + 1)):
state, rng = train_epoch(train_loader, epoch_idx, state, rng)
if epoch_idx % 1 == 0:
eval_acc = eval_model(val_loader, state, rng)
logger.add_scalar('val/acc', eval_acc, global_step=epoch_idx)
if eval_acc >= best_eval:
best_eval = eval_acc
save_model(state, step=epoch_idx)
logger.flush()
# Evaluate after training
test_acc = eval_model(test_loader, state, rng)
print(f'test_acc: {test_acc}')
def train_epoch(train_loader, epoch_idx, state, rng):
metrics = defaultdict(list)
for batch in tqdm(train_loader, desc='Training', leave=False):
state, rng, loss, acc = train_step(state, rng, batch)
metrics['loss'].append(loss)
metrics['acc'].append(acc)
for key in metrics.keys():
arg_val = np.stack(jax.device_get(metrics[key])).mean()
logger.add_scalar('train/' + key, arg_val, global_step=epoch_idx)
print(f'[epoch {epoch_idx}] {key}: {arg_val}')
return state, rng
验证
def eval_model(data_loader, state, rng):
# Test model on all images of a data loader and return avg loss
correct_class, count = 0, 0
for batch in data_loader:
rng, acc = eval_step(state, rng, batch)
correct_class += acc * batch[0].shape[0]
count += batch[0].shape[0]
eval_acc = (correct_class / count).item()
return eval_acc
训练步骤
在train_step中定义损失函数，计算模型参数的梯度，并根据梯度更新参数;在value_and_gradients方法中，计算状态的梯度。在apply_gradients中，更新TrainState 。交叉熵损失是通过apply_fn(与model.apply相同)计算logits来计算的， apply_fn是在创建TrainState时指定的。
@jax.jit
def train_step(state, rng, batch):
loss_fn = lambda params: calculate_loss(params, state, rng, batch, train=True)
# Get loss, gradients for loss, and other outputs of loss function
(loss, (acc, rng)), grads = jax.value_and_grad(loss_fn, has_aux=True)(state.params)
# Update parameters and batch statistics
state = state.apply_gradients(grads=grads)
return state, rng, loss, acc
计算损失
def calculate_loss(params, state, rng, batch, train):
imgs, labels = batch
rng, drop_rng = random.split(rng)
logits = state.apply_fn({'params': params}, imgs, train=train, rngs={'dropout': drop_rng})
loss = optax.softmax_cross_entropy_with_integer_labels(logits=logits, labels=labels).mean()
acc = (logits.argmax(axis=-1) == labels).mean()
return loss, (acc, rng)
结果
训练结果如下所示。在Colab pro的标准GPU上，训练时间约为1.5小时。
test_acc: 0.7704000473022461
如果你对JAX感兴趣，请看这里是本文的完整代码：
https://avoid.overfit.cn/post/926b7965ba56464ba151cbbfb6a98a93
作者：satojkovic

【使用JAX实现完整的Vision Transformer】

使用JAX实现完整的Vision Transformer( 三 )

推荐阅读

唐山国际旅游岛新春庙会大年初四举办

空调制热需要氟利昂吗

「产业气象站」教你跟多电脑冷知识！，带你走进电脑漏洞的世界

[]男子半夜到私人鱼塘钓鱼，却莫名遭到枪击，开枪者：以为是兔子！

厦门茶业城成海峡两岸茶王擂台赛指定赛场

最高悬赏10万！这4人身背重大命案在逃

如何确认土地所有权，土地的所有权和开发权有什么区别

快递小哥和“旺财”的故事

北京日报客户端|中国游戏市场上半年收入增量创历史新高

电动车|电动车出新规，8月1日正式实施，车主拍手称快：难得的好消息

跟程序员的感情该何去何从

|【科学素质】公民科学素质应知应会200问（十九）

#双子座#5月初，相爱变成算计，心灰意冷，3星座眼泪打转，依然霸气离开

趣头条华为牵手特来电，共推桩联网和智能充电发展

观察者网【行走自贸区】航空“试验田”让我们离飞行梦更近

怎样做麻汁拌面,麻汁拌面的酱汁怎么做好吃-

游戏日报|3灵活射手胜率垫底，难道有位移有毒？，王者荣耀：S20快中期了

楼上楼下相通，全靠地板掏洞，悬空楼梯和厨房连一体，不怕油烟？

凭“蛋饺肉丝”梗大火的杜淳，终于找对自己的位置，成功去油

【侠客小贱贱】网友：距离狗拖还差点火候，一仓库迷宫宝箱开启