transformer模型介绍以及其在多领域的应用.pptx

Transformer in NLP and CV Key milestones Self-attention LayerRNN：难以并行，但是可以看见全局信息CNN：可以并行，但是只能看局部信息 Self-attention LayerSelf-attention Layer Self-attention Layer Self-attention Layer Self-attention Layerq对k做attention： Self-attention Layer Self-attention Layer Self-attention LayerMulti-head： Self-attention Layer Self-attention Layer Self-attention Layer 重点来了 Transformer Transformer首个输出：后续输出： TransformerS I am a studentS I am a studentS I am a studentS I am a studentS I am a student BERTENCODER BERT in NLPINPUT：POSITION EMBEDDING: 预训练方法一：Masked LM选择 mask15%的tokens:80%的 tokens 被替换为 token [MASK]10%的 tokens 被替换为随机 token10%的 tokens 保持不变BERT in NLP 预训练方法二：Next Sentence Prediction预测两句话是否是承接关系BERT in NLP BERT in NLP Transformer in CVImage Classification：ViT (Vision Transformer) Transformer in CVImage Classification：ViT (Vision Transformer) Transformer in CVGeneric Object Detection： DETR(DEtection TRansformer) Transformer in CVGeneric Object Detection： DETR(DEtection TRansformer)CNN1*13D→2D Transformer in CVGeneric Object Detection： DETR(DEtection TRansformer)解码器与Transformer的不同：并行解码，并非自回归超参数N Transformer in CVGeneric Object Detection： DETR(DEtection TRansformer)缺点： DETR框架虽然简洁，但训练阶段需要的时间和硬件资源需求较大，效果与经典方法Faster R-CNN不相上下，其中DETR对于大目标的检测效果有所提升，但在小目标的检测中表现较差。 挑战与愿景挑战：大多数应用都保留了Transformer在NLP任务中的原始形态，这一形态不一定适合images，因此是否会有改进版本，更加适合视觉任务的Transformer尚且未知Transformer需要的数据量太大人民币玩家的游戏愿景：像NLP领域一样实现大一统高效运行和部署可解释性 THXQA