時間：5月9日(周三)

　　地點：教13(302)

　　參訓人員：21智能本1班

　　專家簡介：

　　李紅梅，安徽新華學院大數據與人工智能學院副教授，主持和參與多項教科研項目。

　　內容概要：

　　受到計算機視覺領域采用 ImageNet 對模型進行一次預訓練，使得模型可以通過海量圖像充分學習如何提取特征，然后再根據任務目標進行模型精調的范式影響，自然語言處理領域基于預訓練語言模型的方法也逐漸成為主流。以 ELMo為代表的動態詞向量模型開啟了語言模型預訓練的大門，此后以 GPT和 BERT為代表的基于 Transformer 模型的大規模預訓練語言模型的出現，使得自然語言處理全面進入了預訓練微調范式新時代。

　　本次報告分兩個部分：

　　1.介紹語言模型的概念，發展歷程，構建流程;

　　2.對語言模型中的訓練數據的分類和處理過程進行了分析。