编辑:统数学院 | 来源:统数学院 | 发布时间:2024-04-02 | 浏览量:
讲座时间:2024年4月3日,13:30
讲座地点:第一教学楼 113教室
举办单位:统计与数据科学学院
主 讲 人:郑豪 副教授
讲座内容:
2017年12月, Google Brain和Google Research的Vaswani等撰写的具有重要影响的Attention Is All You Need一文发表,标志着Transformer的诞生。上一讲简单介绍LLM的发展历史,相关技术比如Transformer、迁移学习、强化学习的相关概念,重点交流Transformer中的输入、输出、编码器、解码器,注意力机制、掩码等内容。本次讲座主要介绍python、pytorch基本使用,并分析Transformer相关代码实例帮助理解Transformer相应的细节。
主讲人简介:
郑豪,理学博士,毕业于北京交通大学。现任北京物资学院统计与数据科学学院副教授。受国家留学基金委资助作为访问学者到日本东北大学访学一年,并在日本筑波大学、日本长崎工业大学交流学习。主要研究方向组合设计与编码理论,主持完成国家自然科学基金青年基金一项,主持国家自然科学基金面上子课题一项。发表SCI论文8篇,中文论文2篇。
欢迎广大师生前来交流!