邱锡鹏,男,毕业于复旦大学,复旦大学计算机科学技术学院教授,博士生导师。[1][2]
2018 年11月10日,邱锡鹏获得 “钱伟长中文信息处理科学技术奖—汉王青年创新奖”。[3]2020年12月17日,邱锡鹏在第四届上海高校青年教师教学竞赛总结暨表彰会获第四届上海高校青年教师教学竞赛自然科学应用学科优秀奖。[4]2022年,邱锡鹏团队开始做大型语言模型方面的训练,后来又花费了半年时间,研究如何使大型语言模型理解人类指令以及具备对话能力。[5]2023年2月17日,邱锡鹏参加了高瓴人工智能学院举办高瓴楼首次学术报告,并作了主题为“大型语言模型的能力分析与应用”的报告。[6]同年3月2日,邱锡鹏教授MOSS团队官方公开宣布研究成果将会开源。[5]11月,邱锡鹏教授成功入选“2022-2023年度高校计算机专业优秀教师奖励计划”。[7]还参加了2023世界顶尖科学家智能科学大会并发表言论。[8]2024年3月25日,邱锡鹏参加2024全球开发者先锋大会大模型前沿论坛。[9]同年7月4日,邱锡鹏参加2024世界人工智能大会暨人工智能全球治理高级别会议并发表观点:AI共商共治需相关法律法规的建立健全。[10][11]
邱锡鹏主要研究方向为自然语言处理、大语言模型,主持开发了大语言模型MOSS [GitHub]、开源自然语言处理工具FudanNLP [GitHub] [Google Code]、FastNLP [GitHub] [Gitee]。[1][2]截至2024年7月6日,邱锡鹏在中国知网发文53篇,总下载量18523次。[12]
早年经历
1997年,邱锡鹏考入复旦大学攻读学士学位,2001年毕业后,邱锡鹏继续在复旦大学攻读博士学位,直到2006年毕业后加入到复旦大学计算机科学技术学院。[13]
工作经历
2018 年11月10日,2018 中国中文信息学会学术年会在北京举行,邱锡鹏获得 “钱伟长中文信息处理科学技术奖—汉王青年创新奖”。[3]2020年12月17日,第四届上海高校青年教师教学竞赛总结暨表彰会在上海师范大学音乐厅举行,邱锡鹏获第四届上海高校青年教师教学竞赛自然科学应用学科优秀奖,参赛的课程为《模式识别与机器学习》。[4]2021年起,邱锡鹏团队开始做中文生成式预训练模型,也开源供别人下载,每月平均有上万次下载。2022年,邱锡鹏团队开始做大型语言模型方面的训练,后来又花费了半年时间,研究如何使大型语言模型理解人类指令以及具备对话能力。[5]2022年1月17日,中国计算机学会公布2021年度CCF杰出演讲者名单,邱锡鹏教授当选2021年度CCF杰出演讲者。[14]同年5月,邱锡鹏接受澎湃新闻的采访,并多次提到Hinton说过的“神经网络是目前唯一证明了可以产生智能的模型。”[15]
2023年2月17日,邱锡鹏参加了高瓴人工智能学院举办高瓴楼首次学术报告,并作了主题为“大型语言模型的能力分析与应用”的报告,报告中,邱锡鹏教授详细深入地介绍了以ChatGPT为核心的大规模语言模型的相关知识及未来的发展方向。[6]同年2月20日,复旦大学自然语言处理实验室邱锡鹏教授团队在公开平台发布中国国内对话式大型语言模型MOSS,并邀请公众参与内测,通过模型与真人和其他模型进行任务交互而进行算法优化。[16][17]3月2日,OpenAI在官方博客宣布开放ChatGPT的模型API,同一天,上海市智能信息处理重点实验室,复旦大学计算机学院邱锡鹏教授MOSS团队官方公开宣布研究成果将会开源。[5]3月24日,中国中文信息学会2022学术年会暨理事会以及钱伟长中文信息处理科学技术奖及优秀博士学位论文颁奖大会在北京举行,邱锡鹏科研团队获钱伟长中文信息处理科学技术奖一等奖。[18]11月,中国教师发展基金会确定了“2022-2023年度高校计算机专业优秀教师奖励计划”入选教师名单,邱锡鹏教授成功入选。[7]同年,邱锡鹏参加2023世界顶尖科学家智能科学大会并发表言论。[8]
2024年3月25日,邱锡鹏在2024全球开发者先锋大会大模型前沿论坛表示,过去一年见证了以ChatGPT为代表的单模态大模型趋向成熟。双模态大模型开始蓬勃发展,通过文本和图像的结合,或文本和语音的结合,可以支持更丰富的交互与创作,“开创了繁荣的AIGC时代”。[9]同年7月4日,在2024世界人工智能大会暨人工智能全球治理高级别会议上,邱锡鹏发表观点:AI共商共治需相关法律法规的建立健全以及阐述了当下的GPT、ChatGPT、AIGC、 LLM等AI概念。[10][11]
研究方向
邱锡鹏的主要从事自然语言处理、深度学习等方向的研究,研究方向为自然语言处理、大语言模型,发表CCF-A/B类论文100余篇。以及围绕下一代大语言模型开展研究,包括大模型预训练、微调、对齐、轻量化、多模态融合等。[1][2]
科研成就
邱锡鹏主持开发了大语言模型MOSS [GitHub]、开源自然语言处理工具FudanNLP [GitHub] [Google Code]、FastNLP [GitHub] [Gitee],获得了学术界和产业界的广泛使用。[1]并发布了中国国内对话式大型语言模型MOSS,[16][17]并在 ACL、EMNLP、AAAI、IJCAI 等计算机学会 A/B 类期刊、会议上发表 50 余篇学术论文,在中国知网发文53篇,总下载量:18523。[12][2][注1]
主要论文
| 作者 | 论文名称 | 发表的期刊及具体信息 |
|---|---|---|
| Xipeng Qiu, TianXiang Sun, Yige Xu, Yunfan Shao, Ning Dai, Xuanjing Huang. | Pre-trained Models for Natural Language Processing: A Survey | SCIENCE CHINA Technological Sciences (SCTS) , Vol. 63(10), pp. 1872–1897, Science China Press, 2020. [注2] |
| Tian-Xiang Sun, Xiang-Yang Liu, Xi-Peng Qiu, Xuan-Jing Huang. | Paradigm Shift in Natural Language Processing | Machine Intelligence Research , Vol. 19(3), pp. 169-183, 2022. |
| Tianyang Lin, Yuxin Wang, Xiangyang Liu, Xipeng Qiu. | A survey of transformers | AI Open , Elsevier, 2022 |
| Yunfan Shao, Zhichao Geng, Yitao Liu, Junqi Dai, Hang Yan, Fei Yang, Li Zhe, Hujun Bao, Xipeng Qiu. | CPT: A Pre-Trained Unbalanced Transformer for Both Chinese Language Understanding and Generation | SCIENCE CHINA Information Sciences (SCIS) , 2022. |
| Tianxiang Sun, Yunfan Shao, Hong Qian, Xuanjing Huang, Xipeng Qiu. | Black-Box Tuning for Language-Model-as-a-Service | ICML, 2022 |
| Tianxiang Sun, Zhengfu He, Hong Qian, Yunhua Zhou, Xuanjing Huang, Xipeng Qiu. | BBTv2: Towards a Gradient-Free Future with Large Language Models | EMNLP, 2022 |
| Hang Yan, Bocao Deng, Xiaonan Li, Xipeng Qiu. | TENER: adapting transformer encoder for named entity recognition | arXiv preprint arXiv:1911.04474 , 2019. |
| Xiaonan Li, Hang Yan, Xipeng Qiu, Xuanjing Huang. | FLAT: Chinese NER Using Flat-Lattice Transformer | ACL, 2020 |
| Xiaonan Li, Yunfan Shao, Tianxiang Sun, Hang Yan, Xipeng Qiu, Xuanjing Huang. | Accelerating BERT Inference for Sequence Labeling via Early-Exit | ACL, 2021. |
| Hang Yan, Tao Gui, Junqi Dai, Qipeng Guo, Zheng Zhang, Xipeng Qiu. | A Unified Generative Framework for Various NER Subtasks | ACL, 2021. |
| Qipeng Guo, Xipeng Qiu, Pengfei Liu, Yunfan Shao, Xiangyang Xue, Zheng Zhang. | Star-Transformer | NAACL, 2019. |
| Qipeng Guo, Xipeng Qiu, Xiangyang Xue, Zheng Zhang. | Low-rank and Locality Constrained Self-Attention for Sequence Modeling | IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP), December, 2019 , Vol. 27(12), pp. 2213 - 2222, 2019 |
| Xiaonan Li, Yunfan Shao, Tianxiang Sun, Hang Yan, Xipeng Qiu, Xuanjing Huang. | Accelerating BERT Inference for Sequence Labeling via Early-Exit | ACL, 2021 |
| Xiangyang Liu, Tianxiang Sun, Junliang He, Lingling Wu, Xinyu Zhang, Hao Jiang, Zhao Cao, Xuanjing Huang, Xipeng Qiu. | Towards Efficient NLP: A Standard Evaluation and A Strong Baseline, | arXiv preprint arXiv:2110.07038 , 2021 |
| PengFei Liu, Xipeng Qiu, Xinchi Chen, Shiyu Wu, Xuanjing Huang. | Multi-Timescale Long Short-Term Memory Neural Network for Modelling Sentences and Documents | EMNLP, 2015 |
| Jiacheng Xu, Danlu Chen, Xipeng Qiu, Xuanjing Huang. | Cached Long Short-Term Memory Neural Networks for Document-Level Sentiment Classification, | EMNLP, 2016 |
| Jingjing Gong, Xipeng Qiu, Xinchi Chen, Dong Liang, Xuanjing Huang. | Convolutional Interaction Network for Natural Language Inference | EMNLP, 2018 |
| Qipeng Guo, Xipeng Qiu, Pengfei Liu, Yunfan Shao, Xiangyang Xue, Zheng Zhang. | Star-Transformer | NAACL, 2019 |
| Qipeng Guo, Xipeng Qiu, Xiangyang Xue, Zheng Zhang. | Low-rank and Locality Constrained Self-Attention for Sequence Modeling | IEEE/ACM Transactions on Audio, Speech, and Language Processing (TASLP), December, 2019 , Vol. 27(12), pp. 2213 - 2222, 2019 |
以上内容来源于参考资料[19],统计于2024年7月6日
主要著作
| 名称 | 备注 |
|---|---|
| 《神经网络与深度学习》 | 教材 |
以上内容来源于参考资料[7],统计于2024年7月6日
社会任职
| 任职时间 | 会议/机构/团体 | 职务 |
|---|---|---|
| 2014年 | 中国人工智能学会自然语言理解专委会 | 委员 |
| 2015年-2020年 | 中国中文信息学会青年工作委员会 | 执委委员 |
| 2016年-2020年 | 中国人工智能学会青年工作委员会 | 常务委员 |
| 2017年 | 中国中文信息学会语言与知识计算专委会 | 委员 |
| 2019年 | IALP[注3] | PC CO-Chair[注4] |
| 2020年 | ACL[注5] | Area Chair[注6] |
| 2021年 | ACL | Area Chair |
| 2021年 | 上海计算机学会自然语言处理专委会 | 主任/发起人 |
| 2022年 | ACL | Area Chair |
| 2022年 | CCL[注7] | PC CO-Chair |
| 2022年 | 中国中文信息学会计算语言学专委会 | 执委委员 |
| 2023年 | CCL | PC CO-Chair |
以上内容来源于参考资料[1],统计于2024年7月6日
教学培养
邱锡鹏指导学生多次获得中国人工智能学会优博、中国中文信息学会优博、微软学者、百度奖学金、上海市计算机学会优博等。[1]讲授的本科生课程《模式识别与机器学习》,介绍了经典的模式识别与机器学习算法,让学生初步掌握机器学习领域的基本方法与蓝图。通过了解机器学习的算法与理论知识,能够查阅并理解相关领域的前沿文献,同时熟练使用相关的机器学习算法,解决流行的人工智能领域应用问题,为学生今后在深度学习领域相关科研和项目开发工作中解决实际应用问题打好基础。教学方法上,构建了“学-练-研-评”的教学思路。在教学设计中,充分以学生为中心,理论和实践并重,使得学生在掌握课程知识的前提下,培养科学探索精神和创新意识。[7]
教学课程
| 课程名称 | 教学课程 |
|---|---|
| 编译 | 本科生课程 |
| 模式识别与机器学习 | 本科生课程 |
| 神经网络与深度学习 | 本科生/研究生课程 |
| 文本数据管理与分析 | 本科生课程 |
以上内容来源于参考资料[1],统计于2024年7月6日
学生列表
| 入学年份 | 学生名称 | 备注 |
|---|---|---|
| 2023级 | 程沁源(2023-)、费朝烨(2023-)、贺正夫(2023-)、刘佩举(2023-)、吕凯(2023-)、印张悦(2023-)、曾致远(2023-) | 博士生 |
| 邓瑞凡、高庆麾、郭一然、黄绵秋、姜博天、刘智耿、陆星宇、谭臣坤、涂倩、魏海洋、邢书豪、叶家升、张世铎、朱长泰 | 硕士生 | |
| 2022级 | 代俊奇(2022-,共同导师:黄萱菁)、李世民(2022-)、刘向阳(2022-)、罗琪(2022-)、邵云帆(2022-)、王博(2022-)、王星皓(2022-) | 博士生 |
| 陈科宇、陈云涛、范子越、何俊亮、柳潇然(转博)、彭润宇、任何、汤琼、王鹏宇(转博)、詹俊(转博)、张栋、张墨执、张硕、张硕闻、张鑫、朱秦、宗一 | 硕士生 | |
| 2021级 | 李林阳(2021-)、汪燠欣(2021-,共同导师:黄萱菁)、郑逸宁(2021-) | 博士生 |
| 常成、程沁源(转博)、胡先念、洪嘉伟、李鹏、刘佩举(转博)、刘腾霄、吕凯(转博)、权国风、孙瑜、吴玲玲、吴嘉文、印张悦(转博)、杨小珪、杨雨晴、张啸天、郑彦俊 | 硕士生 | |
| 2020级 | 李孝男(2020-)、周云华(2020-) | 博士生 |
| 安晨鑫(香港大学)、费朝烨(转博)、耿志超(AWS)、李世民(转博)、林同茂、刘向阳(转博)、刘毅韬、罗琪(转博)、宋德敏(上海人工智能实验室)、杨建强(阿里) | 硕士生 | |
| 2017级 | 杨永祎 | 本科生 |
| 2016级 | 戴宁、胡志峰、安晨曦、裴恒志 | 本科生 |
| — | 阚志刚(国防科技大学,2021)、胡明昊(国防科技大学,2017)、王永(香港大学,2017)、郑人杰(同济大学,2017) | 访问学生 |
以上信息来源于参考资料[20],统计于2024年7月6日
所获荣誉
| 获奖时间 | 所获奖项 |
|---|---|
| 2015年 | 入选首届中国科协青年人才托举工程 |
| 2017年 | ACL2017杰出论文奖 |
| 2018年 | 中国中文信息学会“钱伟长中文信息处理科学技术奖—青年创新奖” |
| 2019年 | CCL2019最佳论文奖 |
| 2020年 | 4篇论文入选PaperDigest发布的IJCAI/ACL/EMNLP的最有影响力论文(各会议每年10篇) |
| 2020年 | 第四届上海高校青年教师教学竞赛优等奖 |
| 2021年 | 首届上海市计算机学会教学成果奖一等奖(第一完成人) |
| 2021年 | 《中国科学:技术科学》2021年度高影响力论文奖 |
| 2022年1月17日 | 2021年度CCF杰出演讲者[14] |
| 2023年3月24日 | 钱伟长中文信息处理科学技术奖一等奖[18] |
| 2023年 | 上海市计算机学会教学成果奖一等奖(第二完成人) |
| 2023年 | 入选教育部、中国教师发展基金会“高校计算机专业优秀教师奖励计划” |
| 2023年 | 2023年度上海市计算机学会青年科技英才 |
以上内容来源于参考资料[1],统计于2024年7月6日
参考资料 20
- 邱锡鹏 — FudanNLP开源项目作者
- 邱锡鹏 — 复旦大学
- 邱锡鹏老师获中国中文信息学会 “钱伟长中文信息处理科学技术奖—汉王青年创新奖” 一等奖 — 复旦大学计算机科学技术学院
- 邱锡鹏教授获第四届上海高校青年教师教学竞赛自然科学应用学科优秀奖 — 复旦大学计算机科学技术学院
- 复旦邱锡鹏:中国版ChatGPT“火”了之后,MOSS接下来要拼的是“算力” — 复旦大学计算机科学技术学院
- 科研速递 | 邱锡鹏教授做客人大高瓴解剖ChatGPT — 复旦大学计算机科学技术学院
- 复旦大学计算机科学技术学院 — 喜报|复旦大学计算机科学技术学院邱锡鹏教授入选2022-2023年度高校计算机专业优秀教师奖励计划
- GPT又迎重磅升级!但大模型的科学性挑战仍有待攻克 @复旦大学邱锡鹏 — 上观
- 复旦大学邱锡鹏:新一代大模型将支持各种模态 与更多实际场景结合 — 同花顺7x24快讯
- 邱锡鹏:AI共商共治需相关法律法规的建立健全 — 第一财经
- 邱锡鹏:如果我不能创作一个东西,说明我不理解它 — 第一财经
- 邱锡鹏 — 中国知网
- 大模型还能怎么创新?复旦教授邱锡鹏:需在新的架构、多模态等方面多做研究 — 搜狐网
- 复旦大学计算机科学技术学院王晓阳教授、邱锡鹏教授当选2021年度CCF杰出演讲者 — 复旦大学计算机科学技术学院
- 算法相对论|复旦教授邱锡鹏:神经网络还远远谈不上有意识 — 澎湃新闻
- AGI时代已到,学院派、大厂派、创业派“大乱斗” — 百家号
- 与《流浪地球》AI同名:国内首个类ChatGPT模型MOSS发布 — 百家号
- 复旦大学计算机学院邱锡鹏教授科研团队获钱伟长中文信息处理科学技术奖一等奖 — 复旦大学计算机科学技术学院
- 研究方向与代表性论文 — 邱锡鹏
- 学生 — 邱锡鹏
注释
- 统计于2024年7月6日
- 期刊信息释义举例:此篇论文发表在《SCIENCE CHINA Technological Sciences》(简称SCTS)期刊的第63卷第10期上,页码范围为1872-1897,出版于2020年,由Science China Press出版。
- 即:2019年亚洲语言处理国际大会。英文全称:The 2019 International Conference on Asian Language Processing (IALP 2019)
- 即:程序委员会联合主席(Program Committee Co-Chair)
- ACL是:Annual Meeting of the Association for Computational Linguistics(计算语言学协会年会)的简称,是自然语言处理与计算语言学领域最高级别的学术会议
- “Area Chair”指的是“领域主席”(Area Chairperson)
- 即:第二十一届中国计算语言学大会。英文全称:The Twenty-first China National Conference on Computational Linguistics (CCL 2022)