坐看云起时:自然语言处理的迷思

摘要:以2010年深层神经网络在语音识别研究方向上取得里程碑式进展为新起点和新动能,整个人工智能领域迅速跃迁到深度学习时代。这也涵盖了人工智能最为重要的分支领域之一——自然语言处理。最近十年间,深度学习在自然语言处理几乎各个研究方向上均显著提升了其性能水平,近年来更发展到以BERT和GPT3为代表的大规模预训练语言模型,并且“出乎意料”地成为世界范围内整个人工智能领域技术竞争的战略焦点和热点,引领了一个时期的潮流(如各类预训练语言模型以及预训练多模态模型如雨后春笋般层出不穷)。基于深度学习的自然语言处理正沿着“极大数据、极大模型、极大算力”的轨道“无所不用其极”地一路奋进,但这条路走到极致,前景又会是怎样的呢?是否会放眼看过去大面上热热闹闹,“乱花渐欲迷人眼”,但在研究以及真正解决问题的深刻程度上,却沉迷停留于“浅草才能没马蹄”的阶段?本报告拟就此类迷思进行一些不成熟的“放飞式”讨论。


简历:孙茂松,清华大学计算机科学与技术系教授、博士生导师,清华大学人工智能研究院常务副院长,清华大学计算机学位评定分委员会主席,欧洲科学院外籍院士。2007-2018年任该系系主任、党委书记。主要研究领域为自然语言处理、人工智能、社会人文计算和计算教育学。国家重点基础研究发展计划(973计划)项目首席科学家,国家社会科学基金重大项目首席专家。北京智源人工智能研究院自然语言处理重大研究方向首席科学家,中央音乐学院、青海师范大学兼职教授、博士生导师,新加坡国立大学访问教授。在重要国际刊物、国际会议、国内核心刊物上发表论文200余篇,Google Scholar论文引用18500次以上。主要学术兼职包括:教育部在线教育研究中心副主任,清华大学大规模在线教育研究中心主任,清华大学-新加坡国立大学下一代搜索技术联合研究中心联席主任,国务院学位委员会第六、八届计算机学科评议组成员,教育部教学信息化与教学方法创新指导委员会副主任委员,互联网教育智能技术及应用国家工程实验室副主任,中国科学技术协会第九届全国委员会委员,中国中文信息学会第六、七届副理事长,《中文信息学报》主编,《数字人文》共同主编,全国计算机慕课联盟副理事长等。2016年获“全国优秀科技工作者”。2020年获教育部高等学校科学研究优秀成果奖(科学技术)一等奖、钱伟长中文信息处理科学技术奖一等奖、教育部高等学校科学研究优秀成果奖(人文社会科学)二等奖。享受国务院政府特殊津贴。