NLP模型中的句法和语义 ｜ 周日直播·NeuroAI读书会

　　神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

　　本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

　　读书会线上进行，11月27日开始，每周日晚上19:00-21:00，持续时间预计10周。读书会详情及参与方式见后文。

　　

　　分享内容简介

　　人工神经网络在许多需要高度语言技能的任务中都达到了与人类近似的水平，比如机器翻译等。这些工程应用上的成功引起了关于这些模型是否学会了跟人类似的语法和语义知识的广泛关注。本次分享将从两篇综述文章讨论关于语言中的句法和语义知识在深度学习语言模型中的体现。

　　分享内容大纲

　　1.句法

　　长距离一致性（long-distance agreement）

　　先天与后天的句法习得 (nature vs nurture)

　　2. 人工神经网络中的句法知识

　　文献解读：Syntactic structure from deep learning（作者信息 | 已有研究进展 | 研究综述）

　　3. 语义

　　分布语义 (distributional semantics)

　　组合语义 (compositional semantics)

　　4. 人工神经网络中的语义知识

　　文献解读：Semantic structure in deep learning（作者信息 | 已有研究进展 | 研究综述）

　　5. 总结与讨论

　　主要涉及到的知识概念

　　句法中长距离一致性（long-distance agreement）

　　词汇语义（lexical semantics）

　　组合语义（compositional semantics）

　　自然语言处理（natural language processing）

　　词向量（word embeddings）

　　预训练语言模型（pre-trained language models）

　　主讲人介绍

　　李吉星

　　2009年于北京师范大学获得学士学位，2019年于康奈尔大学获得博士学位，2018年-2022年在纽约大学阿布扎比分校从事博士后研究，2022年10月至今任香港城市大学助理教授。目前主要开展比较机器与人脑和动物脑处理语言的研究工作。

　　个人主页：https://jixing-li.github.io/

　　实验室主页：https://compneurolinglab.github.io/index.html

　　直播信息

　　时间

　　2023年1月8日（本周日）

　　晚上19:00-21:00

　　扫码参与，加入群聊，获取系列读书会回看权限，成为NeuroAI社区的种子用户，与社区的一线科研工作者与企业实践者沟通交流，共同推动NeuroAI社区的发展。

　　主要涉及到的参考文献

　　Linzen, T. and Baroni, M. (2021). "Syntactic Structure from Deep Learning." Annual Review of Linguistics 7(1): 195-212.

　　Pavlick, E-J (2022). "Semantic Structure in Deep Learning." Annual Review of Linguistics 8(1): 447-471.

　　NeuroAI读书会招募中

　　神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

　　本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。