NLP到底现在在研究些什么？从ACL2023投稿领域及细分领域看一看

1. 引言

我们经常会被外行人问到，现在自然语言处理到底在研究些什么啊？

也经常会被内行人问到，你是做NLP的吗？你是做哪个方向的？

正好借ACL的调查问卷，梳理一下NLP现在到底都在研究些什么。

2. 熟悉的领域精讲

我以我熟悉的领域抛砖引玉，和ChatGPT一起，给大家大致讲解一下目前各个子领域都在研究些什么。

2.1 Discourse （篇章）

在自然语言处理 (NLP) 领域，篇章分析子领域研究了如何分析和理解自然语言文本中的语言结构和意义。这个子领域包括许多方向，其中一些重要的方向如下:

先行词消歧（anaphora resolution）: 这个方向研究如何在文本中确定一个代词或指示代词指代的是什么。

共指消歧（coreference resolution）: 这个方向研究如何在文本中确定两个或多个名词指代的是同一个实体。

连接消歧（bridging resolution）: 这个方向研究如何在文本中确定一个名词指代的是什么，特别是当这个名词在文本中并没有提到过的时候。

连贯性（coherence）: 这个方向研究如何分析文本中不同部分之间的关系，以确保文本是连贯的。

衔接性（cohesion）: 这个方向研究如何分析文本中不同部分之间的关系，以确保文本是衔接的。

话语关系（discourse relations）: 这个方向研究如何分析文本中两个或多个句子之间的关系。

话语解析（discourse parsing）: 这个方向研究如何建立文本中不同句子之间的关系的模型。

对话（dialogue）: 这个方向研究如何在自然语言对话中处理意图理解、语义解析和对话策略等问题。

谈话（conversation）: 这个方向研究如何分析谈话中的语言特征，例如语言策略、语言风格和社交关系等。

话语与多语言（discourse and multilinguality）: 这个方向研究如何分析多语言文本中的话语结构和意义。

论证挖掘（argument mining）: 这个方向研究如何从文本中提取论证结构和论点。

交流（communication）: 这个方向研究如何分析自然语言交流中的语言特征，例如语言风格、语言策略和社交关系等。

2.2 Summarization （摘要）

在自然语言处理 (NLP) 领域，自然语言摘要子领域研究了如何通过自然语言文本生成一个简短的摘要，以便更快地了解文本的主要内容。这个子领域包括许多方向，其中一些重要的方向如下:

提取式摘要（extractive summarisation）: 这个方向研究如何通过从文本中提取关键句子或段落来生成摘要。

抽象式摘要（abstractive summarisation）: 这个方向研究如何通过自然语言生成模型来生成新的句子来概括文本的主要内容。

多模态摘要（multimodal summarization）: 这个方向研究如何生成摘要时使用多种信息源，如文本、图像、视频等。

多语言摘要（multilingual summarisation）: 这个方向研究如何对多种语言的文本生成摘要。

对话摘要（conversational summarization）: 这个方向研究如何对对话文本生成摘要。

查询驱动摘要（query-focused summarization）: 这个方向研究如何根据用户提供的查询生成相关文本的摘要。

多文档摘要（multi-document summarization）: 这个方向研究如何对多个文档生成摘要，以便更快地了解这些文档的主要内容。

长篇摘要（long-form summarization）: 这个方向研究如何对长篇文本生成摘要。

句子压缩（sentence compression）: 这个方向研究如何生成句子的简短版本，但保留句子的主要意思。

少样本摘要（few-shot summarization）: 这个方向研究如何使用少量样本来训练摘要生成模型。

架构（architectures）: 这个方向研究不同的摘要生成架构，并确定哪种架构对于特定的任务最有效。

评估（evaluation）: 这个方向研究如何评估摘要生成系统的质量，包括如何比较不同系统的性能。

事实性（factuality）: 这个方向研究如何确保摘要中的信息是准确的。

2.3 Dialogue and Interactive Systems （对话系统）

在自然语言处理 (NLP) 领域，对话系统子领域研究了如何设计、实现和评估自然语言对话系统。这个子领域包括许多方向，其中一些重要的方向如下:

口语对话系统（spoken dialogue systems）: 这个方向研究如何设计和实现通过语音交互的对话系统。

评估与指标（evaluation and metrics）: 这个方向研究如何评估对话系统的性能，并提出适用于对话系统的各种指标。

任务导向（task-oriented）: 这个方向研究如何设计对话系统来完成特定的任务。

人在回路中（human-in-the-loop）: 这个方向研究如何设计对话系统，使人类可以参与到对话流程中来。

偏差/毒性（bias/toxicity）: 这个方向研究如何设计对话系统，以便避免偏见或毒性行为的出现。

事实性（factuality）: 这个方向研究如何确保对话系统中的信息是准确的。

检索（retrieval）: 这个方向研究如何设计对话系统，使其能够检索信息。

知识增强（knowledge augmented）: 这个方向研究如何使用知识库或其他知识来增强对话系统的能力。

常识推理（commonsense reasoning）: 这个方向研究如何设计对话系统，使其能够使用常识进行推理。

交互式故事讲述（interactive storytelling）: 这个方向研究如何设计对话系统，使其能够讲述交互式故事。

体现代理（embodied agents）: 这个方向研究如何设计对话系统，使其具有形象化的代理人。

应用（applications）: 这个方向研究如何将对话系统应用于实际场景中，包括聊天机器人、客服机器人等。

多模态对话系统（multi-modal dialogue systems）: 这个方向研究如何设计多模态对话系统，使其能够利用文本、语音、图像等信息进行对话。

有根对话（grounded dialog）: 这个方向研究如何设计对话系统，使其能够根据真实世界的信息进行对话。

多语言/低资源（multilingual / low resource）: 这个方向研究如何设计对话系统，使其能够在多种语言或资源有限的情况下工作。

对话状态跟踪（dialogue state tracking）: 这个方向研究如何设计对话系统，使其能够跟踪对话的状态。

对话建模（conversational modeling）: 这个方向研究如何设计对话系统，使其能够建模对话的语言和语义特征。

2.4 NLP Applications （NLP应用）

在自然语言处理 (NLP) 领域，应用领域研究了如何将 NLP 技术应用于实际场景中，以解决各种实际问题。这个领域包括许多方向，其中一些重要的方向如下:

教育应用（educational applications）: 这个方向研究如何使用 NLP 技术来解决教育领域中的问题，如自动评分、拼写检查等。

英语语言矫正（GEC）: 这个方向研究如何使用 NLP 技术来矫正英语中的语法和拼写错误。

论文评分（essay scoring）: 这个方向研究如何使用 NLP 技术来自动评分论文。

恶意言论检测（hate speech detection）: 这个方向研究如何使用 NLP 技术来检测恶意言论。

多模态应用（multimodal applications）: 这个方向研究如何使用 NLP 技术来解决多模态信息（文本、图像、语音等）的问题。

代码生成和理解（code generation and understanding）: 这个方向研究如何使用 NLP 技术来生成代码或理解代码。

事实核查（fact checking）: 这个方向研究如何使用 NLP 技术来核查事实，以及如何检测谣言或错误信息。

医疗保健应用（healthcare applications）: 这个方向研究如何使用 NLP 技术来解决医疗保健领域中的问题，如自动化病历处理、药物相互作用检测等。

金融/商业 NLP（financial/business NLP）: 这个方向研究如何使用 NLP 技术来解决金融和商业领域中的问题，如自动文档分类、风险检测等。

法律 NLP（legal NLP）: 这个方向研究如何使用 NLP 技术来解决法律领域中的问题，如自动文档摘要、合同分析等。

数学 NLP（mathematical NLP）: 这个方向研究如何使用 NLP 技术来解决数学领域中的问题，如自动证明、公式生成等。

安全/隐私（security/privacy）: 这个方向研究如何使用 NLP 技术来保护数据的安全和隐私。

历史 NLP（historical NLP）: 这个方向研究如何使用 NLP 技术来解决历史领域中的问题，如自动翻译古文件等。

知识图谱（knowledge graphs）: 这个方向研究如何使用 NLP 技术来建立知识图谱，并使用知识图谱来解决实际问题。知识图谱是一种结构化的知识表示方式，由节点和边组成，表示实体之间的关系。知识图谱可以用来进行知识检索、问答、推荐等应用。

3. 全领域列表

当然NLP领域研究的东西实在是太多了，我们这里给出全部的领域分布，由于个人能力和篇幅有限，不能够一一讲解。

3.1 Computational Social Science and Cultural Analytics

human behavior analysis

stance detection

frame detection and analysis

hate-speech detection

misinformation detection and analysis

psycho-demographic trait prediction

emotion detection and analysis

emoji prediction and analysis

language/cultural bias analysis

human-computer interaction

sociolinguistics

NLP tools for social analysis

quantiative analyses of news and/or social media

3.2 Dialogue and Interactive Systems

spoken dialogue systems

evaluation and metrics

task-oriented

human-in-the-loop

bias/toxicity

factuality

retrieval

knowledge augmented

commonsense reasoning

interactive storytelling

embodied agents

applications

multi-modal dialogue systems

grounded dialog

multilingual / low resource

dialogue state tracking

conversational modeling

3.3 Discourse and Pragmatics

anaphora resolution

coreference resolution

bridging resolution

coherence

cohesion

discourse relations

discourse parsing

dialogue

conversation

discourse and multilinguality

argument mining

communication

3.4 Ethics and NLP

data ethics

model bias/fairness evaluation

model bias/unfairness mitigation

human factors in NLP

participatory/community-based NLP

ethical considerations in NLP applications

transparency

policy and governance

reflections and critiques

3.5 Generation

human evaluation

automatic evaluation

multilingualism

efficient models

few-shot generation

analysis

domain adaptation

data-to-text generation

text-to-text generation

inference methods

model architectures

retrieval-augmented generation

interactive and collaborative generation

3.6 Information Extraction

named entity recognition and relation extraction

event extraction

open information extraction

knowledge base construction

entity linking/disambiguation

document-level extraction

multilingual extraction

zero/few-shot extraction

3.7 Information Retrieval and Text Mining

passage retrieval

dense retrieval

document representation

hashing

re-ranking

pre-training

contrastive learning

3.8 Interpretability and Analysis of Models for NLP

adversarial attacks/examples/training

calibration/uncertainty

counterfactual/contrastive explanations

data influence

data shortcuts/artifacts

explanation faithfulness

feature attribution

free-text/natural language explanations

hardness of samples

hierarchical & concept explanations

human-subject application-grounded evaluations

knowledge tracing/discovering/inducing

probing

robustness

topic modeling

3.9 Language Grounding to Vision, Robotics and Beyond

Vision Language Navigation

Cross-modal Pretraining

Image Text Matching

Cross-modal content generation

Vision Question Answering

cross-modal application

cross-modal information extraction

cross-modal machine translation

3.10 Large Language Models

pre-training

prompting

scaling

sparse models

retrieval-augmented models

ethics

interpretability/analysis

continual learning

security and privacy

applications

robustness

fine-tuning

3.11 Linguistic Diversity

less-resourced languages

endangered languages

indigenous languages

minoritized languages

language documentation

resources for less-resourced languages

software and tools

3.12 Linguistic Theories, Cognitive Modeling, and Psycholinguistics

Linguistic Theories

Cognitive Modeling

Computational Psycholinguistics

3.13 Machine Learning for NLP

Graph-based methods

Knowledge-augmented methods

Multi-task learning

Self-supervised learning

Contrastive learning

Generative models

Data augmentation

Word embeddings

Structured prediction

Transfer learning / domain adaptation

Representation learning

Generalization

Model compression methods

Parameter-efficient finetuning

Few-shot learning

Reinforcement learning

Optimization methods

Continual learning

Adversarial training

Meta learning

Causality

Graphical models

Human-in-the-loop / Active learning

3.14 Machine Translation

Automatic Evaluation

Biases

Domain Adaptation

Efficient Inference for MT

Efficient MT Training

Few-shot/Zero-shot MT

Human Evaluation

Interactive MT

MT deployment and maintainence

MT theory

Modelling

Multilingual MT

Multimodality

Online Adaptation for MT

Parallel Decoding/Non-autoregressive MT

Pre-training for MT

Scaling

Speech Translation

Switch-code Translation

Vocabulary Learning

3.15 Multilingualism and Cross-Lingual NLP

code-switching

mixed language

multilingualism

language contact

language change

linguistic variation

cross-lingual transfer

mutlilingual representations

multilingual pre-training

multilingual benchmarks

multilingual evaluation

dialects and language varieties

3.16 NLP Applications

educational applications, GEC, essay scoring

hate speech detection

multimodal applications

code generation and understanding

fact checking, rumour/misinformation detection

healthcare applications, clincial NLP

financial/business NLP

legal NLP

mathematical NLP

security/privacy

historical NLP

knowledge graphs

3.17 Phonology, Morphology, and Word Segmentation

morphological inflection

paradigm induction

morphological segmentation

subword representations

chinese segmentation

lemmatization

finite-state morphology

morphological analysis

phonology

grapheme-to-phoneme conversion

pronunciation modelling

3.18 Question Answering

commonsense QA

reading comprehension

logical reasoning

multimodal QA

knowledge base QA

semantic parsing

multihop QA

biomedical QA

multilingual QA

interpretability

generalization

reasoning

conversational QA

few-shot QA

math QA

table QA

open-domain QA

question generation

3.19 Resources and Evaluation

corpus creation

benchmarking

language resources

multilingual corpora

lexicon creation

automatic creation and evaluation of language resources

NLP datasets

automatic evaluation of datasets

evaluation methodologies

evaluation

datasets for low resource languages

metrics

reproducibility

statistical testing for evaluation

3.20 Semantics: Lexical

polysemy

lexical relationships

textual entailment

compositionality

multi-word expressions

paraphrasing

metaphor

lexical semantic change

word embeddings

cognition

lexical resources

sentiment analysis

multilinguality

interpretability

probing

3.21 Semantics: Sentence-level Semantics, Textual Inference, and Other Areas

paraphrase recognition

textual entailment

natural language inference

reasoning

semantic textual similarity

phrase/sentence embedding

paraphrase generation

text simplification

word/phrase alignment

3.22 Sentiment Analysis, Stylistic Analysis, and Argument Mining

argument mining

stance detection

argument quality assessment

rhetoric and framing

argument schemes and reasoning

argument generation

style analysis

style generation

applications

3.23 Speech and Multimodality

Automatic Speech Recognition

Spoken Language Understanding

Spoken Language Translation

Spoken Language Grounding

Speech and Vision

QA via Spoken Queries

Spoken Dialog

Video Processing

Speech Technologies

Multimodality

3.24 Summarization

extractive summarisation

abstractive summarisation

multimodal summarization

multilingual summarisation

conversational summarization

query-focused summarization

multi-document summarization

long-form summarization

sentence compression

few-shot summarization

architectures

evaluation

factuality

3.25 Syntax: Tagging, Chunking and Parsing

Chunking, Shallow-parsing

Part-of-speech tagging

Dependency parsing

Constituency parsing

Deep Syntax Parsing

Semantic Parsing

Syntax-to-semantic interface

Optimized Annotations or data set for Morpho-Syntax related tasks

Parsing Algorighms (symbolic, theoritical results)

Grammar and knowledge-based approaches

Multi-task approaches (Large definition)

Massively multilingual oriented appraoches

Low-resources languages pos tagging, parsing and related tasks

Morphologically-rich languages pos tagging, parsing and related tasks

3.26 Theme track: Reality Check

right for the wrong reasons

lessons from deployment

(non-)generalizability

(non-)reproducibility

evaluation

methodology

negative results

AI hype & expectations

science-vs-engineering

lessons from other fields

forgotten lessons