如何看待EMNLP2023？

今年审的几篇稿子，Computational Social Science and Cultural Analytics的track，只能说有点让我开始对这个领域失去了希望。审的六篇文章，只有一个平均Soundness和Excitement分高于三的。

没有一个不用ChatGPT的。这个本身没有什么问题。问题在于，在这个track里的文章，就prompt来prompt去，整篇文章都用来说GPT怎么的好，GPT怎么的差，差的地方也只evaluate了一个prompt就来说差，也没提出mitigation方案。Benchmarking的话，得出的结果总得valid吧？结果说了半天，说的整个模型的bias其实也就是你设计的prompt的bias，这有什么技术价值。二是，竟然投的是CSS的这个track，那么应该得有一些社会贡献吧？对什么社会现象应该有所什么新的感知吧？不，并没有。整篇文章就去和GPT玩去了。根本不在乎任何别的东西。

做这种交叉学科领域的难处往往是在找两者之间的一个权衡。偏NLP并没有什么问题，但是得有技术价值。有技术价值的文章在这个被ChatGPT所霸占的时代，真的太罕见了。可能只是个人的看法吧。

另外吐槽一下，现在在NLP+CSS的这个领域，GPT这种模型成为了一个很好的scalable annotation工具，和一个很强的zero/few-shot model。以前，研究者都会先去collect一个数据集，找人annotate，然后最后在这些标注的基础上建立一个新的模型去搞一个新的task。现在，GPT可以全部代替，prompt出来synthetic data，prompt出来annotation，prompt出来zero-shot model，做实验也就是天天和一个模型“聊天”，天天使劲prompt。当然，这里面有很多需要external validation的细节，不过这种工作做久了，真的感觉会de-skill，连基本编程做模型什么的都不用了，因为prompting成为了全部工作。天天做这种工作的话，还当什么研究者，我早崩溃了。

看meta reviewer的点评和分数，还是会很认真的去看每一个review的content；不仅仅是一个分数平均的打分。有个文章虽说每一个reviewer打的soundness分数还算凑合，review里有一人却提出了个致命的weakness；meta直接recommend rejection。另有个文章，虽说很多reviewer都打出了“为什么不用XXX模型”类似的comment来当作文章弱点去说，meta直接忽略了这些invalid的理由，recommend了主会。事实证明，review的substance大于最终给的分数。

最后，很喜欢这次EMNLP用openreview的选择，感觉比ARR和softconf什么的好用多了，可惜没了以前softconf的提前开奖环节。自己的几个文章都进了主会，这里其中还包括了指导了一段时间的本科生RA朋友的首篇一作论文，很开心。同时也很高兴到时候在新加坡于大家分享这几篇工作。