Chapter 3 Reading and Reviewing （阅读和审阅）

新手研究人员可以相信，研究的主要内容包括运行实验、发展理论或进行分析。但是，凭借经验，研究人员发现了开拓理解（developing an understanding）的重要性。有人认为，许多实验研究人员在从事某一领域五年或更长时间后都会尽其所能，因为要深入、彻底地了解该领域、现有知识及其局限性需要时间。为了获得这种理解，你需要成为一个有效的研究论文读者。

一个成功的读者可以在识别论文缺陷的同时，识别出论文的贡献和价值；并运用批判性审阅来识别论文中缺陷的严重程度。然后，这篇论文将直接作为知识的来源，间接地作为指导如何创造出值得赞赏的作品，为新作品提供信息。此外，阅读的一个特殊应用是成为一名可靠的审阅人或毕业论文审阅者。本章是关于阅读和审阅的，它是对有效阅读要素的介绍、也是审阅的指南。

论文审阅是科学过程的核心部分。对其他科学家撰写的论文的批评和分析是识别良好研究和消除不良研究的主要机制，可以说与研究本身一样重要。很多人都被审稿的任务所吓倒，也许是因为它是一种智力测试：要求你对别人工作展现出一种透彻的理解。它也是令人生畏的，因为它带来了责任;你既不要错误地批评扎实的工作，也不想建议发表有缺陷的研究。然而无益的是，审稿的质量是高度可变的。大多数研究人员都有一些好的研究工作被拒绝的经历，仅仅只有几句仓促的解释，或者审稿人根本没有阅读过该工作。

审稿可能是一件苦差事，但与其他任何研究活动一样，应该付出同样的努力、关心和道德标准。除了编辑和作者的感激之外，它还有回报。它可以引导你从一个全新的角度看待你自己的作品，并使你暴露在不同类型的错误或研究失败中——提交出版的作品的平均工作标准远低于已出版的作品。并且，虽然你可能不会被要求作为你研究的一部分来评判一篇论文，但是你自己的工作将被审阅或检查，因此本章提供了一个关于预期提交论文标准的观点。

Research Literature （ 研究文献）

当你的研究完成时，你需要确信你已阅读并理解与你的工作有重大联系的所有科学文献。你的阅读达到了几个目的。它证明了你的工作确实是新颖的或创新的;它可以帮助你了解当前的理论、发现和争论;它可以确定新的质疑或调查路线;它应该为你的工作提供不同的视角。此阅读最终将在背景部分和你撰写的相关工作的讨论中进行总结。

您的作品所依赖的文献通常被认为是在一个声誉良好的场所推荐和发表的论文、在一个声誉良好的机构中被采取和审查的论文，以及基于所述信息中提供的信息的书籍。这些文件被研究界接受为知识的来源;实际上，它们可以被视为我们科学知识的整体。文献中不包括实验室笔记、调查回复或实验输出等主要来源。这些缺乏的内容是根据特定假设对内容的解释。例如，其他文献，包括新闻文章，科学杂志，维基百科页面或文档 - 可能会提醒您存在信誉良好的作品，但很少值得引用。也就是说，你的学习可能建立在更广泛的文献之上，但是你的写论文中的论据应该基于来自推荐来源的知识基础上。

对文献的深入研究很容易发现数百篇潜在的相关论文。但是，论文不是教科书，不应该被当作教科书来对待。研究人员阅读论文不是为了考试而学习，很少需要理解每一行。从事某一特定项目的研究人员必须熟悉的论文数量通常很少，即使研究人员为了确定其相关性应该阅读的论文数量很大。

因此，重要的是要成为一个有效的读者，通过给予每篇论文不多也不少的时间。当你第一次阅读一篇论文的时候，浏览它以确定它的相关程度 - 如果论文有价值的话，请仔细阅读。努力正确理解细节，但要时刻注意可能有错误或混淆的细节。

期望有一系列的阅读模式：浏览寻找论文，了解论文工作概况，了解工作中的主要成果;论文和主流科学杂志的背景阅读;以及全面、集中地阅读能够拓展你能力或你理解的极限的论文。但是，不要让阅读发展成一种拖延形式，它需要成为生产性工作周期的一部分，而不是占主导地位的时间使用。

Finding Research Papers (查找研究论文)

每个研究项目都建立在以前的工作基础之上。做和描述研究需要全面了解他人的工作。然而，每年在主要计算机科学场所发表的论文数量至少达到数万篇，这一数量令人望而却步。

值得安慰是，在一个活跃的领域，其他研究人员已经在一定程度上探索和消化了旧的文献。他们的工作为早期研究提供了指导， 因此很少需要对文献进行彻底的探索。但是，这也是仔细搜索当前工作的另一个原因。而且要注意：阅读一篇看似相关的论文绝不能代替阅读论文本身。如果你需要讨论或引用一篇论文，请先进行论文阅读。

对相关文献的全面探索涉及以下几条相互关联的路径：

  • 使用明显的搜索词来探索Web。你可能会发现，不仅仅是论文，还有与同一研究领域相关的项目和团队的主页。你也可能会找到提供更有价值的搜索词的文档。在你的搜索结果中检索;有时一个领域的研究被分成不同的社区，他们有不同的词汇表。
  • 一些主要的搜索引擎具有专门用于学术论文的搜索工具。这些可以按个人，机构和引文进行索引。它们是今天找到相关工作的最有效方法。
  • 访问本领域工作的研究小组和研究人员的网站。这些网站应该会提供相关文献的链接：你应该调查他们团队研究人员的名字，他们的共同作者的名字，相关工作出现的会议，以及列有参考文献的论文。
  • 跟进有前景的研究论文中的参考文献。这些包括相关的个人、会议和期刊。
  • 浏览该领域最近的期刊和会议论文专辑;搜索可能包含相关论文的其他期刊和会议。
  • 搜索特定出版方的数字图书馆。其中包括Wiley和Springer等出版商，以及ACM和IEEE等专业协会。还有各种各样的在线档案，特别是 www.arXiv.org。
  • 大多数会议都有列出论文大纲的网站，即当年会议接受的论文。在会议中，论文通常按主题分组。
  • 考虑使用引文索引。传统的印刷引文索引已经迁移到网络上，但实践中，它们对计算机科学的价值是有限的，因为只有一小部分出版物包含在内。
  • 去图书馆。将类似材料搁置在一起的简单策略通常会导致意外的发现，而不会在浏览网页时产生分心。
  • 与尽可能多的人讨论您的工作。他们中的一些人可能很了解你没有遇到的相关工作。类似的问题经常出现在不同的研究领域，但和其他领域出现一样的困难 - 这种现象有时被称为“在孤岛中工作” - 意味着调查相似问题的人可能彼此不知情。

搜索和发现有用论文的过程可以被认为是一种学习形式。您找到的每篇论文或页面都应该完善你对术语的理解，帮助指出哪些论文是重要的，建议新的跟进方向，并进一步阐明论文是“进入”还是“出局”的标准。

有时候，同一篇论文会有多个版本：在线档案中的预印本、会议版本和期刊版本。你应该使用作者认为具有权威性的版本;这通常是发表在期刊上的精雕细琢的作品。

在寻找论文时，要对“相关”有一个广义的定义。这不仅仅意味着那些提出竞争方法的论文。该论文是否对其他研究文献有了有趣的见解？它是否建立了基准？作者是否找到了一种巧妙的方法来证明一个可以在你自己的工作中应用的定理？该论文是否证明了不进行某些特定调查的决定是正当的？其他人的研究可能会对你的工作产生许多不同的影响。

找到所有相关工作很难;例如，对医学研究文献进行详尽的专业搜索可能需要数月的全职工作。但是，找到所有重要的工作是进行研究的关键部分。只有当你完成了研究的调查阶段并起草了一份好的文献综述草稿后，与你相关的文献范围才会变得明显。在你的研究过程中，你的主题和兴趣可能会转移、集中或扩大，你的观点也会随着你的理解的发展而改变——随着你的学习更新你的搜索。

搜索和阅读是独立的活动，尝试同时执行这两项操作是错误的。我建议您不加批判地收集材料，然后进行批判性分析和分类。将您找到的论文保存到目录中，稍后再浏览以了解您找到的内容。在单个搜索会话的上下文中，将注意力限制在一个或两个特定主题上也很有帮助。

在搜索完文献之后，你可能会发现你最初的想法并不是那么新颖。如果是这样，请诚实地审查您的工作，看看哪些方面可能是新颖的，但不要欺骗自己去处理已经解决的问题。例如，有时也会发生这样的情况：在相当长的一段时间内，其他几个团队对同一个问题进行了调查。同时，其他人也在解决同一个问题，这并不意味着不可能在该领域做出进一步的贡献。

Critical Reading （批判性阅读）

阅读的主要目的是培养批判性思维能力。优秀的研究人员必须证明他们有能力客观地分析他人的工作和主张。有了经验，你可以把每一篇论文放在你所知道的其他工作的背景中，并根据一系列的特点对其进行评估。

通过这样做，您将对常见错误和虚假主张保持警惕。研究文献的挑战在于是否相信你所读到的内容。在信誉良好的期刊或会议上发表的作品经过同行评审;网上可获得的作品可能有任何历史，从已接受期刊论文的预出版版本到非英文原文翻译得很糟糕的抄袭作品。一个玩世不恭但经常准确的经验法则是，超过一年或两年的作品尚未在重要场所发表，可能存在一些严重的缺陷。当你在网上找到一篇论文的版本时，请确定它是否已在某个地方发表过。使用诸如作者其他出版物质量等证据来确定它是否是严格研究计划的一部分。

许多研究具有一定的误导性。人们研究已经被解决和理解地很好的问题，或者解决技术无关的问题，或者没有意识到所提出的改进方案实际上使方法变得更糟。数学方面的利用可能毫无意义;可能证明错误的性质，例如复杂性而不是正确性;所用的假设可能不可信;评估策略可能没有意义。使用的数据集可能非常小，结果毫无意义。这些结果显然是错误的。而且，虽然论文被评审的事实是一个有价值的指标，但它并不是一种保证。许多人从事的工作不值得写，有时它也会被发表。

实际上，很少有论文是完美的。它们是对新工作的介绍，而不是对众所周知的结果的深思熟虑的解释，写在截止日期的限制意味着错误是无法发现的，一些问题未被探索。一些老的论文的某些方面可能会被取代或不相关，或者可能依赖于有限或技术上过时的假设。一篇论文可以被视为研究项目的快照，这和研究人员在提交时所发现的内容有关。由于所有这些原因，读者需要质疑、平衡和怀疑。简而言之，不要因为它被发表而接受论文内容是对的。但这并不能证明研究人员对过去的工作不屑一顾;相反，他们应该尊重并从中学习，因为他们自己的工作可能有类似的优点和缺点。一些缺乏经验的研究人员将其他工作视为完美或毫无价值，这些极端方式都是不正确的。

虽然许多论文可能存在缺陷，但它们定义了科学知识。(与此相反，教科书通常是旧的、已确立的、不再处于前沿的工作的整合。）如果许多研究人员相信某篇论文，对其结果持怀疑态度仍然是合理的，但这需要与以下事实相平衡：如果怀疑是合理的，那么其他研究人员都错了。

通过提出论文的关键问题来阅读论文，例如：

  • 论文是否有贡献？研究内容是否很重要？
  • 有没有感兴趣的贡献？
  • 结果是否正确？
  • 是否讨论过适当的文献？
  • 该方法实际上是否回答了最初的问题？
  • 是否批判性地分析了方案和结果？
  • 从结果中得出适当的结论，还是有其他可能的解释？
  • 所有技术细节都是正确的吗？它们是合理的吗？
  • 结果可以验证吗？
  • 是否有任何严重的含糊不清或不一致？

也就是说，积极尝试找出贡献和缺点，而不是简单地从一端读到另一端。对论文的分析可以被认为是验证每个组件是否是健壮的。如果论文对你的工作很重要，你应该对其进行分析，直到你对其每个组成部分形成合理的观点;如果某些组成部分有问题，这应该反映在您的文献综述中。

写下你对论文的分析 - 你将阅读数百篇论文，在某些情况下，在几个月或几年后才能正式描述它们。但是，在你开展自己的工作之前，进行详细的分析可能会很困难，因此形成一个成熟的视角。因此，文献回顾不应在调查开始时停止，而应与研究一起继续。

Developing a Literature Review (建立文献综述)

文献综述是对一组文献的结构化分析，可能涵盖多个独立研究领域的工作。这篇评论不仅仅是这些论文的列表。相反，论文应该按主题分组，并以一种能够让读者理解他们对该领域的贡献、局限性以及他们留下来的问题的方式进行批判性讨论。

为论文撰写文献综述的任务可能具有挑战性，因为这种论文比任何其他单一活动都更为艰巨。因此，逐步开展审查是很有意义的。

一旦开始阅读，就开始粗略的文献审阅，当你阅读一篇你认为需要讨论的论文时，将其添加进去。（你还应该在阅读过程中捕获书目数据，并保存你阅读的每一篇论文的副本。）最初，文献综述将是粗略和非结构化的，但是当您添加论文时，你可以按主题和贡献对它们进行分组，并在每篇论文中添加注释以及它们如何相互关联。简要总结每篇论文的贡献和用于支持这些主张的证据，并且还要注意任何感兴趣的缺点或特征。你可能还需要注意，为了你自己的参考，如何更好地完成工作：例如，是否有应该尝试的明显实验，或者说是合理的反驳？请记住，你对其他工作的理解有助于审查员判断你作为研究人员的能力。

没有必要对你的文献综述的草稿进行完善 - 很可能除了你自己之外没有人会读到这些早期版本 - 所以可以认为这是写给未来自己的一封信。也就是说，在这个阶段，您应该专注于组织和内容而不是演示。只有在您的研究完成后，才能以一种集中的方式完成并产生最终文献综述的重写、编辑和润色。

随着你的综述的进行，你将更容易决定是否包含你阅读的每篇论文。许多明显的因素将指导你的决策：其他一些工作与您的关系有多接近，或者它的影响力如何。有些因素可能更微妙。例如，你可能会发现一份调查论文，或者一篇最近发表的论文，对其本身进行了全面的文献综述，这意味着很多旧论文都不需要讨论;一些最初似乎很重要的论文可能在反思后看起来不那么相关，可以放在一边或简单提一下;虽然最初似乎过于理论化或抽象化的论文可能会在进一步研究中被选为基础性的工作。

我建议你在早期的草稿中尽可能地包容。当您删除对一篇论文的讨论时，把讨论放在另一个文件中（或将其注释掉）而不是完全删除它，因为此文本是您阅读论文的记录。

Author, Editors, and Referees (作者，编辑和审稿人)

当作者完成一篇论文时，会将其提交给期刊的编辑（或会议的主持人）进行发布。编辑将论文发送给评审论文并返回评估的审稿人。然后编辑使用这些评估来决定是否应该接受该论文，或者，如果是期刊论文，是否需要进一步审阅或修订。

在撰写论文时，作者应该诚实，道德，谨慎。最终由作者而不是期刊编辑或审稿人负责确保论文内容的正确性。除非另有说明，否则作者有责任确保论文描述符合适当的标准，并且是他们自己的作品。

审稿人应公平客观、保密、避免利益冲突。此外，他们应该及时完成论文审阅，声明他们作为审稿人的限制，在评估论文时要小心谨慎，并且只有在他们确信论文满足足够的标准时才建议接受。虽然审稿人一般可以假设作者在道德上表现得很好，但很多提交的论文创新点弱或者有一定的缺陷，在这些论文上花费了大量时间来审阅 - 部分原因是因为他们经常在拒绝后重新提交。此外，因为一些表面上的原因，如好的写作、令人印象深刻的数学或作者的声望，如果审稿人认为一篇论文是正确的、有趣的，这是疏忽大意的。

编辑的职责是适当地选择审稿人，确保论文审阅及时完成并达到适当的标准，在审稿人的评价不同或作者认为审稿人的评价不正确时进行仲裁，并使用评论来决定是否应该被接受。

这些论文作者的观点是截然不同。在提交时，作者可能会认为这项工作非常出色并且完善，而且很可能对批评很敏感。即使不是在一流研究中心环境中工作的研究人员，或者从未接受过更有经验的研究人员指导的研究人员，也可能确信他们的论文非常出色并且负面评论是错误的。其结果是，他们可能只做最小的改变，寻求解决审稿人提出的问题的方法，因此需要通过令人信服的论据来说服他们认为审稿人的观点是合理的。

相比之下，审稿人和编辑可能会感到不兴奋（大多数提交被拒绝），并且不相信提交的材料，强烈的结果通常是错误的。在这种情况下，他们也可能对典型的、令人沮丧的错误敏感，也可能对作者在评审意见中对自己作品的不当批评敏感。在某种意义上，审阅过程可以看作是协调这些不同观点的机制。

Contribution （贡献）

贡献是判断论文的主要标准。从广义上讲，如果一篇论文有两个属性：原创性和有效性，那么它就具有贡献。

论文的原创性是所提出的想法具有重要性、新颖性和趣味性的程度。大多数论文在某种程度上是对以前发表的作品的延伸或变化;真正具有开创性的想法很少见。尽管如此，有趣或重要的想法比现有工作的微不足道的增量更有价值。决定是否有足够的原创性来保证发表是审稿人的主要任务。只有一篇真正优秀的描述，写得很透彻，写得很好，尽管是一些边缘性新思想论文也能被录用，而一篇开创性的论文在某些方面必须令人无语的程度，才能被拒绝。

在评估贡献的重要性时，考虑其影响力是有帮助的：即，判断出版和论文被广泛阅读将会产生多少变化。如果唯一可能的影响是来自该领域的一些专家的兴趣，那么该论文就是微不足道的。另一方面，如果可能的影响是实践的广泛变化或来自其他研究人员的一系列有趣的新结果的产生，那么该论文确实是开创性的。

一些想法虽然是显而易见但并不会减损它们的原创性。回想起来，很多优秀的想法都是显而易见的。此外，一篇陈述很好的论文中的想法往往看起来不像一篇报道不好的论文那么复杂，仅仅因为前者的作者有更好的解释诀窍。这明显不是拒绝论文的理由。真正的成就可能是首先提出正确的问题或以正确的方式提出问题，即注意到问题的存在。以新的方式或在替代框架内组织现有的想法也可以是原创的贡献，也可以重新评估现有的想法或方法。

论文的有效性是这些想法被证明是合理的程度。仅仅凭直觉就认为提出的方案应该成立的论文是无效的。良好的科学需要以允许其他科学家验证的形式证明正确性。如第4章所述，这种演示通常是通过证明或分析、建模、模拟或实验，或者最好是这些方法中的几种，并且可能涉及到与现有想法的某种比较。

在算法领域，证明和分析是证明一个方案是有价值的公认方法。理论和数学分析的运用是计算机科学的基石之一：计算机技术是短暂的，但理论结果是永恒的。然而，它们的耐用性创造了对确定性的需求：不可信的分析是没有价值的。因此，一篇报告实验工作的论文可能是一项重大贡献。为了引起足够的兴趣，这个实验应该测试以前没有经过经验检验的行为，或者与“已知的”结果相矛盾。

无论是通过理论实验，有效性的证明都应该是严格的：仔细描述，透彻，可验证的。评估算法的实验应基于良好的实现；基于受试者统计测试的实验应使用足够大的样本和适当的对照。与现有工作的比较是证明其有效性的重要组成部分。一种不如现有替代方案的新算法不太可能具有重要意义。

Evaluation of Papers （论文评估）

评估论文的过程包括提出关键问题，如本章前面“批判性阅读”中列出的问题。此外，还有更多的问题需要问一篇正在审阅的论文，它不仅应该是正确的，而且应该适合可能的读者。

  • 这一贡献是及时的，还是只具有历史意义？
  • 该主题是否与领域的典型读者群相关？
  • 论文欠缺什么？什么会使论文描述更完整？是否有必要增加其他材料？
  • 可能的读者人数有多广？
  • 可以理解论文吗？它写得清楚吗？演示文稿是否符合标准？
  • 内容是否符合长度要求？

其中，贡献是最重要的组成部分，需要进行价值判断。批判性分析的存在也很重要：作者应正确识别其工作的优点、缺点和影响，而不是忽视问题或缺点。当他们以公正的方式描述结果时，更容易信任结果。

大多数论文都有一个明确或隐含的假设。试着找出假设是什么：如果你不能识别它，可能有些不对劲，如果可以，它将帮助你识别所有论文是否与假设相关，以及是否缺少重要材料。

论文的质量可以反映在其参考文献中。例如，有多少参考文献？这是一个粗略的经验法则，但通常是有效的。对于一些研究问题，只有少数相关论文，但这种情况是例外。只有少数参考文献的存在可能是论文质量差的证据。此外，一些作者引用了相当数量的论文而没有实际引用相关文献，从而掩盖了参考文献少的事实。如果许多参考文献都是作者的，那么可能有些参考文献是多余的。如果近期的参考文献比较少，那么作者似乎并不熟悉其他研究。同样，对没有提及该领域主要期刊或会议的论文持怀疑态度。期望作者通过正确的引文提供新颖性和创新性的证据。

有时，作者提交的论文严重不完整。没有努力找到相关的文献，或者只是粗略的校样，或者很明显论文从未被校对过，或者在极端情况下，论文只是概述了基本思想。这样的作者或许想证明一个想法是他们自己的，而不必费劲去证明它的正确性，或者只是厌倦了工作，希望审稿人自己理解具体的细节，而不必没有费心解释。这些论文不值得进行彻底的评估。但是，不要草率地将论文判断为此类别。

审稿人应努力寻找不影响论文质量但应在出版前前予以纠正的错误。这些包括拼写和语法、书面表达、参考文献中的错误、是否定义或解释了所有概念和术语、任何公式或数学中的错误以及从变量名到表格布局到参考文献格式的任何内容的不一致。如果论文要出现在期刊上，在排版过程中可能会出现一些这类的错误，但其中很多错误都不会出现。尤其是，只有审稿人才有可能发现的数学上的错误。

这些错误可能会成为更严重的缺陷，可能会使论文无法接受。例如，可以预期数学中会出现一些印刷错误，但如果下标混淆或符号不断变化，则作者很可能没有仔细检查结果;那么该论文很可能被拒绝接受并期望作者在再次提交之前对其进行审阅，这也是合理的。

类似的论据也适用于这种陈述：在某种程度上，可以接受写得不好的论文（但是很不情愿），但是在陈述中不足才是拒绝的理由，因为如果一篇论文无法被阅读就没有价值。但请注意，反过来并不适用：优秀的陈述并不能成为接受的理由。有时，审稿人会收到一份写得很好的论文，并在给出审阅结果的过程中表现出真正的兴趣，但仅仅是复制现有的工作。遗憾的是，这些论文必须被拒绝。

对于一些论文来说，一个困难的问题是，是建议彻底拒绝还是建议在重大修改后重新提交。后者意味着，在不超过合理数量的额外工作的情况下，该论文可以达到可接受的标准。该建议不应被用作“软拒绝”的一种形式，以不伤害作者的感受或其他一些类似的感受，同时要求实际上不可能完成的修改；最终的接受（可能在多轮审阅后）通常是此类建议的最终结果。如果使论文工作达到可接受的标准将涉及大量的额外研究和写作，则拒绝是适当的。这一裁决可以通过其他方式软化，例如建议在解决问题后重新提交该文件。

作为同行评审系统的结果，活跃的研究人员应该期望审阅的论文数量是他们提交的论文数量的两到三倍（或者如果他们的论文通常是共同撰写的话，则会少一些），只有在有充分理由的情况下才拒绝对论文进行评判。对于许多论文，可能没有审稿人是该领域的真正的专家，所以即使你自己对论文的判断没有信心，也要准备好审阅。总是要陈述你作为审稿人的一些限制 - 例如，您不熟悉该领域的文献，或者无法检查某些证据是否正确。也就是说，你需要承认自己的无知。最终，如果论文在某些方面不符合标准，审稿人不应建议接受。 审稿人有责任对论文进行全面评估。

Content of Reviews（论文审阅的内容）

审阅论文有两个目的。直接的目的是它是编辑用来决定是否应该接受论文发表的机制。隐含的目的，也同样重要且经常被忽视 ， 是通过对作者的评论，是科学家之间分享专业知识的一种手段。除书面评论之外，评论通常包括其他内容（例如某些标准的分数，用于确定是否应该接受论文），作者可以从这些评论结果中发掘有价值东西。评论应该对论文提出某种具体问题：它是否满足相应的标准以及它的缺陷是什么。也就是说，它是对论文的分析，解释了为什么它适合或不适合出版。

衡量审稿人评论的标准主要有两个：

  • 是否对该论文的反对令人信服？

    在建议接受论文时，必须说服编辑认为它足够符合标准。简短而肤浅的评论，没有讨论该论文的细节，会引起编辑对该论文未经过仔细审查的怀疑。好的评论不应只是文章的摘要; 它应该包含一个明确的声明来说明你认为的贡献。

    在建议拒绝论文时，应提供对论文问题的明确解释。例如，仅仅在没有参考和解释的情况下声称作品不是原创作品或者之前已经完成的工作是不合理的 - 如果没有提供证据，作者为何应该相信这样的评判？他们花了相当长的时间来开展和展示他们的研究工作，很少有作者会被一些轻蔑的评论说服而放弃它，相反，他们会在不做修改的情况下重新提交到其他地方。

  • 是否对作者进行了足够的引导？

    当建议接受某篇论文时，审稿人应该描述为修复剩余的错误或以任何方式改进论文所需的任何变化——技术上、风格上，无论怎样。如果审稿人不建议这样的改变，他们就不会被改变。

当建议拒绝某篇论文时，审稿人应该考虑作者下一步可能做些什么 - 他们如何从被拒绝达到到良好的研究。有两种情况。一个是该论文有一些有价值的核心内容，通过进一步的工作，将是可以接受的。审稿人应强调该核心内容，并至少用一般术语解释作者应如何改变和改进他们的工作。另一种情况是，该工作没有任何有价值的内容，在这种情况下，审稿人应该向作者解释如何得出相同的结论。由于论文陈述中的缺陷，审稿人有时无法判断是否有有价值的内容。通过列出作者应该考虑的问题等方式，有助于向作者解释他们如何判断自己研究工作的重要性。

应该遵守这些标准的原因有很多。科学界以合作精神为荣，正是本着这种精神，审稿人应该帮助其他人改进他们的工作。不好的评审，尽管节省了审稿人的工作量，但是对于整个研究界来说，如果一篇论文的缺点没有得到充分的解释，那么如果论文被重新提交，它们仍然存在。最重要的是，糟糕的审查是自我强化的，对科学标准不利。它创造了一种对其他人的工作缺乏检查的文化，并最终削弱了对已发表研究的信心。

在建议接受的评审中，没有进一步的机会纠正错误。审稿人是最后一位在论文出版前仔细检查论文的专家。如前所述，只有拼写和标点符号等明显错误可能会在以后被发现，审稿人应该检查论文内容是否基本正确：没有明显的数学错误，证明中没有逻辑错误，没有错误的实验结果，参考文献没有问题，没有虚假或夸大的主张，也没有严重遗漏重要信息或包含无关文本。

在建议拒绝或实质性修订的评论中，这种细粒度检查并不重要，因为（大概）该论文包含某种严重错误。尽管如此，如果只是为了防止一个周期的纠正和重新提交，每次只解决几个问题，那么一定程度的谨慎是必不可少的。欢迎对改进论文有具体、明确的指导。但是不要为作者做研究。如果研究工作做的不好，退后一步;如果研究工作做的好，就不需要你的贡献;如果简单的改变会产生真正的影响，建议他们，但完善内容是作者的工作。

Drafting a Review （起草评审意见）

对论文的第一印象可能会产生误导。我的审阅过程是阅读论文并做出边注，然后决定是否应该接受论文，然后将评论写给作者。但通常情况下，即使在最后阶段，我对论文的看法也会发生变化。也许一个看似次要的问题被揭示为一个主要的缺陷，或者论文的深度变得更加明显，因此它具有比看起来更重要的意义。经验教训是，审稿人应该随时准备改变他们的想法，而不是过早地对某个特定的观点做出承诺。

另一个教训是，积极因素与消极因素同样重要：评论应该是建设性的。例如，在审查过程中，有时可以代表作者匿名加强论文。审阅过程可以很容易地包括错误查找，但是对于作者来说，了解他们论文的哪些方面是好的以及哪些方面是坏的是很有价值的。好的方面将构成论文重新修改的基础，因此应在审阅中加以强调。

有些裁判员认为论文中没有瑕疵。例如，评估可能包括一般性的陈述，这些陈述几乎可以与论文主题无关，例如关于文档处理的论文中的“作者没有考虑并行架构”。其他的例子是一些含糊不清的抱怨，比如“问题本可以被更深入地调查”或者“问题的某个方面没有被考虑”。这种评论表明，审稿人没有进行公证的评价。如果有真正的问题，最好用例子来描述，否则什么也不说。

审稿人应提供明显或基本的被遗漏的参考文献，但不应让作者不必要地寻找论文，特别是当他们很难找到的时候。推荐接受的审稿人至少要对相关文献有足够的熟悉，以便对新作品有合理的信心，并根据需要推荐参考文献。

审稿人需要有礼貌。打破这一规则（特别是在评估一篇特别令人沮丧或考虑不周的论文时）很有诱惑力，进而态度傲慢、讽刺或进行彻头彻尾的侮辱，这样的评论是不可接受的。

有些审查过程允许不被作者看到的机密评论。你可以用这些评论来强调你的评论的特定方面，或者，如果编辑要求一个分数而不是一个接受或拒绝的建议，明确说明是否应该接受该论文。您还可以使用此空间告诉编辑你自己一些限制。然而，由于作者没有机会对他们看不见的评论进行辩护，因此除了作者可见的评论之外，这里并不适合提出批评意见。

Checking Your Review （检查自己的评审意见）

当您建议接受论文时，您应该：

  • 说服自己该论文没有严重的缺陷。
  • 通过解释为什么它是原创的、有效的和清晰的来说服编辑认为它是符合标准的。
  • 列出论文出版前应做的主要和次要的更改，并在可能的情况下，不仅指出要更改的内容，还要指出该部分内容更改的方向；但是，如果某些类型的错误过多，您可能希望给出一些示例并推荐这篇论文需要校对。
  • 在检查数学、公式和参考文献等细节时要小心谨慎。

当您建议拒绝某篇论文或建议在重大修改后重新提交论文时，您应该：

  • 明确解释论文中存在的问题，并在可能的情况下讨论如何纠正这些问题。
  • 指出论文工作的哪些部分是有价值的，哪些部分应该被丢弃，即讨论您认为的贡献。
  • 检查论文是否达到合理的详细程度，除非它非常草率或考虑不周。

无论哪种情况，你应该：

  • 提供作者应该熟悉的良好参考文献。
  • 问问自己你的评论是否公正、具体和礼貌。
  • 作为这篇论文的审稿人，要诚实地对待自己的局限性。
  • 在提交之前仔细检查你的评论，就像检查你自己的论文一样。

以合理的细节陈述你的论点;你的写作和陈述可能与论文中的标准不同，但论证的严谨程度应该相似。请记住，编辑会倾向于相信您的判断和观点，而不是作者的判断和观点。不要滥用这种信任。