在未经检测的构想，上投资使得剩下的投资计划徒劳无功，因为它假设构想是有效的，尽管我们知道大部分投资构想都是毫无意义的，它们仅仅代表了一时的脱轨失常。
在某种意义上，提问就是一种检测的方式。不幸的是，我们不能将这个比喻扩展得太远，因为最终答案还未出现。不管我们收集了多少数据，所得结果总有侥幸的可能性。尽管如此，如果有强有力的证据表明一个给定的投资是有效的，那么基于该构想的投资就是合理的(参见第八章)。
有些答案比其他的更容易找到，但我们最不感兴趣的答案总是最容易找到。更确切地说，证明一个理论是错误的比证明它是正确的要简单得多，这也是我们为什么从不缺少批评的原因之一。
例如，如果“成长股”指过去四年平均回报与净收益的比率至少是X%，单位销售量增长率至少是Y%，我们或许有兴趣知道“成长股”是否比标准普尔500指数的平均总回报更大。一方面，在一段较长的具有代表性的时间段内，成长股回报小于或等于标准普尔500指数的平均总回报，我们能通过这个方法相对简单地说明成长股没有产生更大的总回报。另一方面，说明成长股的总回报比标准普尔指数更高就要难得多。在某一较长的具有代表性的时间段内，成长股的回报比标准普尔500指数要高并不能证明我们所认为的原因，即股票的净收益和单位销售的增长率很高。很有可能是由于我们选取的用于研究的股票恰巧是可获利的。很有可能销售和净收益不重要，而股票的资本化却很重要。一般来讲，低资本化的股票利润较大，高资本化的股票利润较小，而我们的研究偶然纳入了许多小盘股的公司。
不同的原因相重叠，究竟是什么带来了惊人的利润就是一个学术问题。在上述的例子中，只要低资本化股票是成长股，该问题也是学术问题。但是它们在上述研究中相相一致并不能证明它们自此以后就会一直这样。更有可能的情况是，当投资者有更多的资金投入系统时，未来某一点上原因就会分开。
这是一个很常见的问题。事实上，每个可能的现象都有多种解释。如果说可能的解释的数量不是无限的，它也接近于无限。它甚至不限于调查者的想象。当且仅当我们能证明没有其他原因时，我们才可能证明成长股能产生更大的回报。这很难做到。很有可能是因为它不可能达到。
尽管如此，问题看上去仍比它本身要难。事实上，甚至被完全证实的理论也可能是错误的，这一点适用于不仅仅是投资研究的所有研究类型。这一问题并没有阻碍其他类型的研究变得有价值、有利润，比如医药研发。但是其他领域成功的研究者至少有两件投资研究者不做的事情。
第一，也是最重要的，成功的研究者是诚实的。科学的历史就是人们勇于承认错误的历史。例如，爱因斯坦在其早期的静态宇宙模型中引入了“宇宙常数”这一概念，即粒子间的互斥力。宇宙常数使得引力无法毁灭宇宙。之后，当人们发现宇宙处于膨胀状态时，爱因斯坦舍弃了宇宙常数，称它为“我一生中的首要大错”。戈特洛布·弗雷格(GottlobFrege)一生的著作就是《基本算数运算法则》，书中他将数学作为集合论坚实而符合逻辑的基础，这个工作比看上去更有趣，也更重要。当弗雷格著作的第二卷即将付印时，他收到了一封来自逻辑学家伯特兰·罗素(BertrandRussell)的信。罗素描述了说谎者悖论，这正中集合论的核心。弗雷格仅有时间在书中插入附录。附录开头写道：“没有比在著作完成时发现理论基础倒塌更让一个科学家讨厌的事情了。我就因为一封来自伯特兰·罗素先生的信而陷人了这个境地。”或许这是我的想象，但是我确实听见了文字背后的哭泣。更重要的是，我怀疑多数投资研究者根本不会这么做，他们不会试图去明白那些证明他们错误的证据。相比之下，上述的故事却绝对是科学研究的典型事件。
当然，科学家不总是诚实的。他们也是人。当很难保持诚实时，他们将构造自己的研究，使得个人的问题不会影响研究。研究是封闭隔离(即“盲”)的。例如，在单盲医药测试中，我们将一种可能有效的药给一组病人，将安慰剂给另一组病人。病人不知道自己属于哪一组。然后比较结果。注意，病人偏差不再起作用。
当然，也存在其它方面的偏差。在双盲测试中，我们将一种可能有效的药给一组病人，将安慰剂给另一组病人。病人和发药的医生都不知道自己属于哪一组。在三盲测试中，病人、医生、比较结果的分析员都不知道谁服哪种药。分析员只是比较A药和B药的结果，不知道哪个是可能有效的药，哪个是安慰剂。
很明显投资研究中存在和单盲、双盲、三盲测试相类似的例子。例如，真实的投资结果可以比作随机结果。更重要的是，研究院可以在不知道哪个结果代表真实数据的情况下比较结果。的确，考虑到交易员需要得到正的研究结果，不这么做会很危险。
第二，成功的研究者试图尽量清除其他“可能”的原因和“不那么可能”的原因。当然，什么是可能的原因或者不那么可能的原因取决于该领域理论的现状。一个理论如果内部一致，有强有力的证据支持，不存在严重的竞争者，那么我们就假定该理论正确。
当然，假定一个理论是正确的不代表它就是正确的，也不意味着我们不能质疑该理论。假定一个理论是正确的无非表示未来的所有研究都以这个理论为基础，寻找证据的担子就落在了挑战该理论的人身上。
只要我们明白没有最终答案，谈谈就数据提出问题就没有坏处。的确，这类内容关注了它本该关注的地方，即分析员的工作和责任，因此也很有帮助。答案并不是被“发现”的，研究不是被动的活动。研究是收集越来越多数据，直到答案自己揭晓。当然答案有时很明显。更多时候，答案并不明显。因此，分析员的工作就是以这样的方式提问，即不论数据拥有什么答案，答案都能自我显现。这不是个容易的任务。
研究不是只提出一个问题。只有单个问题是不正确的。或者如果这个问题正确，我们也不清楚这个问题是什么。更多时候，如果说可用的证据揭示了什么，它们也含混不清。正因为这样，研究是个不断尝试不断出错的过程，是一个接一个提问的过程，直到揭示出某些重要的东西。
这个问题仅有三种解决办法。
第一种就是只问一个问题。最老的统计技巧，比如T检验，就是为此而设计的。例如，如果知道义投资方法的平均年利润是否大于0很重要，我们就能使用该方法。一般来讲，很少有研究者只想问一个问题。
第二种解决办法就是在一个问题后再向一个，出现某个结果看上去有价值，就在新的不同数据中再检验一次。例如，一个想发展趋势跟踪方法的投资者可以在道琼斯平均指数上检测这些方法。如果他/她发现一个方法有某些价值，就可以在现金银价上检验该方法。如果在银价上有效，在真实货币中就可能有效。如果无效，投资者就要回去在道琼斯平均指数上继续检测，直到发现另一种有价值的方法。然后再将新方法在银价上检验。
但即便如此也存在欺骗自己的可能性。一个没有价值的方法会偶然地通过两次测试。如果多次使用第二组数据，那么必须要有第三组不同的数据，例如英国股票市场指数中的《金融时报》普通股票指数。必须有一组仅使用一次的数据。
第三种解决办法就是仔细地构建提问过程，使得现代统计学的强大方法能够派上用场。如果研究者的技巧足够，可以同时提向几个问题。交易员可以使用统计技巧中的方差分析。例如，该技巧可以帮助研究者决定趋势跟踪方法的利润是否在某些年份真的比其他年份多，或者在某些投资中比其它投资多。
蒙特卡洛技巧可以帮助那些仅对一笔投资感兴趣的投资者来应对一个接一个提问的情况。试想，交易员仅对金价感兴趣。他可以就现金金价数据测试几种方法。如果方法都被可操作地定义，如果测试的顺序已知，如果从一个测试到另一个测试的规则明确，我们就有可能确定所得结果在多大可能性上是偶然得到的。
对几乎所有投资者而言，第二种方法最好。不管使用哪种方法，越审慎小心越好。
从逻辑上讲，似乎是先验证再优化。除非你知道自己做的哪些事情是有实际价值的，不然知道最佳途径也没有意义。然而，这不是说我们必须先检验投资方法再优化它，尽管这是个可能的路径。不幸的是，所有方法对这种路径而言都太复杂了。除非方法极其简单，很容易将方法分为逐个部分，检验每一部分的有效性再依次优化。当然这种渐进方法存在危险。我们很容易将某些未经检测的灾难性特点引入一个有效的方法中。因此，我们最好先检验一个研究项目，再从整体上优化它。
