需要帮助,以了解为什么在REPL不会失败时Clojure规格测试/检查为何未能通过返回验证

时间:2019-01-25 07:37:30

标签: clojure clojure.spec test.check generative-testing

我一直在使用Clojure Spec进行测试和数据生成,并且看到一些奇怪的行为,其中该功能在单元测试中起作用,而在REPL中的验证起作用,但是使用spec.test / check进行的生成测试失败了。

我已经创建了一组类似的规范:

(s/def ::significant-string (s/with-gen 
                              (s/and string? #(not (nil? %)))
                              (fn [] (gen/such-that #(not= % "")
                                             (gen/string-alphanumeric)))))

(s/def ::byte-stream 
  (s/with-gen #(instance? java.io.ByteArrayInputStream %)
   (gen/fmap #(string->stream %) (gen/string-alphanumeric))))


(s/fdef string->stream
  :args (s/cat :s ::significant-string)
  :ret ::byte-stream
  :fn #(instance? java.io.ByteArrayInputStream %))

以及fn实现:

  (defn string->stream
  "Given a string, return a java.io.ByteArrayInputStream"
  ([s] {:pre [(s/valid? ::significant-string s)]
        :post [(s/valid? ::byte-stream %)]}
       (string->stream s "UTF-8"))
  ([s encoding]
   (-> s
       (.getBytes encoding)
       (java.io.ByteArrayInputStream.))))

在REPL中,我看到了我期望从规范的生成和测试中看到的东西:

=> (instance? java.io.ByteArrayInputStream (string->stream "test"))
true

=> (s/valid? ::byte-stream (string->stream "0"))
true

=> (s/exercise-fn 'calais-response-processor.rdf-core/string->stream)
([("Y") #object[java.io.ByteArrayInputStream 0x57210dd7 "java.io.ByteArrayInputStream@57210dd7"]] [("d") #object[java.io.ByteArrayInputStream 0x7ec14113 "java.io.ByteArrayInputStream@7ec14113"]] [("5") #object[java.io.ByteArrayInputStream 0x1e85195b "java.io.ByteArrayInputStream@1e85195b"]] [("9c") #object[java.io.ByteArrayInputStream 0x3769ddef "java.io.ByteArrayInputStream@3769ddef"]] [("P0N") #object[java.io.ByteArrayInputStream 0x68793160 "java.io.ByteArrayInputStream@68793160"]] [("7tvN1") #object[java.io.ByteArrayInputStream 0x1cc43ca5 "java.io.ByteArrayInputStream@1cc43ca5"]] [("LjH4U") #object[java.io.ByteArrayInputStream 0x2a3da1a7 "java.io.ByteArrayInputStream@2a3da1a7"]] [("W") #object[java.io.ByteArrayInputStream 0x534287aa "java.io.ByteArrayInputStream@534287aa"]] [("x867VLr") #object[java.io.ByteArrayInputStream 0x72915e93 "java.io.ByteArrayInputStream@72915e93"]] [("moucN3vr") #object[java.io.ByteArrayInputStream 0x4f0d7570 "java.io.ByteArrayInputStream@4f0d7570"]])

但是我不明白为什么从测试/检查中看到了这一点:

(stest/check 'calais-response-processor.rdf-core/string->stream)
    ({:spec #object[clojure.spec.alpha$fspec_impl$reify__2451 0x1acb0d46 "clojure.spec.alpha$fspec_impl$reify__2451@1acb0d46"], :clojure.spec.test.check/ret {:shrunk {:total-nodes-visited 4, :depth 3, :pass? false, :result #error {
     :cause "Specification-based check failed"
     :data {:clojure.spec.alpha/problems [{:path [:fn], :pred (clojure.core/fn [%] (clojure.core/instance? java.io.ByteArrayInputStream %)), :val {:args {:s "0"}, :ret #object[java.io.ByteArrayInputStream 0x7bee9d86 "java.io.ByteArrayInputStream@7bee9d86"]}, :via [], :in []}], :clojure.spec.alpha/spec #object[clojure.spec.alpha$spec_impl$reify__1987 0x16a19b4c "clojure.spec.alpha$spec_impl$reify__1987@16a19b4c"], :clojure.spec.alpha/value {:args {:s "0"}, :ret #object[java.io.ByteArrayInputStream 0x7bee9d86 "java.io.ByteArrayInputStream@7bee9d86"]}, :clojure.spec.test.alpha/args ("0"), :clojure.spec.test.alpha/val {:args {:s "0"}, :ret #object[java.io.ByteArrayInputStream 0x7bee9d86 "java.io.ByteArrayInputStream@7bee9d86"]}, :clojure.spec.alpha/failure :check-failed}
     :via
     [{:type clojure.lang.ExceptionInfo
       :message "Specification-based check failed"
       :data {:clojure.spec.alpha/problems [{:path [:fn], :pred (clojure.core/fn [%] (clojure.core/instance? java.io.ByteArrayInputStream %)), :val {:args {:s "0"}, :ret #object[java.io.ByteArrayInputStream 0x7bee9d86 "java.io.ByteArrayInputStream@7bee9d86"]}, :via [], :in []}], :clojure.spec.alpha/spec #object[clojure.spec.alpha$spec_impl$reify__1987 0x16a19b4c "clojure.spec.alpha$spec_impl$reify__1987@16a19b4c"], :clojure.spec.alpha/value {:args {:s "0"}, :ret #object[java.io.ByteArrayInputStream 0x7bee9d86 "java.io.ByteArrayInputStream@7bee9d86"]}, :clojure.spec.test.alpha/args ("0"), :clojure.spec.test.alpha/val {:args {:s "0"}, :ret #object[java.io.ByteArrayInputStream 0x7bee9d86 "java.io.ByteArrayInputStream@7bee9d86"]}, :clojure.spec.alpha/failure :check-failed}
       :at [clojure.core$ex_info invokeStatic "core.clj" 4739]}]
     :trace
     [[clojure.core$ex_info invokeStatic "core.clj" 4739]
      [clojure.core$ex_info invoke "core.clj" 4739]
      ...
      ...(lots more)

尽管返回的对象现在对我来说看起来“确定”,但这似乎与生成器fn的构成有关。

1 个答案:

答案 0 :(得分:0)

:fn #(instance? java.io.ByteArrayInputStream %))

问题在于,当:fn规范实际上是在包含输入 return的映射中调用时,它仅期望函数 return 值。价值观。尝试使用此版本:

:fn (fn [{:keys [args ret]}]
      (instance? java.io.ByteArrayInputStream ret))

:fn规范应该是一个函数,它采用包含函数输入:args和输出:ret值的映射。旨在将函数的输出与其输入进行比较。

在此示例中,:fn规范似乎与您的:ret规范具有相同的断言,并且它不查看:args,因此您可能不希望{ {1}}在这里说明是否在输入/输出之间没有有意义的断言,这只会冗余地声明返回值。

  

在REPL中,我看到了我期望从规范的生成和测试中看到的东西

您仅看到:fn失败的原因是因为其他所有调用都没有考虑函数的check规范,例如:fn不考虑s/exercise-fn规范。

我使用:fn规范here作了一些例子。