Spring Data MongoRepository save(T)无效...有时

时间:2018-04-11 17:05:25

标签: java mongodb spring-boot spring-data

所以我正在使用这个小的Angular + Java + Spring Boot + MongoDB应用程序。它最近得到了很多动作(阅读:代码修改),但数据访问类基本上没有触及AFAIK。
但是,似乎MongoRepository突然决定停止持续更改我save()到DB。

检查mongod.log这是我在save()工作时看到的内容:

2018-04-11T15:04:06.840+0200 I COMMAND  [conn6] command pdfviewer.bookData command: find { find: "bookData", filter: { _id: "ID_1" }, limit: 1, singleBatch: true } planSummary: IDHACK keysExamined:1 docsExamined:1 idhack:1 cursorExhausted:1 keyUpdates:0 writeConflicts:0 numYields:1 nreturned:1 reslen:716 locks:{ Global: { acquireCount: { r: 4 } }, Database: { acquireCount: { r: 2 } }, Collection: { acquireCount: { r: 2 } } } protocol:op_query 102ms
2018-04-11T17:30:19.615+0200 I WRITE    [conn7] update pdfviewer.bookData query: { _id: "ID_1" } update: { _class: "model.BookData", _id: "ID_1", config: { mode: "normal", offlineEnabled: true }, metadata: { title: "PDFdePrueba3pag   copia  6 ", ...}, downloaded: false, currentPageNumber: 2, availablePages: 3, bookmarks: [], stats: { _id: "c919e517-3c68-462c-8396-d4ba391762e6", dateOpen: new Date(1523460575872), dateClose: new Date(1523460575951), timeZone: "+2", ... }, ... } keysExamined:1 docsExamined:1 nMatched:1 nModified:1 keyUpdates:0 writeConflicts:1 numYields:1 locks:{ Global: { acquireCount: { r: 2, w: 2 } }, Database: { acquireCount: { w: 2 } }, Collection: { acquireCount: { w: 2 } } } 315ms
2018-04-11T17:30:19.615+0200 I COMMAND  [conn7] command pdfviewer.$cmd command: update { update: "bookData", ordered: false, updates: [ { q: { _id: "ID_1" }, u: { _class: "model.BookData", _id: "ID_1", config: { mode: "normal", offlineEnabled: true }, metadata: { title: "PDFdePrueba3pag   copia  6 ", ...}, downloaded: false, currentPageNumber: 2, availablePages: 3, bookmarks: [], stats: { _id: "c919e517-3c68-462c-8396-d4ba391762e6", dateOpen: new Date(1523460575872), dateClose: new Date(1523460575951), timeZone: "+2", ... }, ... }, upsert: true } ] } keyUpdates:0 writeConflicts:0 numYields:0 reslen:55 locks:{ Global: { acquireCount: { r: 2, w: 2 } }, Database: { acquireCount: { w: 2 } }, Collection: { acquireCount: { w: 2 } } } protocol:op_query 316ms

这就是我没看到的情况:

2018-04-11T18:13:21.864+0200 I NETWORK  [initandlisten] connection accepted from 127.0.0.1:64271 #1 (1 connection now open)
2018-04-11T18:18:51.425+0200 I NETWORK  [initandlisten] connection accepted from 127.0.0.1:64329 #2 (2 connections now open)
2018-04-11T18:19:06.967+0200 I NETWORK  [initandlisten] connection accepted from 127.0.0.1:64346 #3 (3 connections now open)

通过在调试时对日志文件执行tail -f 1 ,我发现当我的代码调用findById()时,这些连接就出现了或save(),因此应用似乎可以访问数据库。

这是(或多或少)相关的Java代码:

/* BookData.java */
@Document
public class BookData {

    @Id private String id;
    // Some more non-Id Strings...
    private Config config;
    private Metadata metadata;
    private Boolean downloaded;
    private Integer currentPageNumber;
    private int availablePages;
    private List<Bookmark> bookmarks;
    private StatsModel stats;

    @Transient private byte[] contents;

    public BookData() {}

    // getters and setters
}

/* BookDataRepository.java */
// MongoRepository comes from spring-boot-starter-parent-1.4.5.RELEASE
public interface BookDataRepository extends MongoRepository<BookData, String> {
    BookData findById(String id);
}

/* BookDataServiceImpl.java */
public BookData updateBookData(String id, BookData newData) {
    final BookData original = bookDataRepository.findById(id);
    if (original == null) {
        return null;
    }
    original.setCurrentPageNumber(Optional.ofNullable(newData.getCurrentPageNumber()).orElseGet(original::getCurrentPageNumber));
    // similar code for a couple other fields

    return bookDataRepository.save(original);
}

我在调试时已经完成了那一部分,并且一切似乎都没问题:

  • findById(id)正确返回预期的BookData original对象:检查✓
  • newData包含用于更新的预期值:检查✓
  • 在致电save(original)之前,使用original值正确修改了newData:检查✓
  • save()执行时没有错误:检查✓
  • save()返回一个新的BookData,其中包含正确更新的值:令我惊讶的是,请检查✓
  • save()返回后,Mongo Shell中的db.bookData.find()查询显示值已更新:失败
  • save()返回后,通过BookData的新来电检索到的findById()对象包含更新后的值:失败(有时确实如此,有时它不会' T)。

看起来MongoDB正在等待某种flush(),但这不是JPA存储库,而是可以调用saveAndFlush()

为什么会发生这种情况的任何想法?

编辑:版本(根据要求):

  • Java 8
  • Spring Boot 1.4.5
  • MongoDB 3.2.6
  • Windows 10

我还在上面添加了BookData

2 个答案:

答案 0 :(得分:6)

问题解决了。
从JS客户端到Java后端的不同端点的不同异步调用是在原​​始值的不同线程中覆盖我更新的文档。

在保存之前,两个更新操作都在调用findById。问题是他们同时这样做,所以他们得到了相同的原始价值 然后每个人都继续更新相关字段并在结尾处调用save,从而导致另一个线程有效地覆盖我的更改。
每次调用只记录了相关的修改字段,所以我没有意识到其中一个是覆盖了另一个的变化。

一旦我将systemLog.verbosity: 3添加到MongoDB的config.cfg以便它记录所有操作,很明显同时发生了2次不同的WRITE操作(相距约500毫秒) )但使用不同的值 然后,只需将findById移近save并确保JS调用按顺序完成(通过使其中一个承诺依赖于另一个)。

事后看来,如果我使用MongoOperationsMongoTemplate,这可能不会发生,它提供单updatefindAndModify方法也允许单字段操作,而不是MongoRepository,我被迫分3步(find,修改返回的实体,save),并使用完整的文档。

编辑:我真的不喜欢我的第一个“移动findById更接近save”的方法,所以最后我做了我觉得正确的事情并且实现了自定义保存方法使用了MongoTemplate更精细的update API 。最终代码:

/* MongoRepository provides entity-based default Spring Data methods */
/* BookDataRepositoryCustom provides field-level update methods */
public interface BookDataRepository extends MongoRepository<BookData, String>, BookDataRepositoryCustom {

    BookData findById(String id);

}

/* Interface for the custom methods */
public interface BookDataRepositoryCustom {

    int saveCurrentPage(String id, Integer currentPage);
}

/* Custom implementation using MongoTemplate. */
@SuppressWarnings("unused")
public class BookDataRepositoryImpl implements BookDataRepositoryCustom {
    @Inject
    MongoTemplate mongoTemplate;

    @Override
    public int saveCurrentPage(String id, Integer currentPage) {
        Query query = new Query(Criteria.where("_id").is(id));
        Update update = new Update();
        update.set("currentPage", currentPage);

        WriteResult result = mongoTemplate.updateFirst(query, update, BookData.class);

        return result == null ? 0 : result.getN();
    }
}

// Old code: get entity from DB, update, save. 3 steps with plenty of room for interferences.
//        BookData bookData = bookDataRepository.findById(bookDataId);
//        bookData.setCurrentPage(currentPage);
//        bookDataRepository.save(bookData);
// New code: update single field. 1 step, 0 problems.
        bookDataRepository.saveCurrentPage(bookDataId, currentPage);

通过这样做,每个端点可以根据需要update通过MongoTemplate,而不必担心覆盖不相关的字段,我仍然保留基于实体的MongoRepository方法新实体创建,findBy方法,带注释的@Query等。

答案 1 :(得分:4)

MongoDB本质上是一个缓存存储,我的意思是,内容不保证是最新的或必然是正确的。我还没有能够找到刷新时间的配置选项(但它们将在数据库本身中配置),但是MongoDB添加了一些功能,以便您可以选择快速+脏或慢+干净。这&#34;新鲜度&#34;如果您遇到这种问题,因素很可能是您的问题。 (即使您没有分布式运行,请求确认和提交的请求之间存在时间差异)

以下是关于&#34;清洁阅读的帖子的链接&#34; (以下引用中的关键点)

http://www.dagolden.com/index.php/2633/no-more-dirty-reads-with-mongodb/

  

我鼓励MongoDB用户放置自己(或者至少是他们自己的用户)   应用程序活动)到以下组之一:

     

&#34;我想要低延迟&#34; - 只要事情很快,脏读就可以了。   使用w = 1并阅读关注&#39; local&#39;。 (这些是默认设置。)&#34;我   想要一致性&#34; - 即使以成本为代价,脏读也不行   延迟或稍微过时的数据。使用w =&#39;多数&#39;并阅读   关注的大多数人。使用MongoDB v1.2.0;

my $mc = MongoDB->connect(
    $uri,
    {
        read_concern_level => 'majority',
        w => 'majority',
    }
);

进一步阅读可能有用也可能没用

更新

如果在多线程环境中运行,请确保您的线程不会踩踏其他更新。您可以通过将系统或查询日志记录级别配置为5来验证是否发生了这种情况。 https://docs.mongodb.com/manual/reference/log-messages/#log-messages-configure-verbosity