CoordinatorLayout锚有时会在片段中重新定位FAB

Question

<android.support.design.widget.CoordinatorLayout
    android:layout_width="match_parent"
    android:layout_height="wrap_content">

<LinearLayout
    android:id="@+id/top_layout"
    android:layout_width="wrap_content"
    android:layout_height="wrap_content"
    android:orientation="horizontal"
    android:layout_gravity="bottom">
    <ImageView
        android:id="@+id/image_remove"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"        
        android:src="@drawable/ic_remove"
        android:visibility="gone" />
    <ImageView
        android:id="@+id/image_upload"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:src="@drawable/ic_upload"
        android:visibility="gone" />
</LinearLayout>
<LinearLayout
    android:id="@+id/bottom_layout"
    android:layout_width="match_parent"
    android:layout_height="wrap_content"
    android:orientation="vertical">
        <TextView
            android:id="@+id/name"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:textColor="@android:color/black"
            android:textSize="@dimen/text_size_normal"
            android:textStyle="bold" />

</LinearLayout>
    <android.support.design.widget.FloatingActionButton
        android:id="@+id/navigate"
        android:layout_width="wrap_content"
        android:layout_height="wrap_content"
        android:layout_marginRight="@dimen/margin_medium"
        android:src="@drawable/ic_fab_navigate"
        app:backgroundTint="@color/blue"
        app:layout_anchor="@+id/bottom_layout"
        app:layout_anchorGravity="bottom|right" />
</android.support.design.widget.CoordinatorLayout>

这是我的xml代码。我的FAB有时出现在左上角＆amp;有时会出现在规定的锚位置。我正在片段中设置回收站视图。从服务器获取数据后进行设置。我应该改变什么才能让FAB处于正确的位置？