是否可以使用新的firebase数据库firestore计算集合中有多少项?
如果是这样,我该怎么做?
答案 0 :(得分:95)
与许多问题一样,答案是 - 取决于。
在前端处理大量数据时应该非常小心。除了让你的前端感觉迟钝之外,还有 Firestore charges you $0.60 per million reads。
谨慎使用 - 前端用户体验可能会受到影响
只要你没有用这个返回的数组做太多的逻辑,在前端处理它应该没问题。
db.collection('...').get().then(snap => {
size = snap.size // will return the collection size
});
小心使用 - Firestore读取调用可能会花费很多
在前端处理此问题是不可行的,因为它有太多可能减慢用户系统的速度。我们应该处理这个逻辑服务器端,只返回大小。
此方法的缺点是您仍在调用firestore读取(等于集合的大小),从长远来看,这可能最终导致您的成本超出预期。
云功能:
...
db.collection('...').get().then(snap => {
res.status(200).send({length: snap.size});
});
前端:
yourHttpClient.post(yourCloudFunctionUrl).toPromise().then(snap => {
size = snap.length // will return the collection size
})
大多数可扩展的解决方案
FieldValue.increment()
As of April 2019 Firestore now allows incrementing counters, completely atomically, and without reading the data prior。这确保我们拥有正确的计数器值,即使同时从多个来源更新(先前使用事务解决),同时还减少了我们执行的数据库读取次数。
通过侦听任何文档删除或创建,我们可以添加到数据库中的计数字段或从中删除。
查看firestore文档 - Distributed Counters 或者看看Jeff Delaney的Data Aggregation。对于使用AngularFire的人来说,他的指南真的很棒,但他的课程也应该延伸到其他框架。
云功能:
export const documentWriteListener =
functions.firestore.document('collection/{documentUid}')
.onWrite((change, context) => {
if (!change.before.exists) {
// New document Created : add one to count
db.doc(docRef).update({numberOfDocs: FieldValue.increment(1)});
} else if (change.before.exists && change.after.exists) {
// Updating existing document : Do nothing
} else if (!change.after.exists) {
// Deleting document : subtract one from count
db.doc(docRef).update({numberOfDocs: FieldValue.increment(-1)});
}
return;
});
现在在前端,您可以查询此numberOfDocs字段以获取集合的大小。
答案 1 :(得分:18)
最简单的方法是读取“querySnapshot”的大小。
db.collection("cities").get().then(function(querySnapshot) {
console.log(querySnapshot.size);
});
您还可以在“querySnapshot”中读取docs数组的长度。
querySnapshot.docs.length;
或者,如果“querySnapshot”为空,则读取空值,这将返回一个布尔值。
querySnapshot.empty;
答案 2 :(得分:10)
据我所知,没有针对此的内置解决方案,现在只能在节点sdk中使用。 如果你有
db.collection(' someCollection&#39)
你可以使用
。选择([字段])
定义您要选择的字段。如果你执行一个空的select(),你将获得一系列文档引用。
示例:
db.collection('someCollection').select().get().then(
(snapshot) => console.log(snapshot.docs.length)
);
此解决方案仅针对下载所有文档的最坏情况进行了优化,并且无法在大型集合上进行扩展!
另外看看这个:
How to get a count of number of documents in a collection with Cloud Firestore
答案 3 :(得分:6)
请小心计算大型馆藏的文档数。如果您希望每个集合都有一个预先计算的计数器,那么对于Firestore数据库来说有点复杂。
在这种情况下,此类代码无效:
export const customerCounterListener =
functions.firestore.document('customers/{customerId}')
.onWrite((change, context) => {
// on create
if (!change.before.exists && change.after.exists) {
return firestore
.collection('metadatas')
.doc('customers')
.get()
.then(docSnap =>
docSnap.ref.set({
count: docSnap.data().count + 1
}))
// on delete
} else if (change.before.exists && !change.after.exists) {
return firestore
.collection('metadatas')
.doc('customers')
.get()
.then(docSnap =>
docSnap.ref.set({
count: docSnap.data().count - 1
}))
}
return null;
});
原因是因为每个云Firestore触发器都必须是幂等的,如Firestore文档所述:https://firebase.google.com/docs/functions/firestore-events#limitations_and_guarantees
因此,为了防止多次执行代码,您需要使用事件和事务进行管理。这是我处理大型收款柜台的特殊方式:
const executeOnce = (change, context, task) => {
const eventRef = firestore.collection('events').doc(context.eventId);
return firestore.runTransaction(t =>
t
.get(eventRef)
.then(docSnap => (docSnap.exists ? null : task(t)))
.then(() => t.set(eventRef, { processed: true }))
);
};
const documentCounter = collectionName => (change, context) =>
executeOnce(change, context, t => {
// on create
if (!change.before.exists && change.after.exists) {
return t
.get(firestore.collection('metadatas')
.doc(collectionName))
.then(docSnap =>
t.set(docSnap.ref, {
count: ((docSnap.data() && docSnap.data().count) || 0) + 1
}));
// on delete
} else if (change.before.exists && !change.after.exists) {
return t
.get(firestore.collection('metadatas')
.doc(collectionName))
.then(docSnap =>
t.set(docSnap.ref, {
count: docSnap.data().count - 1
}));
}
return null;
});
这里的用例:
/**
* Count documents in articles collection.
*/
exports.articlesCounter = functions.firestore
.document('articles/{id}')
.onWrite(documentCounter('articles'));
/**
* Count documents in customers collection.
*/
exports.customersCounter = functions.firestore
.document('customers/{id}')
.onWrite(documentCounter('customers'));
如您所见,防止重复执行的关键是上下文对象中名为 eventId 的属性。如果针对同一事件多次处理该函数,则事件ID在所有情况下均相同。不幸的是,您必须在数据库中具有“事件”集合。
答案 4 :(得分:4)
我同意@Matthew,如果您执行这样的查询,它将花费很多。
[开发者在开始他们的项目之前的建议]
由于我们在一开始就预见到了这种情况,因此我们实际上可以创建一个集合,即带有文档的计数器,以将所有计数器存储在类型为number
的字段中。
例如:
对于集合上的每个CRUD操作,更新计数器文档:
下次,当您要获取托收数量时,只需查询/指向文档字段即可。 [1次读取操作]
此外,您可以将集合名称存储在数组中,但这很棘手,firebase中数组的条件如下所示:
// we send this
['a', 'b', 'c', 'd', 'e']
// Firebase stores this
{0: 'a', 1: 'b', 2: 'c', 3: 'd', 4: 'e'}
// since the keys are numeric and sequential,
// if we query the data, we get this
['a', 'b', 'c', 'd', 'e']
// however, if we then delete a, b, and d,
// they are no longer mostly sequential, so
// we do not get back an array
{2: 'c', 4: 'e'}
因此,如果您不打算删除集合,则实际上可以使用数组来存储集合名称列表,而不是每次都查询所有集合。
希望有帮助!
答案 5 :(得分:3)
不,目前没有对聚合查询的内置支持。但是你可以做一些事情。
第一个是documented here。您可以使用事务或云功能来维护聚合信息:
此示例显示如何使用函数来跟踪子集合中的评级数量以及平均评级。
exports.aggregateRatings = firestore
.document('restaurants/{restId}/ratings/{ratingId}')
.onWrite(event => {
// Get value of the newly added rating
var ratingVal = event.data.get('rating');
// Get a reference to the restaurant
var restRef = db.collection('restaurants').document(event.params.restId);
// Update aggregations in a transaction
return db.transaction(transaction => {
return transaction.get(restRef).then(restDoc => {
// Compute new number of ratings
var newNumRatings = restDoc.data('numRatings') + 1;
// Compute new average rating
var oldRatingTotal = restDoc.data('avgRating') * restDoc.data('numRatings');
var newAvgRating = (oldRatingTotal + ratingVal) / newNumRatings;
// Update restaurant info
return transaction.update(restRef, {
avgRating: newAvgRating,
numRatings: newNumRatings
});
});
});
});
如果您只想不经常计算文档,那么jbb提到的解决方案也很有用。确保使用select()
语句以避免下载所有每个文档(当您只需要计数时需要大量带宽)。 select()
目前仅在服务器SDK中提供,因此该解决方案无法在移动应用中使用。
答案 6 :(得分:2)
使用admin.firestore.FieldValue.increment增加计数器:
exports.onInstanceCreate = functions.firestore.document('projects/{projectId}/instances/{instanceId}')
.onCreate((snap, context) =>
db.collection('projects').doc(context.params.projectId).update({
instanceCount: admin.firestore.FieldValue.increment(1),
})
);
exports.onInstanceDelete = functions.firestore.document('projects/{projectId}/instances/{instanceId}')
.onDelete((snap, context) =>
db.collection('projects').doc(context.params.projectId).update({
instanceCount: admin.firestore.FieldValue.increment(-1),
})
);
在此示例中,每次将文档添加到instanceCount
子集合时,我们都会在项目中增加instances
字段。如果该字段不存在,它将被创建并增加到1。
增量在内部是事务性的,但是如果需要比每1秒更频繁地增加一次,则应使用distributed counter。
通常最好实现onCreate
和onDelete
而不是onWrite
,因为您将调用onWrite
进行更新,这意味着您将在不必要的函数调用上花费更多的钱(如果您将更新集合中的文档。)
答案 7 :(得分:2)
我尝试了很多不同的方法。 最后,我改进了其中一种方法。 首先,您需要创建一个单独的集合并将所有事件保存在那里。 其次,您需要创建一个新的lambda来触发时间。此lambda将对事件收集中的事件进行计数并清除事件文档。 文章中的代码详细信息。 https://medium.com/@ihor.malaniuk/how-to-count-documents-in-google-cloud-firestore-b0e65863aeca
答案 8 :(得分:1)
我不知道这种方法的后果,但问题是关于如何找到而不是会发生什么,所以这是我的解决方案:
Firebase.firestore.collection("some_collection").get()
.addOnSuccessListener { data ->
data.size() //this is the count of total records
}
据我所见,只在 Firebase 使用计数器中使用一次读取,现在不管集合的大小。
答案 9 :(得分:1)
offset
和limit
分页的解决方案:public int collectionCount(String collection) {
Integer page = 0;
List<QueryDocumentSnapshot> snaps = new ArrayList<>();
findDocsByPage(collection, page, snaps);
return snaps.size();
}
public void findDocsByPage(String collection, Integer page,
List<QueryDocumentSnapshot> snaps) {
try {
Integer limit = 26000;
FieldPath[] selectedFields = new FieldPath[] { FieldPath.of("id") };
List<QueryDocumentSnapshot> snapshotPage;
snapshotPage = fireStore()
.collection(collection)
.select(selectedFields)
.offset(page * limit)
.limit(limit)
.get().get().getDocuments();
if (snapshotPage.size() > 0) {
snaps.addAll(snapshotPage);
page++;
findDocsByPage(collection, page, snaps);
}
} catch (InterruptedException | ExecutionException e) {
e.printStackTrace();
}
}
findDocsPage
是查找集合的所有页面的递归方法
selectedFields
用于优化查询并仅获取id字段而不是整个文档
limit
每个查询页面的最大大小
page
定义用于分页的初始页面
在测试中,我对收集多达 120k条记录的收藏的效果很好!
答案 10 :(得分:1)
我使用所有这些思想创建了一个通用函数来处理所有计数器情况(查询除外)。
唯一的例外是每秒写很多次, 放慢你的速度。例如,热门帖子上的<喜欢> 。它是 例如,在博客文章上滥杀滥伤,将使您付出更多。一世 建议在这种情况下使用碎片创建一个单独的函数: https://firebase.google.com/docs/firestore/solutions/counters
// trigger collections
exports.myFunction = functions.firestore
.document('{colId}/{docId}')
.onWrite(async (change: any, context: any) => {
return runCounter(change, context);
});
// trigger sub-collections
exports.mySubFunction = functions.firestore
.document('{colId}/{docId}/{subColId}/{subDocId}')
.onWrite(async (change: any, context: any) => {
return runCounter(change, context);
});
// add change the count
const runCounter = async function (change: any, context: any) {
const col = context.params.colId;
const eventsDoc = '_events';
const countersDoc = '_counters';
// ignore helper collections
if (col.startsWith('_')) {
return null;
}
// simplify event types
const createDoc = change.after.exists && !change.before.exists;
const updateDoc = change.before.exists && change.after.exists;
if (updateDoc) {
return null;
}
// check for sub collection
const isSubCol = context.params.subDocId;
const parentDoc = `${countersDoc}/${context.params.colId}`;
const countDoc = isSubCol
? `${parentDoc}/${context.params.docId}/${context.params.subColId}`
: `${parentDoc}`;
// collection references
const countRef = db.doc(countDoc);
const countSnap = await countRef.get();
// increment size if doc exists
if (countSnap.exists) {
// createDoc or deleteDoc
const n = createDoc ? 1 : -1;
const i = admin.firestore.FieldValue.increment(n);
// create event for accurate increment
const eventRef = db.doc(`${eventsDoc}/${context.eventId}`);
return db.runTransaction(async (t: any): Promise<any> => {
const eventSnap = await t.get(eventRef);
// do nothing if event exists
if (eventSnap.exists) {
return null;
}
// add event and update size
await t.update(countRef, { count: i });
return t.set(eventRef, {
completed: admin.firestore.FieldValue.serverTimestamp()
});
}).catch((e: any) => {
console.log(e);
});
// otherwise count all docs in the collection and add size
} else {
const colRef = db.collection(change.after.ref.parent.path);
return db.runTransaction(async (t: any): Promise<any> => {
// update size
const colSnap = await t.get(colRef);
return t.set(countRef, { count: colSnap.size });
}).catch((e: any) => {
console.log(e);
});;
}
}
这处理事件,增量和事务。这样做的好处是,如果您不确定文档的准确性(可能仍处于beta版中),则可以删除计数器,使其自动在下一个触发器上添加它们。是的,这要花钱,所以不要删除它。
用同样的方法来计数:
const collectionPath = 'buildings/138faicnjasjoa89/buildingContacts';
const colSnap = await db.doc('_counters/' + collectionPath).get();
const count = colSnap.get('count');
此外,您可能想创建一个cron作业(计划功能)以删除旧事件,以节省数据库存储空间。您至少需要一个出色的计划,并且可能会有更多配置。例如,您可以在每个星期日的晚上11点运行它。 https://firebase.google.com/docs/functions/schedule-functions
这是 unested ,但应进行一些调整:
exports.scheduledFunctionCrontab = functions.pubsub.schedule('5 11 * * *')
.timeZone('America/New_York')
.onRun(async (context) => {
// get yesterday
const yesterday = new Date();
yesterday.setDate(yesterday.getDate() - 1);
const eventFilter = db.collection('_events').where('completed', '<=', yesterday);
const eventFilterSnap = await eventFilter.get();
eventFilterSnap.forEach(async (doc: any) => {
await doc.ref.delete();
});
return null;
});
最后,不要忘记保护 firestore.rules 中的集合:
match /_counters/{document} {
allow read;
allow write: if false;
}
match /_events/{document} {
allow read, write: if false;
}
更新:查询
如果您还想自动执行查询计数,请添加到我的其他答案中,您可以在云函数中使用以下修改的代码:
if (col === 'posts') {
// counter reference - user doc ref
const userRef = after ? after.userDoc : before.userDoc;
// query reference
const postsQuery = db.collection('posts').where('userDoc', "==", userRef);
// add the count - postsCount on userDoc
await addCount(change, context, postsQuery, userRef, 'postsCount');
}
return delEvents();
这将自动更新userDocument中的 postsCount 。您可以通过这种方式轻松地将其他项添加到多个项。这只是为您提供有关如何使事物自动化的想法。我还为您提供了另一种删除事件的方法。您必须阅读每个日期才能将其删除,因此它不会真正节省您以后删除它们的时间,只会使功能变慢。
/**
* Adds a counter to a doc
* @param change - change ref
* @param context - context ref
* @param queryRef - the query ref to count
* @param countRef - the counter document ref
* @param countName - the name of the counter on the counter document
*/
const addCount = async function (change: any, context: any,
queryRef: any, countRef: any, countName: string) {
// events collection
const eventsDoc = '_events';
// simplify event type
const createDoc = change.after.exists && !change.before.exists;
// doc references
const countSnap = await countRef.get();
// increment size if field exists
if (countSnap.get(countName)) {
// createDoc or deleteDoc
const n = createDoc ? 1 : -1;
const i = admin.firestore.FieldValue.increment(n);
// create event for accurate increment
const eventRef = db.doc(`${eventsDoc}/${context.eventId}`);
return db.runTransaction(async (t: any): Promise<any> => {
const eventSnap = await t.get(eventRef);
// do nothing if event exists
if (eventSnap.exists) {
return null;
}
// add event and update size
await t.set(countRef, { [countName]: i }, { merge: true });
return t.set(eventRef, {
completed: admin.firestore.FieldValue.serverTimestamp()
});
}).catch((e: any) => {
console.log(e);
});
// otherwise count all docs in the collection and add size
} else {
return db.runTransaction(async (t: any): Promise<any> => {
// update size
const colSnap = await t.get(queryRef);
return t.set(countRef, { [countName]: colSnap.size }, { merge: true });
}).catch((e: any) => {
console.log(e);
});;
}
}
/**
* Deletes events over a day old
*/
const delEvents = async function () {
// get yesterday
const yesterday = new Date();
yesterday.setDate(yesterday.getDate() - 1);
const eventFilter = db.collection('_events').where('completed', '<=', yesterday);
const eventFilterSnap = await eventFilter.get();
eventFilterSnap.forEach(async (doc: any) => {
await doc.ref.delete();
});
return null;
}
我还应该警告您,通用功能将在每个 onWrite通话时间。仅在以下位置运行该功能可能更便宜 您的特定集合的onCreate和onDelete实例。喜欢 我们正在使用的noSQL数据库,重复的代码和数据可以为您节省 钱。
更新11/20
我创建了一个npm包以便于访问:https://fireblog.io/blog/post/firestore-counters
答案 11 :(得分:1)
一种解决方法是:
在firebase文档中编写一个计数器,每次创建新条目时您都会在交易中增加计数器
您将计数存储在新条目的字段中(即位置:4)。
然后在该字段(位置DESC)上创建索引。
您可以对查询执行skip +limit。Where(“ position”,“ <” x).OrderBy(“ position”,DESC)
希望这会有所帮助!
答案 12 :(得分:0)
此功能在Firebase SDK中仍然不可用,但是在Firebase Extensions (Beta)中可用,但是设置和使用起来非常复杂...
合理的方法
Helpers ...(创建/删除似乎多余,但比onUpdate便宜)
export const onCreateCounter = () => async (
change,
context
) => {
const collectionPath = change.ref.parent.path;
const statsDoc = db.doc("counters/" + collectionPath);
const countDoc = {};
countDoc["count"] = admin.firestore.FieldValue.increment(1);
await statsDoc.set(countDoc, { merge: true });
};
export const onDeleteCounter = () => async (
change,
context
) => {
const collectionPath = change.ref.parent.path;
const statsDoc = db.doc("counters/" + collectionPath);
const countDoc = {};
countDoc["count"] = admin.firestore.FieldValue.increment(-1);
await statsDoc.set(countDoc, { merge: true });
};
export interface CounterPath {
watch: string;
name: string;
}
出口的Firestore钩子
export const Counters: CounterPath[] = [
{
name: "count_buildings",
watch: "buildings/{id2}"
},
{
name: "count_buildings_subcollections",
watch: "buildings/{id2}/{id3}/{id4}"
}
];
Counters.forEach(item => {
exports[item.name + '_create'] = functions.firestore
.document(item.watch)
.onCreate(onCreateCounter());
exports[item.name + '_delete'] = functions.firestore
.document(item.watch)
.onDelete(onDeleteCounter());
});
实际行动
将跟踪建筑物的 root 集合和所有 sub集合。
在/counters/
根路径下
答案 13 :(得分:0)
花点时间让我根据上面的一些答案来完成这项工作,所以我想与他人分享一下。我希望它有用。
'use strict';
const functions = require('firebase-functions');
const admin = require('firebase-admin');
admin.initializeApp();
const db = admin.firestore();
exports.countDocumentsChange = functions.firestore.document('library/{categoryId}/documents/{documentId}').onWrite((change, context) => {
const categoryId = context.params.categoryId;
const categoryRef = db.collection('library').doc(categoryId)
let FieldValue = require('firebase-admin').firestore.FieldValue;
if (!change.before.exists) {
// new document created : add one to count
categoryRef.update({numberOfDocs: FieldValue.increment(1)});
console.log("%s numberOfDocs incremented by 1", categoryId);
} else if (change.before.exists && change.after.exists) {
// updating existing document : Do nothing
} else if (!change.after.exists) {
// deleting document : subtract one from count
categoryRef.update({numberOfDocs: FieldValue.increment(-1)});
console.log("%s numberOfDocs decremented by 1", categoryId);
}
return 0;
});
答案 14 :(得分:0)
这使用计数来创建数字唯一ID。在我的使用中,即使删除了需要ID的document
,我也永远不会递减。
在需要唯一数字值的collection
创建中
appData
,并使用set
id .doc
的{{1}} only
中将uniqueNumericIDAmount
设置为0 firebase firestore console
作为唯一数字ID doc.data().uniqueNumericIDAmount + 1
更新appData
集合uniqueNumericIDAmount
firebase.firestore.FieldValue.increment(1)
答案 15 :(得分:0)
var variable=0
variable=variable+querySnapshot.count
然后,如果要在String变量上使用它,则
let stringVariable= String(variable)
答案 16 :(得分:0)
没有直接可用的选项。您不能做db.collection("CollectionName").count()
。
以下是找到集合中文档数的两种方法。
db.collection("CollectionName").get().subscribe(doc=>{
console.log(doc.size)
})
使用上述代码,您的文档读取将等于集合中文档的大小,这就是为什么必须避免使用以上解决方案的原因。
db.collection("CollectionName").doc("counts")get().subscribe(doc=>{
console.log(doc.count)
})
上面我们创建了一个具有名称计数的文档来存储所有计数信息。您可以通过以下方式更新计数文档:-
w.r.t价格(Document Read = 1)和快速数据检索上述解决方案很好。
答案 17 :(得分:-1)
const Promise = require('bluebird');
async function resolvingManyPromises() {
let counter = 0;
let binds = [];
let promiseArray = [];
res.rows.forEach(row => {
var original_data = row[0];
promiseArray.push(Transform(original_data));
});
const resolvedPromises = await Promise.all(promiseArray);
// Do something with the resolved values resolvedPromises
}
答案 18 :(得分:-6)
所以我对这个问题的解决方案有点非技术性,不是非常精确,但对我来说已经足够了。
那些是我的文件。因为我有很多(100k+),所以发生了“大数定律”。我可以假设 id 以 0、1、2 等开头的项目数量或多或少。
所以我要做的是滚动我的列表,直到我进入 id 以 1 或 01 开头,这取决于你需要滚动多长时间
?我们来了。
现在,滚动到这里之后,我打开检查器,看看我滚动了多少并除以单个元素的高度
必须滚动 82000 像素才能获取 ID 以 1
开头的项目。单个元素的高度为 32px。
这意味着我有 2500 个 id 以 0
开头,所以现在我将它乘以可能的“起始字符”的数量。在 firebase 中,它可以是 A-Z、a-z、0-9,这意味着它是 24 + 24 + 10 = 58。
这意味着我有 ~~2500*58 所以它在我的收藏中提供了大约 145000 个项目。
总结:你的 Firebase 有什么问题?