Question

让我们想象一下这种情况。我有一个BitCoin交易数据集，大小约为1TB。

我想创建一些功能来训练机器学习应用程序。例如，一个简单的功能可以是：

--delete

但是，如果我有100000个这样的功能怎么办？我知道对于每个新功能，我都可以运行：

    apply plugin: 'com.android.application'
    apply plugin: 'com.google.gms.google-services'

    android {
        compileSdkVersion 28
        buildToolsVersion "29.0.2"
        defaultConfig {
            applicationId "com.appdidier.hospitalar"
            minSdkVersion 16
            targetSdkVersion 28
            versionCode 5
            versionName "1.0"
            testInstrumentationRunner "androidx.test.runner.AndroidJUnitRunner"
            multiDexEnabled true
            testInstrumentationRunner "android.support.test.runner.AndroidJUnitRunner"

    }
    lintOptions {
        checkReleaseBuilds false
    }
}

    dependencies {
        implementation fileTree(dir: 'libs', include: ['*.jar'])
    //    implementation 'androidx.appcompat:appcompat:1.1.0'
        implementation 'com.android.support:design:28.0.0'
        implementation 'androidx.constraintlayout:constraintlayout:1.1.3'
        testImplementation 'junit:junit:4.12'
        androidTestImplementation 'androidx.test:runner:1.2.0'
        androidTestImplementation 'androidx.test.espresso:espresso-core:3.2.0'
        implementation 'com.google.firebase:firebase-analytics:17.2.0'

        implementation 'com.google.firebase:firebase-database:19.2.0'
        implementation 'com.google.firebase:firebase-storage:19.1.0'
        implementation 'com.google.firebase:firebase-auth:19.1.0'
    ////    implementation 'com.facebook.android:facebook-android-sdk:[4,5)'
        implementation 'com.google.firebase:firebase-messaging:20.0.0'
    //    implementation 'com.google.android.gms:play-services:12.0.1'
    //    implementation 'com.google.android.gms:play-services-maps:15.0.1'
    //    implementation 'com.google.android.gms:play-services-location:11.6.0'
        implementation 'com.itextpdf:itextg:5.5.10'
        implementation 'com.android.support:multidex:1.0.3'
        implementation 'com.github.barteksc:android-pdf-viewer:2.8.1'
        implementation "com.squareup.picasso:picasso:2.71828"
        implementation 'com.github.chrisbanes:PhotoView:2.1.3'
    //    implementation 'com.crashlytics.sdk.android:crashlytics:2.9.7'
        implementation 'com.google.code.gson:gson:2.8.5'
        implementation 'com.github.sundeepk:compact-calendar-view:1.9.1'
        implementation 'com.google.android.gms:play-services-maps:17.0.0'

    }

但是，如果我要为每个功能创建1个查询，这将花费我1TB = 5 $ * 100000。

是否可以将BQ用于以下用途：

WITH btc AS (SELECT * FROM bitcoin.transactions),
price_feature AS (SELECT datetime, AVG(price) from btc GROUP BY 1)
SELECT * FROM price_features

问题在于，即使独立的功能有时也会花费大约1-2分钟的BQ运行时间。我可以将它们全部放入1个查询中吗？我觉得我要面对各种各样的内存问题。

BigQuery用于创建功能，是否合适或会耗尽内存？

0 个答案: