Question

我正在尝试使用Matplotlib和Scikit-learn可视化SVM分类结果，如何处理MemoryError吗？！

对于我的示例，我有一个小的数据集，一个包含100个示例的表X和10个要素（整数数据表）。我确实使用Scikit学习的SVM执行分类，然后我想将结果可视化。但是由于我有10个功能，因此无法直接对其进行可视化，因此我在分类后使用了PCA来减少数据的维数。它确实适用于IRIS数据集，但对于我的数据，它崩溃了，提示我“ MemoryError”

spark = SparkSession.builder.appName('LDA').master("local[*]").config("spark.local.dir", "/data/Data/allYears/tempAll").config("spark.driver.memory","50g").config("spark.executor.memory","50g").getOrCreate()

dataset = spark.read.format("libsvm").load("libsm_file.txt")

lda = LDA(k=600, maxIter=100 ,  optimizer='em' , seed=2 )

lda.setDocConcentration([1.01])
lda.setTopicConcentration(1.001)
model = lda.fit(dataset)

const query = db.collection('users')

async fetchUsers () {
    try {
        const { docs } = await query.get()

        this.users = docs.map(doc => {
          const { id } = doc
          const data = doc.data()
          return { id, ...data }
        })

        console.log('Loaded users', this.users)
    } catch (error) { throw new Error('Something gone wrong!') }
}

使用make_meshgrid（）时如何处理内存错误

0 个答案: