Question

我需要将数据从db A的一个表导入到db B（同一服务器）的另一表，并且我选择了要导入的学说。

我正在使用Symfony命令，并且对第一个循环都非常有用，只花了0.04秒，但随后变得越来越慢，耗时近半小时...

我正在考虑构建一个shell脚本来调用此Symfony命令以给出偏移量（我手动尝试过并保持相同的速度）。这是在docker服务中运行的，而php服务的CPU大约是100％，但是mysql服务的是10％

脚本的一部分：

class UserCommand extends Command
{
    ...
    protected function execute(InputInterface $input, OutputInterface $output)
    {
        $container = $this->getApplication()->getKernel()->getContainer();
        $this->doctrine = $container->get('doctrine');
        $this->em = $this->doctrine->getManager();
        $this->source = $this->doctrine->getConnection('source');

        $limit = self::SQL_LIMIT;
        $numRecords = 22690; // Hardcoded for debugging
        $loops = intval($numRecords / $limit);
        $numAccount = 0;
        for ($i = 0; $i < $loops; $i++){

            $offset = self::SQL_LIMIT * $i;
            $users = $this->fetchSourceUsers($offset);

            foreach ($users as $user) {
                try{

                    $numAccount++;
                    $this->persistSourceUser($user);
                    if (0 === ($numAccount % self::FLUSH_FREQUENCY)) {
                        $this->flushEntities($output);
                    }

                } catch(\Exception $e) {
                    //
                }
            } 
        }
        $this->flushEntities($output);
    }

    private function fetchSourceUsers(int $offset = 0): array
    {
        $sql = <<<'SQL'
        SELECT email, password, first_name
        FROM source.users
        ORDER by id ASC LIMIT ? OFFSET ?
SQL;

        $stmt = $this->source->prepare($sql);
        $stmt->bindValue(1, self::SQL_LIMIT, ParameterType::INTEGER);
        $stmt->bindValue(2, $offset, ParameterType::INTEGER);
        $stmt->execute();
        $users = $stmt->fetchAll();

        return $users;
    }
}

Answer 1

如果flush所花费的时间每隔flush个都更长，那么您就忘记了clear实体管理器（对于批量作业，它应在flush之后进行）。原因是您在实体管理器中不断积累实体，并且在每次提交过程中，Doctrine都会检查每个更改是否存在（我假设您使用的是默认更改跟踪）。

我需要将数据从db A的一个表导入到db B（同一服务器）的另一表，并且我选择了要导入的学说。

除非您有一些与添加用户相关的复杂逻辑（即，应用程序事件，在应用程序另一端发生的事情，基本上需要执行一些其他PHP代码），否则您的选择很差-Doctrine并非为批处理（尽管如果您真的知道自己在做什么，那么它就可以了）。对于“简单”迁移，最好的选择是使用DBAL。

使用Doctrine迁移数据变慢

1 个答案: