我将使用C#或C ++创建一个非常快速,实时远程服务,这无关紧要,但是目前我正在使用c#。
好的,我正在寻找和要求的是一种以最快的形状实时捕获Windows屏幕的方法。
我知道互联网上已经存在这种方式,但是问题是延迟 ...
- 我使用C#
copyfromscreen
,对于1920x1080,延迟为92ms。 [视频5帧]- 我将C#
copyfromscreen
与jpg编码器一起使用,对于1920x1080,延迟为36ms- 我将Unity3D
screenCapture
与jpg编码器一起使用,对于1920x1080,延迟为38ms- 我使用了C#Windows
Desktop Duplication API
,对于1920x1080,延迟为19ms [视频3帧]- 我使用了带有jpg编码器的C#Windows
Desktop Duplication API
,对于1920x1080,延迟为12ms。 [视频2帧]- 我使用了带有jpg编码器的C ++ Windows
Desktop Duplication API
,对于1920x1080,延迟为9ms [视频2帧]- 我使用了带有jpg编码器的C#Windows
DirectXCapture
,对于1920x1080,延迟为16ms。 [视频2帧]
我认为这种方式是正常的,直到我签出Windows 10/8任务栏实时预览缩略图,并且它是完全实时的,没有1ms的延迟,这意味着帧对帧!
我尝试将所有方法的1920 x 1080尺寸调整为“任务栏预览”尺寸,但未做任何更改!
注意::该程序无法通过Internet处理,因此可以在本地网络上运行。
我猜测延迟是由于位图处理或其他原因造成的,但我还不知道! [添加时间] 这是我在服务器上处理图片的方式:
private static byte[] capture()
{
Bitmap bmp = screenshot_DDAPI(); // Avarage Time : 29.6566ms
MemoryStream ms = new MemoryStream();
bmp.Save(ms, ImageFormat.Jpeg); // Avarage Time : 1.7101 ms
return ms.ToArray(); // Avarage Time : 3.032 ms
}
任何人都知道Windows使用哪种技术和方法来处理任务栏实时缩略图的屏幕截图吗?
注意::如果该问题与堆栈溢出无关,或者是题外话,请告诉我我可以问哪个堆栈类别?
谢谢
答案 0 :(得分:4)
桌面复制API是最快的一种。捕获延迟为零。
但是,捕获后,您要将原始纹理数据下载到系统RAM中,以用于基于CPU的jpeg编码器。这就是花时间。实时缩略图不需要这样做,它们可以在GPU中缩放窗口纹理并使用GPU渲染,当源数据已经在VRAM中时,两者都很便宜。
如果您真的想最小化延迟,请寻找可以从B8G8R8A8_UNORM
D3D11纹理获取源数据的基于GPU的JPEG编码器。 JPEG比RGBA占用的空间(以及带宽)要少得多,也就是说,您可能会更快地获得编码结果。
答案 1 :(得分:3)
可能最快的方法是使用DirectX。每个DirectX应用程序都包含一个缓冲区或一个表面,用于保存与该应用程序相关的视频存储器的内容。这称为应用程序的后台缓冲区。某些应用程序可能有多个后备缓冲区。默认情况下,每个应用程序都可以访问另一个缓冲区-前缓冲区。前缓冲区这是一个与桌面内容有关的视频存储器,屏幕图像也是如此。通过从应用程序访问前端缓冲区,您可以在那时捕获屏幕内容。
从应用程序访问前端缓冲区非常容易和直接。接口IDirect3DDevice9
提供了GetFrontBufferData()
方法,该方法采用IDirect3DSurface9
对象指针并将前缓冲区的内容复制到该表面上。可以使用方法IDirect3DSurfce9
来生成IDirect3DDevice8::CreateOffscreenPlainSurface()
对象。将屏幕捕获到表面上之后,可以使用功能D3DXSaveSurfaceToFile()
将表面以位图格式直接保存到磁盘上。因此,捕获屏幕的代码如下所示:
extern IDirect3DDevice9* g_pd3dDevice;
Void CaptureScreen()
{
IDirect3DSurface9* pSurface;
// g_pd3dDevice is an IDirect3DDevice9 object, and has been assumed to be properly initialized
g_pd3dDevice->CreateOffscreenPlainSurface(ScreenWidth, ScreenHeight,
D3DFMT_A8R8G8B8, D3DPOOL_SCRATCH, &pSurface, NULL);
g_pd3dDevice->GetFrontBufferData(0, pSurface);
D3DXSaveSurfaceToFile("Desktop.bmp",D3DXIFF_BMP,pSurface,NULL,NULL);
pSurface->Release();
}
如果您想要一个用于实际位的缓冲区,而不是直接将其保存到磁盘,则可以使用如下代码:
extern void* pBits;
extern IDirect3DDevice9* g_pd3dDevice;
IDirect3DSurface9* pSurface;
// g_pd3dDevice is an IDirect3DDevice9 object, and has been assumed to be properly initialized
g_pd3dDevice->CreateOffscreenPlainSurface(ScreenWidth, ScreenHeight,
D3DFMT_A8R8G8B8, D3DPOOL_SCRATCH,
&pSurface, NULL);
g_pd3dDevice->GetFrontBufferData(0, pSurface);
D3DLOCKED_RECT lockedRect;
pSurface->LockRect(&lockedRect,NULL,
D3DLOCK_NO_DIRTY_UPDATE|
D3DLOCK_NOSYSLOCK|D3DLOCK_READONLY)));
for( int i=0 ; i < ScreenHeight ; i++)
{
memcpy( (BYTE*) pBits + i * ScreenWidth * BITSPERPIXEL / 8 ,
(BYTE*) lockedRect.pBits + i* lockedRect.Pitch ,
ScreenWidth * BITSPERPIXEL / 8);
}
g_pSurface->UnlockRect();
pSurface->Release();
在复制到pBits
之前,请确保已分配足够的内存。 BITSPERPIXEL
的典型值为每个像素32
位。但是,它可能会因当前的监视器设置而异。
编辑
这是我整理时间的C ++程序。函数Direct3D9TakeScreenshots
具有一个参数,该参数确定拍摄屏幕快照的次数。我现在将其设置为10,但是您可以更改它。在发布模式下在计算机上运行,我得到以下结果:
18:33:23.189
18:33:23.579
因此390
毫秒可以拍摄10张屏幕截图并将其复制到缓冲区中。平均每个屏幕快照和缓冲区副本大约39毫秒。
#include "pch.h"
#include <iostream>
#include <d3d9.h> // DirectX 9 header
#pragma comment(lib, "d3d9.lib") // link to DirectX 9 library
#define WIDEN2(x) L ## x
#define WIDEN(x) WIDEN2(x)
#define __WFILE__ WIDEN(__FILE__)
#define HRCHECK(__expr) {hr=(__expr);if(FAILED(hr)){wprintf(L"FAILURE 0x%08X (%i)\n\tline: %u file: '%s'\n\texpr: '" WIDEN(#__expr) L"'\n",hr, hr, __LINE__,__WFILE__);goto cleanup;}}
#define RELEASE(__p) {if(__p!=nullptr){__p->Release();__p=nullptr;}}
HRESULT Direct3D9TakeScreenshots(UINT adapter, UINT count)
{
HRESULT hr = S_OK;
IDirect3D9 *d3d = nullptr;
IDirect3DDevice9 *device = nullptr;
IDirect3DSurface9 *surface = nullptr;
D3DPRESENT_PARAMETERS parameters = { 0 };
D3DDISPLAYMODE mode;
D3DLOCKED_RECT rc;
UINT pitch;
SYSTEMTIME st;
LPBYTE *shots = nullptr;
// init D3D and get screen size
d3d = Direct3DCreate9(D3D_SDK_VERSION);
HRCHECK(d3d->GetAdapterDisplayMode(adapter, &mode));
parameters.Windowed = TRUE;
parameters.BackBufferCount = 1;
parameters.BackBufferHeight = mode.Height;
parameters.BackBufferWidth = mode.Width;
parameters.SwapEffect = D3DSWAPEFFECT_DISCARD;
parameters.hDeviceWindow = nullptr;
// create device & capture surface
HRCHECK(d3d->CreateDevice(adapter, D3DDEVTYPE_HAL, NULL, D3DCREATE_SOFTWARE_VERTEXPROCESSING, ¶meters, &device));
HRCHECK(device->CreateOffscreenPlainSurface(mode.Width, mode.Height, D3DFMT_A8R8G8B8, D3DPOOL_SYSTEMMEM, &surface, nullptr));
// compute the required buffer size
HRCHECK(surface->LockRect(&rc, NULL, 0));
pitch = rc.Pitch;
HRCHECK(surface->UnlockRect());
// allocate screenshots buffers
shots = new LPBYTE[count];
for (UINT i = 0; i < count; i++)
{
shots[i] = new BYTE[pitch * mode.Height];
}
GetSystemTime(&st); // measure the time we spend doing <count> captures
wprintf(L"%i:%i:%i.%i\n", st.wHour, st.wMinute, st.wSecond, st.wMilliseconds);
for (UINT i = 0; i < count; i++)
{
// get the data
HRCHECK(device->GetFrontBufferData(0, surface));
// copy it into our buffers
HRCHECK(surface->LockRect(&rc, NULL, 0));
CopyMemory(shots[i], rc.pBits, rc.Pitch * mode.Height);
HRCHECK(surface->UnlockRect());
}
GetSystemTime(&st);
wprintf(L"%i:%i:%i.%i\n", st.wHour, st.wMinute, st.wSecond, st.wMilliseconds);
cleanup:
if (shots != nullptr)
{
for (UINT i = 0; i < count; i++)
{
delete shots[i];
}
delete[] shots;
}
RELEASE(surface);
RELEASE(device);
RELEASE(d3d);
return hr;
}
int main()
{
Direct3D9TakeScreenshots(D3DADAPTER_DEFAULT, 10);
}