Python ctypes如何从传递给NASM的字符数组中读取字节

时间:2019-01-22 18:51:40

标签: python assembly nasm x86-64 ctypes

更新:我在下面的马克·托隆宁的回答下解决了这个问题。这是解决方案(但我为一件事感到困惑):

我首先从下面的Mark Tolonen的答案(UTF-8)中显示的编码字符串开始:

CA_f1 = (ctypes.c_char_p * len(f1))(*(name.encode() for name in f1))

关闭优化功能后,我总是在输入时将rcx存储到内存变量中。在程序的后面,当我需要在rcx中使用指针时,我从内存中读取了它。这仅适用于单个指针,但不适用于访问下面显示的指针数组Mark Tolonen;也许是因为它是一个指针数组,而不仅仅是单个指针。如果我在入口处将rcx存储到r15中,它将起作用,而在程序的下游,它的工作原理如下:

;To access the first char of the first name pair: 

xor rax,rax
mov rdx,qword[r15]
movsx eax,BYTE[rdx]
ret

;To access the second char of the second name pair: 

mov rdx,qword[r15+8]
movsx eax,BYTE[rdx+1]

这不是问题,因为我通常在寄存器中存储尽可能多的变量。有时没有足够的寄存器,因此我不得不求助于将一些寄存器存储在内存中。现在,在处理字符串时,我将始终保留r15来保存rcx中传递的指针(如果它是指针数组)。

是否了解为何内存位置不起作用?

****答案结束****

我是NASM中字符串处理的新手,我正在从ctypes传递字符串。使用以下Python函数从文本文件(Windows .txt)中读取字符串数据:

with open(fname, encoding = "utf8") as f1:
        for item in f1:
            item = item.lstrip()
            item = item.rstrip()
            return_data.append(item)
    return return_data

.txt文件包含一个名字和姓氏列表,以换行符换行符分隔。

我使用ctypes将c_char_p指针传递给NASM dll。使用以下命令创建指针:

CA_f1 = (ctypes.c_char_p * len(f1))()

Visual Studio确认它是一个指向50 NAMES长的字节字符串的指针,这可能是问题所在,我需要字节,而不是列表元素。然后,我使用以下ctypes语法传递它:

CallName.argtypes = [ctypes.POINTER(ctypes.c_char_p),ctypes.POINTER(ctypes.c_double),ctypes.POINTER(ctypes.c_double)]

更新:在传递字符串之前,现在我将列表转换成这样的字符串:

f1_x = ' '.join(f1)

现在VS显示了一个指向558字节字符串的指针,这是正确的,但是我仍然无法读取一个字节。

在我的NASM程序中,我通过使用以下代码将随机字节读入al来对其进行测试:

lea rdi,[rel f1_ptr]
mov rbp,qword [rdi] ; Pointer
xor rax,rax
mov al,byte[rbp+1]

但是rax中的返回值为0。

如果我这样创建本地字符串缓冲区:

name_array: db "Margaret Swanson"

我可以这样阅读:

mov rdi,name_array
xor rax,rax
mov al,[rdi]

但不是从传递给dll的指针中获取。

以下是NASM中一个简单,可重现的示例的完整代码。在将其传递给NASM之前,我检查了随机字节,它们是我所期望的,因此我认为它不是编码的。

[BITS 64]
[default rel]

extern malloc, calloc, realloc, free
global Main_Entry_fn
export Main_Entry_fn
global FreeMem_fn
export FreeMem_fn

section .data align=16
f1_ptr: dq 0
f1_length: dq 0
f2_ptr: dq 0
f2_length: dq 0
data_master_ptr: dq 0

section .text

String_Test_fn:
;______

lea rdi,[rel f1_ptr]
mov rbp,qword [rdi]
xor rax,rax
mov al,byte[rbp+10]
ret

;__________
;Free the memory

FreeMem_fn:
sub rsp,40
call free
add rsp,40
ret

; __________
; Main Entry

Main_Entry_fn:
push rdi
push rbp
mov [f1_ptr],rcx
mov [f2_ptr],rdx

mov [data_master_ptr],r8
lea rdi,[data_master_ptr]
mov rbp,[rdi]
xor rcx,rcx
movsd xmm0,qword[rbp+rcx]
cvttsd2si rax,xmm0
mov [f1_length],rax
add rcx,8
movsd xmm0,qword[rbp+rcx]
cvttsd2si rax,xmm0
mov [f2_length],rax
add rcx,8

call String_Test_fn

pop rbp
pop rdi
ret

更新2:

为回复请求,以下是要使用的ctypes包装器:

def Read_Data():

    Dir= "[FULL PATH TO DATA]"

    fname1 = Dir + "Random Names.txt"
    fname2 = Dir + "Random Phone Numbers.txt"

    f1 = Trans_02_Data.StrDataRead(fname1)
    f2 = Trans_02_Data.StrDataRead(fname2)
    f2_Int = [  int(numeric_string) for numeric_string in f2]
    StringTest_asm(f1, f2_Int)

def StringTest_asm(f1,f2):

    f1.append("0")

    f1_x = ' '.join(f1)
    f1_x[0].encode(encoding='UTF-8',errors='strict')

    Input_Length_Array = []
    Input_Length_Array.append(len(f1))
    Input_Length_Array.append(len(f2*8))

    length_array_out = (ctypes.c_double * len(Input_Length_Array))(*Input_Length_Array)

    CA_f1 = (ctypes.c_char_p * len(f1_x))() #due to SO research
    CA_f2 = (ctypes.c_double * len(f2))(*f2)
    hDLL = ctypes.WinDLL("C:/NASM_Test_Projects/StringTest/StringTest.dll")
    CallName = hDLL.Main_Entry_fn
    CallName.argtypes = [ctypes.POINTER(ctypes.c_char_p),ctypes.POINTER(ctypes.c_double),ctypes.POINTER(ctypes.c_double)]
    CallName.restype = ctypes.c_int64

    Free_Mem = hDLL.FreeMem_fn
    Free_Mem.argtypes = [ctypes.POINTER(ctypes.c_double)]
    Free_Mem.restype = ctypes.c_int64
    start_time = timeit.default_timer()

    ret_ptr = CallName(CA_f1,CA_f2,length_array_out)

    abc = 1 #Check the value of the ret_ptr, should be non-zero   

1 个答案:

答案 0 :(得分:3)

您的姓名读取代码将返回Unicode字符串列表。以下代码会将Unicode字符串列表编码为字符串数组,以将其传递给采用POINTER(c_char_p)的函数:

>>> import ctypes
>>> names = ['Mark','John','Craig']
>>> ca = (ctypes.c_char_p * len(names))(*(name.encode() for name in names))
>>> ca
<__main__.c_char_p_Array_3 object at 0x000001DB7CF5F6C8>
>>> ca[0]
b'Mark'
>>> ca[1]
b'John'
>>> ca[2]
b'Craig'

如果将ca作为第一个参数传递给您的函数,则该数组的地址应为x64 calling convention中的rcx。以下C代码及其反汇编显示了VS2017 Microsoft编译器如何读取它:

DLL代码(test.c)

#define API __declspec(dllexport)

int API func(const char** instr)
{
    return (instr[0][0] << 16) + (instr[1][0] << 8) + instr[2][0];
}

反汇编(经过优化以保持简短,我的评论已添加)

; Listing generated by Microsoft (R) Optimizing Compiler Version 19.00.24215.1

include listing.inc

INCLUDELIB LIBCMT
INCLUDELIB OLDNAMES

PUBLIC  func
; Function compile flags: /Ogtpy
; File c:\test.c
_TEXT   SEGMENT
instr$ = 8
func    PROC

; 5    :     return (instr[0][0] << 16) + (instr[1][0] << 8) + instr[2][0];

  00000 48 8b 51 08      mov     rdx, QWORD PTR [rcx+8]  ; address of 2nd string
  00004 48 8b 01         mov     rax, QWORD PTR [rcx]    ; address of 1st string
  00007 48 8b 49 10      mov     rcx, QWORD PTR [rcx+16] ; address of 3rd string
  0000b 44 0f be 02      movsx   r8d, BYTE PTR [rdx]     ; 1st char of 2nd string, r8d=4a
  0000f 0f be 00         movsx   eax, BYTE PTR [rax]     ; 1st char of 1st string, eax=4d
  00012 0f be 11         movsx   edx, BYTE PTR [rcx]     ; 1st char of 3rd string, edx=43
  00015 c1 e0 08         shl     eax, 8                  ; eax=4d00
  00018 41 03 c0         add     eax, r8d                ; eax=4d4a
  0001b c1 e0 08         shl     eax, 8                  ; eax=4d4a00
  0001e 03 c2            add     eax, edx                ; eax=4d4a43

; 6    : }

  00020 c3               ret     0
func    ENDP
_TEXT   ENDS
END

Python代码(test.py)

from ctypes import *

dll = CDLL('test')
dll.func.argtypes = POINTER(c_char_p),
dll.restype = c_int

names = ['Mark','John','Craig']
ca = (c_char_p * len(names))(*(name.encode() for name in names))
print(hex(dll.func(ca)))

输出:

0x4d4a43

这是'M','J'和'C'的正确ASCII码。