在已经使用tensorflow作为第三方的c ++库中使用新的tensorflow op

时间:2018-06-28 03:05:27

标签: c++ tensorflow cmake shared-libraries

这是我第一次在stackoverflow中提出问题。我会尽力正确地提出我的问题。

我想在c ++库中使用自定义tensorflow op,该库已经使用tensorflow作为第三方。但是我只是根本不知道如何在c ++代码中使用我的自定义操作。我试图通过Tensroflow c ++教程中的简单ZeroOut示例来学习这一点。我在https://github.com/MatteoRagni/tf.ZeroOut.gpu中注册了用于CPU的ZeroOut op:使用make work进行编译,然后在usr-ops文件夹中找到了一个.so文件,该文件也是cc文件所在的位置。然后,我尝试将ZeroOut.so文件作为共享库添加到我的lib中,但是没有编译。但是,在我添加我的自定义op之前,按照tensorflow new op教程中的说明在bazel中注册,并且以相同的方式编译了我的库。可能是因为.so文件是在../bazel-bin/tensorflow/core/user_ops/中创建的。但是在这种情况下,我将无法使用该操作。直到现在,在我的c ++文件中包含ZeroOut.cpp或我的op的.cpp文件都没有任何区别。

这是我的CMakeList.txt,它还会创建我正在使用的整个库:

cmake_minimum_required(VERSION 2.8)
project(Project1)

set(CMAKE_BUILD_TYPE "Release") # Debug Release
set(CMAKE_CXX_FLAGS_RELEASE "$ENV{CXXFLAGS} -std=c++14 -O3 -Wall                 -fopenmp")
SET(CMAKE_MODULE_PATH ${PROJECT_SOURCE_DIR}/cmake)

#-------------path of 3rd party libraries-------------
# special libs.
find_package(Boost COMPONENTS filesystem iostreams regex)
find_package(FFTW)
find_package(NLopt)
find_package(HDF5 COMPONENTS CXX)

set(EXTERN_LIB_ROOT ${PROJECT_SOURCE_DIR}/3rd-party)

set(TENSORFLOW_ROOT /.../tensorflow)
set(TF_INCLUDE_DIRS "${TENSORFLOW_ROOT}" "${TENSORFLOW_ROOT}/bazel-  genfiles" "${TENSORFLOW_ROOT}/bazel-tensorflow/external/protobuf_archive/src")

# lib dirs.
set(LUA_LIBRARIES "${EXTERN_LIB_ROOT}/lua/liblua53.so") #5.3.4
set(LINENOISE_LIBRARIES "${EXTERN_LIB_ROOT}/linenoise-ng/build/liblinenoise.so")
set(YACAS_LIBRARIES "${EXTERN_LIB_ROOT}/yacas/cyacas/libyacas/build/libyacas.so")


set(TF_LIBRARIES ${TENSORFLOW_ROOT}/bazel-bin/tensorflow/libtensorflow_cc.so
    ${TENSORFLOW_ROOT}/tensorflow/core/user_ops/tf.ZeroOut.gpu-master/zero_out.so 
${TENSORFLOW_ROOT}/bazel-bin/tensorflow/core/user_ops/MyNewOp.so) 
#-------------ssl headers-------------
include_directories(${PROJECT_SOURCE_DIR}/src
    ${EXTERN_LIB_ROOT}/eigen
    ${EXTERN_LIB_ROOT}/gnuplot-iostream
    ${EXTERN_LIB_ROOT}/
    ${EXTERN_LIB_ROOT}/linenoise-ng/include
    ${EXTERN_LIB_ROOT}/yacas/cyacas/libyacas/include
    ${EXTERN_LIB_ROOT}/lua/src
    ${NLOPT_INCLUDE_DIRS}
    ${FFTW_INCLUDES}
    ${TF_INCLUDE_DIRS}
    ${Boost_INCLUDE_DIRS}
    ${HDF5_INCLUDE_DIRS}
    ${TENSORFLOW_ROOT}) 

option(BUILD_SHARED_LIBS "build shared library" ON)
set(LIBRARY_OUTPUT_PATH ${PROJECT_BINARY_DIR}/lib)

#-------------ssl kernel lib-------------
file(GLOB_RECURSE _src_list
    LIST_DIRECTORIES false
    RELATIVE "${CMAKE_CURRENT_SOURCE_DIR}" "${PROJECT_SOURCE_DIR}/src/*.h" "${PROJECT_SOURCE_DIR}/src/*.cpp" "")

add_library(ssl SHARED ${_src_list})

set(SSL_LIBRARIES ${TF_LIBRARIES} ${LUA_LIBRARIES} ${Boost_LIBRARIES}     ${NLOPT_LIBRARIES} ${FFTW_LIBRARIES} ${LINENOISE_LIBRARIES} ${YACAS_LIBRARIES} ${HDF5_CXX_LIBRARIES}) #${TF_LIBRARIES}

target_link_libraries(ssl ${SSL_LIBRARIES} dl)

add_executable(Project1 main.cpp)
target_link_libraries(Project1 ssl)

有一个相关的问题,但没有明确的答案。 How to run custom GPU tensorflow::op from C++ code?

我在做什么错?我没有共享库的经验,但是也许还有其他更好的方法可以完成我想做的事情...? 有人可以帮我,也许举一个要求的CMakeList.txt的例子?

关于我在运行时遇到的错误: 这是一个非常琐碎的函数,如果使用正确数量的参数调用,则无法在我的.so文件中找到该函数,如果使用错误的参数调用,则该函数不会运行。 同时,我找到了一个更好的解决方法。由于我可以在python中使用自定义操作,因此将python嵌入到我的c ++库中,调用python函数来制作图形,这将调用我的自定义操作来构建图形。但是我还没有完成。

1 个答案:

答案 0 :(得分:0)

使用pkg_config变得非常简单:

cmake_minimum_required(VERSION 3.10)
project(tf-inference)

find_package(PkgConfig)
pkg_check_modules(TensorFlow REQUIRED tensorflow)

link_directories(${TensorFlow_LIBRARY_DIRS})
include_directories(${TensorFlow_INCLUDE_DIRS})
add_compile_definitions(${TensorFlow_CFLAGS_OTHER})

add_executable(tf-inference inference.cpp)
target_link_libraries(tf-inference ${TensorFlow_LIBRARIES})

但是,这需要您的TensorFlow安装包含tensorflow.pc文件。在MacOS上:brew install libtensorflow将包含此文件,以上文件将自动运行。