Kompilowanie kodu C, który używa zarówno R jak i numpy w systemie Linux

Question

Mam trochę kodu C, który używa zarówno numpy, jak i R. W systemie Windows kompiluje MSVC do pliku .dll, który może być dynamicznie ładowany z R i przechodzi wszystkie testy. Jednak nie udało mi się sprawić, by działało na Debianie.

celu zbadania problemu stworzyłem następujące minimalne-owski przykład:

#include <Python.h> 
#include <Rinternals.h> 
#include <numpy/arrayobject.h> 

SEXP main() { 
    Py_Initialize(); 
    import_array(); 

    SEXP one = PROTECT(allocVector(INTSXP, 1)); 
    INTEGER(one)[0] = 1; 
    npy_intp dims[1] = {1}; 
    int data[1] = {1}; 
    PyObject *another = PyArray_SimpleNewFromData(1, dims, NPY_INT, data); 

    Rprintf("Hello, %d ", INTEGER(one)[0] + *(int*)PyArray_DATA(another)); 
    PyRun_SimpleString("print('worlds')"); 

    UNPROTECT(1); 
    return one; 
} 

mogę go skompilować z

cl /I "C:\Program Files\R\R-3.2.0\include" /I "C:\Python34\include" /I "C:\Python34\Lib\site-packages\numpy\core\include" /c hello.c 
link /dll /export:main hello.obj Rdll.lib C:/Python34/libs/python34.lib 

gdzie Rdll.lib został stworzony z %R_HOME%\bin\x64\R.dll z

pexports R.dll > R.exp 
link /lib /def:R.exp /machine:x64 /out:Rdll.lib 

to może być stosowane z R:

> dyn.load(paste0("hello", .Platform$dynlib.ext)) 
> .Call("main") 
Hello, 2 worlds 
[1] 1 

Gdy jednak kompilowania go Debiana

gcc -shared -fPIC -I/usr/share/R/include -I/usr/include/python2.6 -lpython2.6 -L/usr/lib64/R/lib -lR hello.c -o hello.so 

i importować go z badań są następujące kroki:

> dyn.load("hello.so") 
> .Call("main") 
Traceback (most recent call last): 
    File "/usr/lib/pymodules/python2.6/numpy/__init__.py", line 132, in <module> 
    import add_newdocs 
    File "/usr/lib/pymodules/python2.6/numpy/add_newdocs.py", line 9, in <module> 
    from lib import add_newdoc 
    File "/usr/lib/pymodules/python2.6/numpy/lib/__init__.py", line 4, in <module> 
    from type_check import * 
    File "/usr/lib/pymodules/python2.6/numpy/lib/type_check.py", line 8, in <module> 
    import numpy.core.numeric as _nx 
    File "/usr/lib/pymodules/python2.6/numpy/core/__init__.py", line 5, in <module> 
    import multiarray 
ImportError: /usr/lib/pymodules/python2.6/numpy/core/multiarray.so: undefined symbol: _Py_ZeroStruct 

*** caught segfault *** 
address 0x4, cause 'memory not mapped' 

Powoduje wady segmentacji, chyba że wszystkie komentarze dotyczące numpy zostaną skomentowane. Interakcja z czystym Pythonem z R wydaje się być OK. Ale zaraz po wywołaniu import_array() istnieje błąd segfault. Z desperacji dodałem -I/usr/share/pyshared/numpy/core/include/ i nic to nie zmieniło.

Wreszcie, jeśli mogę skompilować następujące (podobny do poprzedniego, ale nieznacznie zmienione) kod

#include <Python.h> 
#include <Rinternals.h> 
#include <numpy/arrayobject.h> 

int main() { 
    char *localArgs[] = {"R", "--silent"}; 
    Rf_initEmbeddedR(2, localArgs); 
    Py_Initialize(); 
    import_array(); 

    SEXP one = PROTECT(allocVector(INTSXP, 1)); 
    INTEGER(one)[0] = 1; 
    npy_intp dims[1] = {1}; 
    int data[1] = {1}; 
    PyObject *another = PyArray_SimpleNewFromData(1, dims, NPY_INT, data); 

    Rprintf("Hello, %d ", INTEGER(one)[0] + *(int*)PyArray_DATA(another)); 
    PyRun_SimpleString("print('worlds')"); 

    UNPROTECT(1); 
} 

na tej samej maszynie Debian z

gcc -I/usr/share/R/include -I/usr/include/python2.6 -lpython2.6 -L/usr/lib64/R/lib -lR hello.c -o hello 

i nazywają go

LD_LIBRARY_PATH=/usr/lib64/R/lib R_HOME=/usr/lib64/R ./hello 

it nagle się nie psuje, działa dobrze i produkuje "Witaj, 2 światy", zgodnie z oczekiwaniami.

Wersje są: Windows: Kompilator Wersja 19.00.23506 dla x64, Python 3.4.4, numpy 1.9.3, 3.2.0 Debian R: wersja gcc 4.4.5 (cel: x68_64-linux-gnu) , Python 2.6.6, numpy 1.4.1, R 3.2.1

Co robię źle?

Aktualizacja: Testowany na Ubuntu zarówno w Pythonie 3.2, jak i Pythonie 2.7 z gcc i clang. Problem nadal występuje.

Answer 1

Rozwiązanie, które działa (z tego przykładu, jak również z rzeczywistym kodzie) jest załadowanie libpythonX.Y.so z dlopen:

#include <Python.h> 
#include <Rinternals.h> 
#include <numpy/arrayobject.h> 

#ifndef _WIN32 
#include <dlfcn.h> 
#endif 

SEXP main() { 
#ifndef _WIN32 
    dlopen("libpython2.6.so", RTLD_NOW | RTLD_GLOBAL); 
#endif 
    Py_Initialize(); 
    import_array(); 

    SEXP one = PROTECT(allocVector(INTSXP, 1)); 
    INTEGER(one)[0] = 1; 
    npy_intp dims[1] = {1}; 
    int data[1] = {1}; 
    PyObject *another = PyArray_SimpleNewFromData(1, dims, NPY_INT, data); 

    Rprintf("Hello, %d ", INTEGER(one)[0] + *(int*)PyArray_DATA(another)); 
    PyRun_SimpleString("print('worlds')"); 

    UNPROTECT(1); 
    return one; 
} 

ja nie, jednak w pełni zrozumieć, dlaczego jest to potrzebne .