【教程】将Python转为C语言并编译生成二进制文件

转载请注明出处：小锋学长生活大爆炸[xfxuezhang.cn]

本教程以DGL版本的GCN为例，其他也相似。

1、安装cython、gcc：

sudo apt install cython  gcc -y

2、安装DGL、PyTorch：

pip3 install torch torchvision torchaudio
pip install dgl -f https://data.dgl.ai/wheels/cu117/repo.html
pip install dglgo -f https://data.dgl.ai/wheels-test/repo.html

3、编写gcn.py。注意添加# cython: language_level=3，不然默认用的是python2：

# cython: language_level=3

import torch
import torch.nn as nn
import torch.nn.functional as F
import dgl
from dgl.data import CoraGraphDataset
from dgl.nn import GraphConv

# 定义 GCN 模型
class GCN(nn.Module):
    def __init__(self, in_feats, h_feats, num_classes):
        super(GCN, self).__init__()
        self.conv1 = GraphConv(in_feats, h_feats)
        self.conv2 = GraphConv(h_feats, num_classes)

    def forward(self, g, in_feat):
        h = self.conv1(g, in_feat)
        h = F.relu(h)
        h = self.conv2(g, h)
        return h

if __name__ == "__main__":
    # 加载数据集
    dataset = CoraGraphDataset()
    g = dataset[0]

    # 创建模型实例
    model = GCN(g.ndata['feat'].shape[1], 16, dataset.num_classes)

    # 定义损失函数和优化器
    optimizer = torch.optim.Adam(model.parameters(), lr=0.01)
    criterion = nn.CrossEntropyLoss()

    # 训练模型
    for epoch in range(200):
        logits = model(g, g.ndata['feat'])
        loss = criterion(logits[g.ndata['train_mask']], g.ndata['label'][g.ndata['train_mask']])
        
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()

        if epoch % 10 == 0:
            print(f'Epoch {epoch}, Loss: {loss.item()}')

    # 测试模型
    model.eval()
    with torch.no_grad():
        logits = model(g, g.ndata['feat'])
        _, predicted = torch.max(logits[g.ndata['test_mask']], 1)
        correct = (predicted == g.ndata['label'][g.ndata['test_mask']]).sum().item()
        acc = correct / len(predicted)
        print(f'Accuracy: {acc:.4f}')

4、使用cython将Python转为C语言，此时会生成一个gcn.c文件。注意要加--embed：

cython gcn.py --embed

5、然后使用 C 编译器来编译gcn.c文件，此时会生成一个gcn.o文件：

gcc -c gcn.c `python3-config --includes` `python3-config --ldflags` -o gcn.o

6、链接生成可执行文件，此时会生成一个gcn可执行文件。注意这里-L后面改成你的路径：

gcc gcn.o -L/home/sxf/anaconda3/envs/dgl/lib  -lpython3.9 -o gcn

7、运行二进制可执行文件：

./gcn

8、如果报错：error while loading shared libraries: libpython3.9.so.1.0: cannot open shared object file: No such file or directory。就把这个so文件的路径包含进来，再重新执行步骤7。注意这里后面改成你的路径：

export LD_LIBRARY_PATH=/home/sxf/anaconda3/envs/dgl/lib/:$LD_LIBRARY_PATH 

9、最终效果：

注意：

1、如果你有多个自定义的py文件要import进来，那么自定义的几个py文件需要转为so库文件，来被主文件调用。而如果只有一个py文件，就没有这个问题了。

2、有些安装的库也要编译为so文件，比如dgl，不然运行二进制文件会报错No module。通过编译源码，可以在build目录下得到libdgl.so，链接时候还要-L加入这个so的路径。我直接把这两个so复制过来，那么链接命令就简化成了(以此类推)：

gcc gcn.o -L. -lpython3.9 -ldgl -o gcn

或者直接pip安装这个库也行，就可以不用生成libdgl.so了：

pip install dgl