苏州吴江做网站公司百度经验手机版官网

地址：github地址

注意事项

1. 转换成onnx模型之前，最好现简化算法的源代码，使其结构干净。因为在进行onnx转换后，可能在进行onnx→trt时算子不匹配，这时就需要去查看模型的源码，找出对应无法转换的算子，如果代码不精简，在对照算子这一步很费时间。需要对照的表可以参照onnx-tensorrt： https://github.com/onnx/onnx-tensorrt/blob/main/docs/operators.md。但是需要注意onnx-tensorrt的版本和当前使用的版本一致；
2. unbind的替换无法使用类似slice的操作，如q,k,v=qkv[0],qkv[1],qkv[2]，这会导致导出出错。使用split进行替换，split用于切片划分是支持转换的。split的使用方法可以参见pytorch官网；
3. permute可以使用transpose进行替换；
4. 在进行推理数据输入engine模型之前，一定要保证数据的形状对应的内存数据是连续的。因为reshape或者permute之后的数据形状可能改变了，但是内存的布局并不会变化。需使用tensor.contiguous()使得数据在内存的布局连续。如果是numpy的数据，则需要使用np.ascontiguousarray(im_arr)使得输入的数据连续，否则会出现推理出的结果错乱。