目录

首先我要说明,我失败了~

我把我的进度和经验放出来,希望能够帮助别人完成编译工作~

背景:最近接手一个华为某型号的嵌入式设备,需要在上面搭建 .net core 环境。

设备是 armel 架构的,linux 内核 3.10;.net core arm 只有 armhf。

因此编译出来的二进制文件无法在此设备下运行。

然后想尝试在 git 上下载源码,手动编译出 armel 版本的 .net core sdk/runtime。

感谢张队提供了大量的参考资料。

一,工作开始前

.net core sdk/runtime 并不是只有一个 git 库,而是多个:

  • coreclr 最小化的运行时
  • corefx 类库和框架功能
  • cli .net sdk 核心
  • core-setup 被分割为 coreclr、corefx

core-setup 最终生成的是 https://dotnet.microsoft.com/download#core

在编译工作开始前,需要确认要编译的库。

源码地址:

https://github.com/dotnet/coreclr/

https://github.com/dotnet/corecfx/

https://github.com/dotnet/cli/

你需要一台 linux x86/x64 的服务器,内存大于 1g,使用 ubuntu/debian 系统。

可以安装的便利工具:

apt install lrzsz 一个用于跨终端传输文件的工具,如果使用xshell远程终端,可以直接通过拖拉文件上传到linux服务器中。

apt install tree 以树的形式显示目录下的文件。

二,编译工具组件

安装必备工具链

  • cmake
  • llvm-3.9
  • clang-3.9
  • lldb-3.9
  • liblldb-3.9-dev
  • libunwind8
  • libunwind8-dev
  • gettext
  • libicu-dev
  • liblttng-ust-dev
  • libcurl4-openssl-dev
  • libssl-dev
  • libkrb5-dev
  • libnuma-dev (optional, enables numa support)

一键安装命令:

sudo apt-get install cmake llvm-3.9 clang-3.9 lldb-3.9 liblldb-3.9-dev libunwind8 libunwind8-dev gettext libicu-dev liblttng-ust-dev libcurl4-openssl-dev libssl-dev libnuma-dev libkrb5-dev

克隆 coreclr 仓库

git clone https://github.com/dotnet/coreclr.git

cross 文件夹可以看到:

[root@instance-wxxixh4k cross]# tree -l 1
.
├── android
├── arm
├── arm64
├── armel
├── build-android-rootfs.sh
├── build-rootfs.sh
├── toolchain.cmake
├── tryrun.cmake
└── x86
编译前配置检查

①文件句柄最大数量

查看支持的文件句柄最大数量

sysctl fs.file-max

如果显示小于100000,那么要设置超过这个数字,例如

#打开文件
nano /etc/sysctl.conf
#添加一行
fs.file-max = 100000

然后

sudo sysctl -p

②内存要大于 1g

如果服务器内存不足 1g ,是无法开始编译的,因为脚本限制必须大于 1g 内存才可以进行编译。

还好,工良找到了一个办法。

创建交换分区

sudo dd if=/dev/zero of=/swapfile bs=64m count=16
sudo mkswap /swapfile
sudo swapon /swapfile

bs:每个分区大小,count:分区个数。

在编译完成后,记得删除交换分区:

sudo swapoff /swapfile
sudo rm /swapfile

三,编译 musl

安装需要的库

sudo apt-get install qemu qemu-user-static binfmt-support debootstrap
sudo apt-get install binutils-arm-linux-gnueabihf

下载 git 库

git clone https://github.com/richfelker/musl-cross-make.git

打开 musl 库的目录,创建 config.mak 文件

touch config.mak

在里面添加如下内容

target = armv7-alpine-linux-musleabihel
output = /usr
binutils_config=--enable-gold=yes

关于 config.mak 文件,第一行的格式 arm[eb]-linux-musleabi[hf]

cpu 架构/指令集版本可以通过 cat /proc/cpuinfo 命令获取。

四,构建 armel 的 rootfs

sudo ./cross/build-rootfs.sh armel 
#或者
sudo ./cross/build-rootfs.sh armel tizen

编译完毕,可以在 ./coreclr/cross/rootfs/下看到相应版本的 rootfs。

使用 第一种命令,虽然出现相应的 rootfs,但是最终出现了问题,另外我无法 使用 sudo ./cross/build-rootfs.sh armel tizen 命令。

问题:

umount: /var/test/0828/coreclr/cross/rootfs/armel/bin: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/boot: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/dev: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/etc: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/home: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/lib: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/media: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/mnt: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/opt: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/proc: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/root: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/run: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/sbin: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/srv: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/sys: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/tmp: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/usr: not mounted.
umount: /var/test/0828/coreclr/cross/rootfs/armel/var: not mounted.

但是既没有出现 error、faild,也没有出现异常提示,不确定是否失败。查看目录,发现 rootfts 是完整的,没毛病呀。

五,交叉编译 coreclr

./build.sh armel debug verbose cross
#或者 
./build.sh armel release verbose cross

示例:

root@ubuntu:/var/netcore/0828/coreclr# ./build.sh armel debug verbose cross
commencing coreclr repo build
__distrorid: debian.8-armel
__runtimeid: debian.8-armel
setting up directories for build
checking prerequisites...

执行命令后,会出现 checking prerequisites... (检查先决条件中),说明离成功近了一步。

当然,可能会报这个错误:

dotnet_install: error: could not find/download: `.net core sdk` with version = 3.0.100-preview6-012264
dotnet_install: error: refer to: https://aka.ms/dotnet-os-lifecycle for information on .net core support
failed to install dotnet sdk (exit code '1').
failed to get pgo data package version.

原因是无法下载 .net core sdk。

打开 /tmp 目录,可以看到很多下载 sdk失败的缓存,因为是下载源在国外,国内下载速度可能只有 几kb。

而要下载的文件大小 120mb 左右,下载时间长达数个小时,可能会出现中断或超时,因此会失败。

root@ubuntu:/tmp# ls -lah
total 90m
drwxrwxrwt 10 root    root    4.0k aug 28 01:48 .
drwxr-xr-x 24 root    root    4.0k aug 27 09:37 ..
-rw-rw----  1 netdata netdata  240 aug 20 05:28 as.log
-rw-------  1 root    root     34m aug 27 06:30 dotnet.9tuq60vok
-rw-------  1 root    root    3.2m aug 28 01:18 dotnet.a3wi49npx
-rw-------  1 root    root       0 aug 27 03:30 dotnet.cxr2sca4h
-rw-------  1 root    root       0 aug 27 01:38 dotnet.duamykct4
-rw-------  1 root    root     16k aug 27 01:38 dotnet.geyeusxyy
-rw-------  1 root    root       0 aug 28 00:06 dotnet.hwddnc5hl
-rw-------  1 root    root       0 aug 27 10:03 dotnet.hx7k3ac76
-rw-------  1 root    root       0 aug 28 00:08 dotnet.ijqug82b1
-rw-------  1 root    root     34m aug 28 01:47 dotnet.imt2cm9gt
-rw-------  1 root    root    3.9m aug 27 10:03 dotnet.knqlzja4g
-rw-------  1 root    root    1.4m aug 28 01:49 dotnet.o3nnapwht
-rw-------  1 root    root     14m aug 27 03:30 dotnet.xkvdunje0
-rw-------  1 root    root       0 aug 28 01:47 dotnet.xveb3c7bl

方法一:给你的服务器翻墙

方法二:下载我上传的包

链接:https://eyun.baidu.com/s/3dgnzgc5 密码:gwuv

把下载的包,放到 ./coreclr/.dotnet/ 里面解压。

再重新执行 ./build.sh armel debug verbose cross

构建成功?

若是成功,会出现提示。

build succeeded.
    0 warning(s)
    0 error(s)

time elapsed 00:00:00.64
/var/test/0828/coreclr/bin/obj/linux.armel.debug /var/test/0828/coreclr
invoking "/var/test/0828/coreclr/src/pal/tools/gen-buildsys-clang.sh" "/var/test/0828/coreclr" 5 "0" armel /var/test/0828/coreclr/src/pal/tools debug    -dclr_cmake_target_os=linux -dclr_cmake_packages_dir=/var/test/0828/coreclr/.packages -dclr_cmake_pgo_instrument=0 -dclr_cmake_optdata_version=99.99.99-master-20190716.1 -dclr_cmake_pgo_optimize=1 
unable to locate llvm-ar

虽然提示成功,但是高兴得太早。

官方文档说:

as usual, the resulting binaries will be found inbin/product/buildos.buildarch.buildtype/

意思是,构建成功的话, 在 bin/product/目录下,会出现 [系统类型].[架构版本].[构建版本] 的文件夹。

打开目录 ./bin/product

drwxr-xr-x 3 root root 4.0k aug 28 01:12 linux.armel.debug
drwxr-xr-x 2 root root 4.0k aug 28 00:06 linux.x64.debug

嗯,的确出现了!

但是…

linux.armel.debug 下没有文件,打开 ./coreclr/cross/rootfs/ armel 目录,看看里面的文件。

root@ubuntu:/var/test/0828/coreclr/bin/product# tree -l 3
.
├── linux.armel.debug
│   └── x64
├── linux.armel.release
│   └── x64
├── linux.x64.debug
│   ├── coreconsole
│   ├── corerun
│   ├── createdump
│   ├── crossgen
│   ├── gcinfo
│   │   └── gcinfoencoder.cpp
│   ├── il
│   │   ├── system.private.corelib.deps.json
│   │   ├── system.private.corelib.dll
│   │   └── system.private.corelib.xml
... ...

参考 x64,编译成功目录下会出现这些文件,而 armel 下面,没有文件。。。

所以,最终确定失败。

因为时间问题和复杂程度,工良已经放弃了治疗… …

六,参考资料

需要使用到的 git 库或文件,我已上传到网盘

链接:https://eyun.baidu.com/s/3qzvi8sk 密码:u5xd

build .net core from source:https://docs.microsoft.com/en-us/dotnet/core/build/

coreclr 构建:https://github.com/dotnet/coreclr/blob/master/documentation/building/linux-instructions.md#environment

coreclr交叉编译:https://github.com/dotnet/coreclr/blob/master/documentation/building/cross-building.md

官方已经收录的 .net core sdk/runtime 版本:https://github.com/dotnet/core-setup

musl编译:https://github.com/richfelker/musl-cross-make

三个很有帮助的 issue

enabling linux arm32 for .net core:https://github.com/dotnet/core-setup/issues/725

can’t build 2.0.0 for armel (debian rootfs) :https://github.com/dotnet/core-setup/issues/3100

enabling linux arm32 for sdk:https://github.com/dotnet/cli/issues/5289