IC的帆哥 - 系统软件排坑 2023-09-30T09:16:00+08:00 Typecho https://icfgblog.com/index.php/feed/atom/category/software/ <![CDATA[服务器图形界面访问]]> https://icfgblog.com/index.php/software/376.html 2023-09-30T09:16:00+08:00 2023-09-30T09:16:00+08:00 icfg66 http://www.icfgblog.com 服务器的硬件资源丰富,可以运行pycharm、idea等高耗存的应用,但可惜不能连外网,而且没有图形界面,该如何充分利用服务器的资源的,成人的世界,全都要!(感谢ym学弟的折腾)

服务器跑项目都是利用docker环境,远程vnc可以访问图形界面,因此可以在docker里创建vnc环境,将端口5901的端口映射到主机,然后通过vnc-view访问,实现图形界面。

具体包含如下步骤:

  1. 创建包含端口映射的docker
  2. docker安装图形环境和vnc-server
  3. 配置vnc启动文件,并远程访问

1. 创建包含端口映射的docker

将docker 5901的端口(vnc的默认端口)映射到宿主机的5900

nvidia-docker run -p 5900:5901 -it --name zym -v /home/zhouym/workspace:/home/zhouym/workspace   ad0f29ddeb63 /bin/bash

2. docker安装图形环境和vnc-server

docker 里安装xfce4和vncserver

//安装软件
apt install xfce4 tigervnc-standalone-server
// 启动dbus service 提供xfce4服务
service dbus start
// 启动vncserver,设置密码和端口号(默认5901)
vncserver
vncserver -localhost no :1

3. 配置vnc启动文件,并远程访问

docker环境中 vim ~/.vnc/xstartup,修改内容

#!/bin/sh
xsetroot -solid grey

startxfce4 &

自己笔记本上打开vnc-view,输入服务器地址和映射端口,并密码登录: image.png

image.png

]]>
<![CDATA[Difftest踩坑笔记(二)]]> https://icfgblog.com/index.php/software/341.html 2022-06-12T19:32:00+08:00 2022-06-12T19:32:00+08:00 icfg66 http://www.icfgblog.com 如何搭建自己的Difftest框架呢?一生一芯仓库的wiki给了优秀的回答,但要全搭起来还是不容易,同样是两个原因:不够保姆、版本。

1. 初始化仓库

首先clone一生一芯官网的初始化仓库。

git clone -b ysyx2204 git@github.com:OSCPU/ysyx-workbench.git
cd ysyx-workbench
# 初始化chisel环境
bash init.sh npc-chisel

2. Difftest文件夹

NutShell@3a8832e下的difftest拷贝到npc目录下,和playground同级。同时需要修改npc/build.sc文件,才能调用difftest中的clas,但需要修改difftest的版本至3.5.0-RC1,不然会报错。 参考以下三个Issue:issue8,issue9,issue10

// import Mill dependency
import mill._
import mill.scalalib._
import mill.scalalib.scalafmt.ScalafmtModule
import mill.scalalib.TestModule.Utest
// support BSP
import mill.bsp._

object playground extends ScalaModule with ScalafmtModule { m =>
  override def scalaVersion = "2.12.13"
  override def scalacOptions = Seq(
    "-Xsource:2.11",
    "-language:reflectiveCalls",
    "-deprecation",
    "-feature",
    "-Xcheckinit",
    // Enables autoclonetype2 in 3.4.x (on by default in 3.5)
    "-P:chiselplugin:useBundlePlugin"
  )
  override def ivyDeps = Agg(
    ivy"edu.berkeley.cs::chisel3:3.5.0-RC1",
  )
  override def scalacPluginIvyDeps = Agg(
    ivy"edu.berkeley.cs:::chisel3-plugin:3.4.3",
    ivy"org.scalamacros:::paradise:2.1.1"
  )
  object test extends Tests with Utest {
    override def ivyDeps = m.ivyDeps() ++ Agg(
      ivy"com.lihaoyi::utest:0.7.10",
      ivy"edu.berkeley.cs::chiseltest:0.3.3",
    )
  }
  override def moduleDeps = super.moduleDeps ++ Seq(difftest)
}

object difftest extends ScalaModule {
  override def scalaVersion = "2.12.13"
  override def millSourcePath = os.pwd / "difftest"
  override def ivyDeps = Agg(
    ivy"edu.berkeley.cs::chisel3:3.5.0-RC1"
  )
}

3.单周期CPU

CPU的chisel模板参考oscpu-chisel-framework,需要做两方面改动:

  • 添加二读一写端口的ram1w2r.v:difftest/src/test/vsrc/common/ram1w2r.v。因为单周期一般区分imem和dmem。
  • 修改difftest的接入时序,这点比较繁琐,也花了很长时间debug。

时序主要修改了两个文件:InstFetch.scala 和 Core.scala

  • InstFetch.scala 添加pc_valid信号,告诉difftest这是一个有效提交指令,然后Nemu运行一条指令,再对比各自的寄存器。如果没这样做,第一条提交的指令会出错。

  • Core.scala添加RegNext做延时,这是调节时序的。寄存器的更新在指令的下一拍,传给difftest的pc需要和寄存器的更新同步。这样difftest接受指令提交后,Nemu运行一条指令,然后比对各自的寄存器。

4. 测试BIN文件

测试BIN文件在这个仓库可以找到,感觉是之前一生一芯的开源仓库,不知为什么原官方仓库不见了。

BIN文件生成的时候需要加编译选项-march=rv64g -mabi=lp64d,否则默认会编译出压缩指令,运行时会报错(暂时没有实现压缩指令解码器)。

最后 npc目录下的Makefile 生成emu时,需要加上EMU_CXX_EXTRA_FLAGS="-DFIRST_INST_ADDRESS=0x80000000",告诉nemu在0x80000000的位置开始取值。

5. 小结

本想专心写硬件,没想到花了那么多时间大环境,print大法排查了很久,附上调试好的仓库,希望jyy老师不会打我。系统环境是Ubuntu20.04的虚拟机。如果用wsl,有可能需要改动一些地方。

git clone https://gitee.com/he_zhifan/ysyx-workbench.git
cd ysyx-workbench
git submodule update --init --recursive
bash install_tools.sh
git checkout v0.5

cd nemu
make riscv64-xs-ref_defconfig
make

cd ../npc
make sim

默认仿真addi-riscv-tests.bin文件,会停在0x8000050的位置,因为lui指令还没实现。li,mov是addi的伪指令,bne虽然没实现,但默认下条指令是pc+4,也能通过。 image.png

附

附上difftest的函数跳转图 入口函数:difftest/src/test/csrc/verilator/main.cpp

main.cpp
	|-构造emu
		|-调用构造函数:reset 10 cycles,init_ram,init_flash
	|-调用emu->execute
		|-init_difftest
          *****while*****
		  single_cycle运行dut
		  difftest_step()运行nemu        emu.cpp :426(difftest.cpp:88)
				|-do_first_instr_commit()   difftest.cpp :103(354)
					do_instr_commit()         difftest.cpp :148(222)
					*compare regs             difftest.cpp :178              
					|-打印对比信息             difftest.cpp :180
						state->dispaly:打印Commit Group         difftest.cpp:614
						Difftes display: Instr Trace, REF Regs  difftest.cpp:608
						display_trapinfo打印trap位置,和指令统计结果
					|-打印错误的寄存器
          ****end while***
		  display_trapinfo()             emu.cpp:495(569)

打印verilog里面的日志信息
]]>
<![CDATA[Difftest踩坑笔记(一)]]> https://icfgblog.com/index.php/software/340.html 2022-06-12T19:31:00+08:00 2022-06-12T19:31:00+08:00 icfg66 http://www.icfgblog.com 一、Difftest简介

Difftest是差分测试框架,有什么用呢?高性能CPU的设计需要做复杂的测试,传统的测试方法运行较慢,而且出了问题很难定位,Difftest就是为了解决这两个问题,基本的逻辑也不难: image.png

  • 处理器运行一条指令
  • 模拟器运行相同的指令
  • 比较两者的状态

为什么能运行更快呢?最著名的模拟器当属Qemu,此外伯克利也提供了针对riscv的模拟器spike,但两者的实现都比较复杂,中科院采用了南大的开发的轻量级教学模拟器Nemu。因为只需要在指令层面做仿真,因此有很大的优化空间。

为什么能容易定位bug?因为每运行一条指令,都会对比关键寄存器的数值,做到动态实时比对,spike需要最终运行完才能比对。计算机的运行就是不同状态的转移,这个观点非常精妙。

那么,这么好的框架如何用起来呢?

二、NutShell difftest

NutShell,Xiangshan都有difftest相关的介绍,也提供了Difftest使用指南,但真正搭起来还真不容易。

  • 第一是因为这些资料比较零散,没有完整的“保姆级教程”。
  • 第二是版本、版本、版本,包括chisel3、difftest、Nutshell等版本,不同介绍的时间点不一样,复现起来也不简单。

为了有个初步的认识,先简单体验NutShell的difftest框架。

1.找对版本

进入xs-env工程,下载对应的NutShell@3a8832e和NEMU@26c7e50版本,参考仓库的setuptools.sh安装比要的软件。如verilator v4.218等。

2.Run起来

NutShell的文档对difftest的使用介绍不多,但有个彩蛋给出了完整的操作流程:nutshell/difftest/.github/workflows/main.yml。这是持续集成框架:在项目开发的时候,每次commit提交,会在云端github提供的服务器Docker上按照main.yml的规则运行新提交代码,对新代码进行自动测试。

参照main.yml不难跑通,如果遇到报错,根据提示不难定位:比如需要在difftest/verilator.mk文件中,将clang++换成g++;或者注释掉41行的VEXTRA-FLAGS += - - instr-count-dpi 1;或者装一些依赖库。

# git clone 对饮版本的NEMU和NutShell
cd NEMU 
make riscv64-xs-ref_defconfig
make

cd NutShell
source ./env.sh
make clean
make emu EMU_CXX_EXTRA_FLAGS="-DFIRST_INST_ADDRESS=0x80000000"
./build/emu -b 0 -e 0 -i ./ready-to-run/microbench.bin

如果想看看difftest的效果,可以修改NutShell中ALU单元的某个运算符,再生成emu并运行。

Idea下打开工程全红怎么办?最新的NutShell用mill构建,而不是sbt,因此目录下没有build.sbt,而是build.sc,,如果直接用idea.sh打开,自动检查功能用不了,不能快乐跳转。Mill的官网提供了IntelliJ Support的解决方案:

mill mill.scalalib.GenIdea/idea

三、小结

Difftest是CPU开发过程中的高效调试框架,NutShell下跑通Difftest需要非常注意版本,参考持续集成main.yml能很容易跑通。

如果自己从头写CPU,该如果接入Difftest呢?请看下回分解

]]>
<![CDATA[虚拟地址转物理地址]]> https://icfgblog.com/index.php/software/337.html 2022-05-21T15:24:20+08:00 2022-05-21T15:24:20+08:00 icfg66 http://www.icfgblog.com 操作系统启动过程中,如何完成物理地址到虚拟地址的转换?虚拟地址又是如何翻译成物理地址的?

以qemu-system-riscv64为例,opensbi会将内核搬到内存0x80200000的位置,如果内核的.ld链接文件也是以0x80200000开始,那么人畜无害,操作系统一直在物理地址下运行,可以作为RTOS简单控制。但如果要开启虚拟地址,要做什么操作呢?

1. 物理地址到虚拟地址的转换?

首先我们在链接的时候,需要修改.ld的基址,0x80200000修改为想要内核运行的虚拟地址下,比如0xFFFFFFFFC0200000。这样一来opensbi还是会将内核搬到0x80200000的位置,如果继续执行,pc会跳转到一个0xFFFFFFFFC0200000以上的位置,远远超过了物理内存地址,必然报错。那么还需要做什么设置呢?

开启虚拟内存。CSR中有个satp(Supervisor Address Translation and Protection Register)寄存器,它的结构如下:

satp

最高4位表示寻址模式:

  • 0000表示不适用页表,直接用物理地址,用于简单的嵌入式系统。
  • 1000表示Sv39页表,也是接下来要说明的,虚拟内存空间为512GB。
  • 1001表示Sv48,比Sv39多一级,虚拟内存空间为256TB。

将satp的模式切换到Sv39,并且设置指向首级页表的地址PPN,最后执行sfence.vma刷新TLB,即可使用虚拟地址。

当然在此之前,还需要设置页表。页表可以在入口代码处提前设置,然后将其起始地址赋值给satp.PPN。

2. 虚拟地址如何转换为物理地址?

开启Sv39后,假设初始化函数的入口地址VA是0xffffffffc0200032,该地址如何转换成物理地址呢?先看虚拟地址的结构图: image.png

首先会访问satp获得页表的基地址,比如0x80205,将该地址左移12位后,和虚拟地址的VPN[2]左移3位相加(一个页表项占8字节),以0xffffffffc0200032为例,VPN[2]=111111111,VPN[1]=000000001,VPN[0]=000000000,page offset=000110010。

第一级页表项位置:0x80205<<12 + 111111111<<3 = 0x80205ff8,页表项的结构图如下: image.png

  • V为Valid位,D位Dirty位,A为Accessed位
  • RWX表示可读,可写,可执行位
  • RWX如果全0,那么该页表项需要指向下一级页表

假设0x80205ff8的页表项PTE已设置,PTE.PPN=0x80000,PTE.XWRV=1111,那么该页表项不是指向下一级页表,可以直接转换物理地址,这时需要不但需要虚拟地址的page offset,还需要VPN[1]和VPN[0]:

PA = 0x80000<<12 + VA[29:0] = 0x80200032

即完成了虚拟地址和物理地址的转换。

3. 小结

物理地址切换虚拟地址模式:

  • 分配页表内存空间,初始化页表;
  • 设置页基址寄存器satp;
  • 刷新TLB

虚拟地址转换物理地址:

  • 第一级页表项PTE1 = satp.PPN<<12 + VA.VPN2<<3 ;如果可RWX,物理地址PA=PTE1.PPN<<12+VA[29:0],如果RWX全0,进入下一级。
  • 第二级页表项PTE2 = PTE1.PPN<<12 + VA.VPN1<<3;如果可RWX,物理地址PA=PTE2.PPN<<12+VA[20:0],如果RWX全0,进入下一级。
  • 第三级页表项PTE3 = PTE2.PPN<<12 + VA.VPN0<<3;如果可RWX,物理地址PA=PTE3.PPN<<12+VA[11:0]
]]>
<![CDATA[Chipyard Docker——坑外有坑]]> https://icfgblog.com/index.php/software/329.html 2022-03-30T21:27:19+08:00 2022-03-30T21:27:19+08:00 icfg66 http://www.icfgblog.com 最近在服务器上git clone 了很多项目,每个项目都需要不同的环境,比如verilator版本,java版本,vivado版本,甚至ubuntu版本,一顿折腾之后,发现原来的项目已经没法build。比如之前的Chipyard,这样下去也不是办法,碰到这类环境的问题,如何是好?对,是他,就是他,我们的好朋友——docker!

1、Chipyard Docker

在官方文档上找的预编译的docker镜像,该镜像对应的是chipyard Tag 1.5.0的版本,整个镜像有点大,得忍忍,下载有15G,本地解压之后有42G。

docker pull ucbbar/chipyard-image
docker run -it  ucbbar/chipyard-image bash

于是就可以在docker环境为所欲为了。

进入sims/verilator目录,从容执行make CONFIG=RocketConfig -j,一通下载之后,意外报错了

treadle/src/main/scala/treadle/Driver.scala:6:8: object ExecutionOptionsManager is not a member of package firrtl

这可是官方的镜像啊,啥也没改,怎么就出师未捷身先死呢?!

只能在issue上搜索关键词 ExecutionOptionsManager,还真发现了一个兄弟遇到类似的问题Error while generating Arty bitstream · Issue #1065但解答并没有什么卵用。

尝试切换版本,比如tag 1.5.0,1.2.0,1.1.0等,高版本还是类似的错误,低版本sbt又报错。也重新删除过所有target文件,重新build,还是不行。

2、Google牛逼

之前都是在Bing搜索,用Google搜索,无意中找的chipyard的网上论坛,类似于微信群聊。用关键词搜索,果然又有个老哥碰到了这样的问题Getting Errors while using buildafi - treadle。查看解答Force FIRRTL 1.4.1 by abejgonzalez · Pull Request #1052,说是FIRRTL的版本问题,build.sbt对firrlt的依赖有漏洞,需要强制切换FIRRTL的版本为1.4.1。

最后切换到Files changes这栏,修改主目录下variables.mk文件,就添加一行 override SBT_OPTS += -DfirrtlVersion=1.4.1。 image.png

image.png

3、小结

折腾了一天,最终只需要添加一行,真是海底捞针。

  • 环境问题找Docker
  • Github 问题除了issue,网上论坛也很靠谱
  • 技术bug先找Google吧
]]>
<![CDATA[FPGA 部署Rocket Chip 跑Linux]]> https://icfgblog.com/index.php/software/328.html 2022-03-26T20:50:00+08:00 2022-03-26T20:50:00+08:00 icfg66 http://www.icfgblog.com 在过去的四个月时间里,一直尝试着在FPGA部署RISC-V处理器,并运行Linux操作系统,基本浏览了全网这方面所有教程,git clone,make的技能炉火纯青。

在FPGA部署Rocket Chip并运行Linux主要有两种方式,一种是伯克利官方仓库fpga-zynq,它需要借助ARM,通过前端服务器Frontend Server和ARM交互,进行串口显示。另一种是不借助ARM。

一、借助ARM

如下图所示,ARM端运行了PetaLinux,通过执行./fesvr-zynq pk hello ARM运行fesvr-zynq前端服务器,将pk(非常小的内核)和hello(rv-gcc编译的hello程序)搬到RV内存的特定地址,RV核执行之后,会将打印的结果告诉fesvr,最后通过ARM的串口显示。

通过执行./fesvr-zynq bbl也是类似原理,BBL是伯克利加载启动器,和OpenSBI有相同的作用,但比它更简化。bbl生成时,会加上payload选项,包入linux的Image镜像。此前Linux镜像生成时,也会包入简单根文件系统。这样就集齐了Linux运行的吉祥三宝:bootloader、kernel、root file system。

image.png

该工程已在ZC706的板子上复现,预编译的比特流文件似乎有点问题,需要重新生成才奏效。这个工程的缺点也比较明显:

  • Rocket Chip子仓库不在主分支上,是2018年的旁支,版本比较旧。
  • Vivado需要用2016.2版本,Ubuntu也最好是16版本,否则会报莫名的版本错误。
  • 需要借助ARM,不纯粹。

借助ARM运行RV Linux的工程还有几个:

二、不借助ARM

Z系列的板子都会带ARM,还找到一些不借助ARM,直接从SD卡启动的工程,也做了一些比较:

开源项目 更新频率 支持开发板 复现难度
Chipyard 活跃 VCU118 难
fpga-rocket-chip 三年前 Nexys A7 100T 易
lowrisc-chip 四年前 Nexys A7 100T 中
rocket-chip-vcu128 半年前 VCU128 中
vivado-risc-v 活跃 KC705,VC707,Nexys A7 100T 易

最终选择了最后一个仓库复现,社区很活跃,子仓库也是最新的,以打补丁的形式修改OpenSBI、Uboot、Linux kernel,容易进一步学习。

但要成功复现也不是想象中那么简单,运行环境如下:

  • Ubuntu 20 LTS ,32G内存
  • Vitis 2020.1以上

自己的虚拟机虽然是Ubuntu20,但只有8G内存。服务器虽然有32G内存,但Ubuntu是18.04,而且生成SD卡也不能在服务器上。这种因为环境造成的尬尴,Docker是最佳选择!

基本思路是,服务器装一个Ubuntu20的Docker环境,用来生成比特流文件;本地虚拟机用来生成SD卡需要的吉祥三宝:bootloader、linux kernel、root file system。

1、比特流文件

Docker的入门可以参考之前的博客 Docker 入门+实战

docker pull ubuntu:20.04
# 挂载整个工作目录,包含vivado软件
docker run -it --name yourname --user -v /home/username/:/home  ubuntu:20.04

之后按照github上的流程安装好相关的依赖软件make apt-install,make update-submodules。最后选择kc705的板子

source /opt/Xilinx/Vivado/2020.1/settings64.sh
make CONFIG=rocket64b2 BOARD=kc705 bitstream

生成好的比特流文件会在workspace目录下的vivado工程里,之后需要通过本地的vivado烧到板子上。

有意思的一点是,生成的过程中,设备树文件会合并到bootrom.img,然后作为固件一起烧进比特流文件。

2、SD卡准备

准备好SD卡,大卡小卡皆可,运行./mk-sd-card,主要流程是先下载Debian发行版的根文件系统,再分别生成uboot、opensbi、Linux kernel。opensbi会payload uboot,生成boot.elf和kernel一起放到SD卡的第一个分区,根文件系统放到SD卡的第二个分区。

最后写SD卡的过程会遇到一些错误,可以查看 issues 23:老显示SD占用,写不进数据, 需要手动umount /media/xxx/BOOT and rootfs 然后重新 ./mk-sd-card 。

3、最后一难

将SD卡插入卡槽,用vivado将bit流文件烧进板子,连接好串口,期待神圣的时刻:发现串口无打印!查看手册,发现是SW13的设置出错了,改成默认就行。

1648299710(1).png

image.png

最后,见证奇迹的时候:

image.png

虽然代码不是我写的,移植不是我做的,但看到起来的那一刻,也是热泪盈眶。接下来,盘它!

//纪念第100篇灌水博文

]]>
<![CDATA[Qemu运行riscv linux总结]]> https://icfgblog.com/index.php/software/324.html 2022-03-09T10:52:00+08:00 2022-03-09T10:52:00+08:00 icfg66 http://www.icfgblog.com 全网有各种Qemu运行riscv linux的教程,有点杂,在此做一个总结分类。

要成功运行起来不难也不容易,跑不通最大的原因可能是版本问题,包括Qemu的版本、Opensbi版本、Linux的版本、BBL版本。

硬件上启动Linux需要准备三样东西:bootloader、Linux 内核、根文件系统。bootloader可以是opensbi(Open Supervisor Binary Interface)、bbl(Berkeyly Boot Loader)。根文件系统可以通过busy_box配置,也可以是各类linux发行版。

Qemu是硬件仿真器,可以将它当成一个实际的硬件,包含地址映射、外设等。

spike是指令集的模拟器,也是可以当成是硬件,但它与Qemu不同,只能解析二进制指令,Qemu还可以解析elf文件。有关spike、pk、fesrv可以参考这两篇文章:深入理解基于RISC-V ISS Spike的仿真系统:探索Spike,pk和fesrv、华科OS教程:RISC-V体系结构

一、Qemu 运行

1、默认opensbi + 独立Image + 独立rootfs

搭建qemu RISC-V运行Linux环境 汪辰,在 QEMU 上运行 RISC-V 64 位版本的 Linux

qemu-system-riscv64 -M virt \
		    -m 256M \
		    -nographic \
		    -bios default\
		    -kernel linux/arch/riscv/boot/Image\
		    -drive file=rootfs.img,format=raw,id=hd0 \
		    -device virtio-blk-device,drive=hd0 -append "root=/dev/vda rw console=ttyS0"

2、opensbi包Image+独立rootfs

risc-v linux 根文件系统制作和运行 先生成linux内核文件Image,然后用opensbi的PAYLOAD选项将内核一起包入编译。最后运行时一定要加上-bios none否则会出现地址冲突错误。

qemu-system-riscv64 -M virt \
		    -m 256M \
		    -nographic \
		    -bios none\
		    -kernel opensbi/build/platform/generic/firmware/fw_payload.elf\
		    -drive file=rootfs.img,format=raw,id=hd0 \
		    -device virtio-blk-device,drive=hd0 -append "root=/dev/vda rw console=ttyS0"

3、独立opensbi+独立Image+独立rootfs JUMP方式

构建riscv上运行的linux系统

qemu-system-riscv64 -M virt \
		    -m 256M \
		    -nographic \
		    -bios opensbi/build/platform/generic/firmware/fw_jump.bin\
		    -kernel linux/arch/riscv/boot/Image\
		    -drive file=rootfs.img,format=raw,id=hd0 \
		    -device virtio-blk-device,drive=hd0 -append "root=/dev/vda rw console=ttyS0"

4、opensbi包Linux内核

RISC-V Kurun的博客只加载内核,无设备树。

qemu-system-riscv64 -M virt \
		    -m 256M \
		    -nographic \
		    -bios opensbi/build/platform/generic/firmware/fw_jump.bin\

5、opensbi包hello payload模式

opensbi下的riscv64裸机系列编程1(串口输出)

payload的文件一定是bin文件,file xx. bin会显示data,可以通过 riscv64-unknown-elf-objcope -O binary xx.elf xx.bin生成bin文件。

qemu-system-riscv64 -M virt 
          -m 256M\
          -nographic\
          -bios build/platform/generic/firmware/fw_payload.elf 

6、bbl包Image+rootfs

未验证 How to Run Linux on RISC-V with QEMU Emulator - CNX Software qemu引导riscv linux--摆脱busybear

 qemu-system-riscv64  -M virt \
                    -m 256M \
                    -nographic\
                    -kernel bbl \
                    -drive file=busybear.bin,format=raw,id=hd0\
                  -device virtio-blk-device,drive=hd0  -append "root=/dev/vda ro console=ttyS0"         
                  -netdev type=tap,script=./ifup,downscript=./ifdown,id=net0   
                  -device virtio-net-device,netdev=net0

二、Spike 运行

Image包rootfs ,bbl 包 Image。这种方式的启动和版本更加有关系 Spike模拟Linux 5.3教程 Spike 运行RISC-V Linux实践 bbl制作

LiteX and RocketChip

附录

# 1.查看qemu设备树
qemu-system-riscv64 -machine virt,dumpdtb=qemu-riscv64-virt.dtb
dtc qemu-riscv64-virt.dtb > qemu-riscv64-virt.dts
# 2.qemu debug模式
qemu-system-riscv32 -M virt -m 256M -kernel opensbi-1.0/build/platform/generic/firmware/fw_payload.elf -nographic -bios none  -smp 1 -s -S

riscv32-unknown-linux-gnu-gdb build/linux-5.16.12/vmlinux
target remote localhost:1234
]]>
<![CDATA[varilator 仿真简介和示例]]> https://icfgblog.com/index.php/Digital/317.html 2022-01-21T10:22:00+08:00 2022-01-21T10:22:00+08:00 icfg66 http://www.icfgblog.com varilator被称为是第四大仿真器,而且开源,chisel开源项目的仿真基本上是基于varilator,follow了无数次git clone和make之后,也想打开这个黑盒看看。正巧钦哥趟了一遍这坑,还写了挺详细的文档,顺便分享一波。

1、模块准备

首先,假设我们写好一个模块,如Accumulator.v:

module Accumulator(
  input  [7:0] io_din_0,
  input  [7:0] io_din_1,
  input  [7:0] io_din_2,
  input  [7:0] io_din_3,
  output [9:0] io_dout
);
  wire [8:0] _io_dout_T = io_din_0 + io_din_1; 
  wire [8:0] _io_dout_T_1 = io_din_2 + io_din_3;
  assign io_dout = _io_dout_T + _io_dout_T_1; 
endmodule

若要验证功能,modelsim或vcs的套路便是写一个tb_Accumulator.v,但varilator与其不同,需要写一个main.c,里面包含了激励测试。

Verilator 不会简单地将 Verilog HDL 转换为 C++ 或 SystemC。Verilator 不仅可以翻译,还可以将代码编译为速度更快的优化与可选的线程分区模型,同时这些模型封装在C++/SystemC/Python模块中。 经过编译的 Verilog 模型,即使在单线程上执行的速度也比独立 SystemC 快 10 倍以上,并且在单线程上的执行速度比诸如 Icarus Verilog 之类的解释 Verilog 模拟器快 100 倍。多线程可能还会使速度提高 2-10 倍(在解释型模拟器上总共可以提高 200-1000 倍)。

2、测试模块

main.c 如下:

#include "verilated_vcd_c.h" //可选,如果要导出vcd则需要加上
#include "VAccumulator.h"

vluint64_t main_time = 0;  //initial 仿真时间

double sc_time_stamp()
{
    return main_time;
}

int main(int argc, char **argv)
{
    Verilated::commandArgs(argc, argv); 
    Verilated::traceEverOn(true); //导出vcd波形需要加此语句

    VerilatedVcdC* tfp = new VerilatedVcdC; //导出vcd波形需要加此语句

    VAccumulator *top = new VAccumulator("top"); //调用VAccumulator.h里面的IO struct

    top->trace(tfp, 0);   
    tfp->open("wave.vcd"); //打开vcd

    while (sc_time_stamp() < 20 && !Verilated::gotFinish()) { //控制仿真时间
        top->io_din_0 = main_time + 0; //激励控制
        top->io_din_1 = main_time + 1;
        top->io_din_2 = main_time + 2;
        top->io_din_3 = main_time + 3;

        top->eval(); //计算输出

        printf("%d + %d + %d + %d = %d\n",top->io_din_0,top->io_din_1,top->io_din_2,top->io_din_3,top->io_dout); //命令行输出仿真结果
        tfp->dump(main_time); //dump wave
        main_time++; //推动仿真时间
    }
    top->final();
    tfp->close();
    delete top;

    return 0;
}

3、运行仿真

运行仿真分成三步:

a、生成目标文件夹

verilator -Wno-fatal Accumulator.v main.c --top-module Accumulator --cc --trace --exe
  • -Wno: 忽略非 fatal 的 warning
  • Accumulator.v 是设计文件
  • main.c 是主程序
  • --top-module:顶层模块名,注意是模块名,不是文件名
  • --cc:表明是C++,不过 c 程序也是支持的
  • --trace 表明会追踪波形,如果需要导出vcd 或者 fst 等其他波形文件,需要加上这个选项
  • --exe:生成可执行文件

运行完后会在当前目录生成obj_dir文件夹,这么多文件不需要深究。 Screenshot from 2022-01-19 23-31-05-20220119233111-zxachyx.png

b、编译

make -C obj_dir -f VAccumulator.mk VAccumulator
  • VAccumulator.mk 也是生成出来的一个文件,在 obj_dir 文件夹里面,用于自动化的编译控制
  • 最后一个参数是输出可执行文件的文件名,最好不要乱改,就"V" + "design_name"

c、运行和查看波形

./obj_dir/VAccumulator 
gtkwave wave.vcd

image.png

最后再次感谢独守空寝仍日卷不殆的钦哥。

]]>
<![CDATA[Hummingbirdv2 E203 移植之引脚约束]]> https://icfgblog.com/index.php/Digital/293.html 2021-11-11T20:14:00+08:00 2021-11-11T20:14:00+08:00 icfg66 http://www.icfgblog.com 上文实现了将程序固化到itcm,接下来需要将E203烧写至Xilinx Zynq UltraScale+的板子上,主要需要解决几个问题:

  • 时钟:板子上的时钟是差分时钟,而且32.784kHz的时钟需要自己分频产生;
  • 添加IP:pll和reset ip
  • 管脚约束:需要保留的管脚有JTAG(四个),串口(gpioA[16],gpioA[17]),mcu_wakeup(连高电平)

其中JTAG口是用来调试软件代码,芯来SDK工具可以将二进制软件代码通过JTAG口写入itcm,再通过串口查看打印信息。要实现这一功能,还需要在修改软件的配置信息,参见这篇博文。修改.cfg文件,注释里面包含flash的几行 image.png image.png

一、导入文件

选择器件:如“xczu3eg-sfvc784-1-i” 导入顶层文件system.v,以及约束文件nuclei-master.xdc,并写一个bitstream.tcl文件:

set_property SEVERITY {Warning} [get_drc_checks NSTD-1]
set_property SEVERITY {Warning} [get_drc_checks RTSTAT-1]
set_property SEVERITY {Warning} [get_drc_checks UCIO-1]

否则会因为一些内部管脚没连,导致比特流文件生成出错 image.png

二、修改system.v

IO口

1、CLK100MHZ,CLK32768kHZ 改成sys_clk_p,sys_clk_n,并移入模块做wire型(之后再用pll和分频产生) 2、删除fpga_rst,随便去除后面assign语句中的fpga_rst信号 3、qspi 的相关的6个IO移入模块做wire型,并删除模块内IOBUF对其的定义 4、gpioA、gpioB移出IO,做wire型,并删除模块内IOBUF对其的定义 5、pmu两个信号移出IO,做wire型,并删除模块内IOBUF对其的定义 6、增加两个串口信号tx,rx,之后连接到gpioA[17]和gpioA[16],并在模块内增加IOBUF对其的定义

IP 添加

在Windows环境下用Vivado调试E203可以参考这篇文章添加缺少的mmcm和reset_sys模块。 mmcm实际上就是clock wizard,我这边参考配套手册添加的: image.png

其他重要选项

1、将信号dut_io_pads_bootrom_n_i_ival 连上1‘b0,表示从itcm中写入,非常重要。

三、管脚约束

分别设置时钟、mcu_rst、Jtag、串口、mcu_wakeup管脚。 如果综合出现e203_defines.v的错误,可以再TCL输入:

set_property file_type "Verilog Header" [get_files {your dir}/e203_defines.v]
set_property is_global_include true [get_files {your dir}/e203_defines.v]

代码详情

]]>
<![CDATA[Hummingbirdv2 E203 移植之固化itcm]]> https://icfgblog.com/index.php/Digital/292.html 2021-11-11T20:04:00+08:00 2021-11-11T20:04:00+08:00 icfg66 http://www.icfgblog.com 由于项目需求,希望将Hummingbird2 E203 SoC移植到Xilinx Zynq UltraScale+ MPSoC 上,核心板是XCU3EG。期间遇到一个大坑,debug足足用了7个小时,惨不忍睹。

一、Flash不够

芯来自己的MCU200T的开发板,有两个Flash:一个是FPGA Flash,用于保存mcs文件,上电时加载硬件电路,另一个是MCU Flash,用于保存软件二进制代码。芯来有自己的SDK做软件调试,软件代码编译成二进制文件后,有三种方式写入E203的指令存储器(itcm)做调试:

  • ilm: 直接将代码写入指令存储器(itcm),速度最快,但掉电会消失
  • flash:先保存到mcu flash,然后再拷贝到itcm上执行,掉电不消失
  • flashxip:直接保存到mcu flash,并读flash运行,速度较慢

但MPSoC只在ARM核的PS端有下载用的FPGA Flash,没有MCU Flash,如果需要掉电保存软件代码,该怎么办呢?

二、修改itcm

E203的指令存储器是通过寄存器实现的,如果我们把它修改成只读存储器ROM,然后预先读入.coe文件,那么就可以和E203一起烧入flash,这样一上电就可以运行代码。

说干就干,那么用哪种IP呢?BRAM还是Distributed ROM? 这得通过代码仔细分析时序:

//读部分逻辑
    reg [DW-1:0] mem_r [0:DP-1];  //DW=32,DP=8192
    always @(posedge clk)
    begin
        if (ren) begin
            addr_r <= addr;
        end
    end
  assign dout_pre = mem_r[addr_r];

这点挺有意思,当可读时,先一拍保存地址addr_r,然后直接读出数据,而且不可读的时候,输出会保持,这点用rom实现起来挺方便,于是便决定用简单的rom实现(先不管写入功能): image.png

潘多拉的魔盒就此打开,我先用芯来的SDK生成.verilog的代码二进制文件(可以参考这篇文章),然后以.coe文件的方式读入rom。有一点需要注意,.verilog文件还需要调整数据顺序,这里写了一个python脚本,实现转换:

#python hello.verilog
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('-f','--file',dest='file',type=str,default='hummibird.verilog')

args = parser.parse_args()
file_data = "memory_initialization_radix=16;\nmemory_initialization_vector=\n"
total_len = 0
str_16 = []
with open(args.file,"r",encoding="utf-8") as f:
    for line in f:
        if(line[0]=="@"):
            temp = eval("0x"+line.strip("\n")[1:])
            for i in range(temp - total_len):
                str_16.append("00")
                total_len += 1
        else:
            temp = line.strip("\n").split(" ")
            for i in range(len(temp)):
                str_16.append(temp[i])
                total_len +=1
    for i in range(8-total_len % 8):
        str_16.append("00")

    row = int(total_len//8)+1
    for i in range(row):
        file_data += str_16[i*8+7]+ str_16[i*8+6]+str_16[i*8+5]+str_16[i*8+4]\
                     +str_16[i*8+3]+str_16[i*8+2]+str_16[i*8+1]+str_16[i*8+0]+",\n"
with open("out.coe","w",encoding= "utf-8") as f:
    f.write(file_data)

三、恶梦debug

看似一切完美,指令存储器不需要写入功能,tb仿真应该一切正常。检测了开始的几个周期,确定指令确实正确写入,但之后却一直不输出结果。好在另一台电脑有备份,跑一波正确的版本,发现2.5us之后,指令输出就出错了,为之奈何?说实话,当时真没勇气搞定这个bug,下了很大决心才决定回溯信号。

从这个output找,到底那个input出了问题,模块之间不停套娃。在这个过程中,还发现一个vivado的彩蛋:vivado和modelsim在仿真时不会保存所有信号,如果要查看其他信号的变化,就需要重新仿真,这一点不如iverilog和vcs方便;但vivado有个彩蛋是,它保存了仿真最后时刻所有信号的信息,而且将鼠标停留在代码上的信号,会显示该信号的数值(如果不显示,可以在scope菜单找到这个例化模块)。 image.png

tip: 仿真到bug出现的时刻点,然后可以在代码中查看此刻各信号的数值,大大加快速度。

第一阶段回溯到了寄存器堆regfile某个地址数据没有对上,接着看它是什么时候发生错误反转,再仿真都这个时刻,最后回溯最终是那个输入发生错误。

经过漫长的回溯,最终找到了数据存储器,scope一看,进入例化模块是rom!原来itcm和dtcm用的是同一个module,这样itcm改成了rom,dtcm也就不能写入!抽丝剥茧,终于搞定。

只需要另外添加一个itcm的module,分类例化即可,问题解决。

四、能不能加入写功能?

itcm的写功能主要用于调试,借助其SDK,通过Jtag口将代码直接传入itcm,方便debug,否则每次修改代码都需要重新烧一遍板子,非常费时费力。

写逻辑也挺有意思,除了常见的写使能we,还有mask信号wem,来确定32bit里面,哪几位8bit需要修改。分析了一下时序,动了些小聪明,发现可以用Dualport RAM实现。 image.png

module sirv_sim_ram_itcm
#(parameter DP = 512,
  parameter FORCE_X2ZERO = 0,
  parameter DW = 32,
  parameter MW = 4,
  parameter AW = 32 
)
(
  input             clk, 
  input  [DW-1  :0] din, 
  input  [AW-1  :0] addr,
  input             cs,
  input             we,
  input  [MW-1:0]   wem,
  output [DW-1:0]   dout
);

 reg [AW-1:0] addr_r;
 wire [MW-1:0] wen;
 wire ren;

 wire [DW-1:0] dout_pre,spo,din_temp,wen_ext;
assign din_temp = (wen_ext & din) | (~wen_ext &spo);  //下一时刻更新数据
 assign wen = ({MW{cs & we}} & wem);
 assign wen_ext={ {8{wen[7]}},{8{wen[6]}},{8{wen[5]}},{8{wen[4]}},{8{wen[3]}},{8{wen[2]}},{8{wen[1]}},{8{wen[0]}}};

    dist_mem_gen_rewr u_rewr(
        .a(addr),           //写地址
        .d(din_temp),   //写数据
        .dpra(addr_r),  //读地址
        .clk(clk),
        .we(we),       //读使能
        .spo(spo),    //写地址的当前数据,需要结合wen和din得到下一时刻的更新数据din_temp
        .dpo(dout_pre)   //读数据
    );

    assign ren = cs & (~we);
    always @(posedge clk)
    begin
        if (ren) begin
            addr_r <= addr;
        end
    end
endmodule

这样就不仅能烧录flash,而且运行时可以修改代码做测试,最后可以将测试好的代码重新烧写进flash,方便开发。

五、能不能用BRAM?

总感觉写功能的实现挺low,是否更快捷的方式?查看xilinx关于ram的说明文档发现bram自带wea功能,非常容易替换。 image.png

module sirv_sim_ram 
#(parameter DP = 512,
  parameter FORCE_X2ZERO = 0,
  parameter DW = 32,
  parameter MW = 4,
  parameter AW = 32 
)
(
  input             clk, 
  input  [DW-1  :0] din, 
  input  [AW-1  :0] addr,
  input             cs,
  input             we,
  input  [MW-1:0]   wem,
  output [DW-1:0]   dout
);
    reg [AW-1:0] addr_r;
    wire [MW-1:0] wen;
    wire ren;
    wire [DW-1:0] dout_pre;
    
    assign ren = cs & (~we);
    assign wen = ({MW{cs & we}} & wem);

    blk_mem_gen_itcm u_dtcm(
        .clka(clk),
        .addra(addr),
        .dina(din),
        .wea(wen),
        .clkb(clk),
        .addrb(addr),
        .doutb(dout_pre),
        .enb(ren)
    );

endmodule

几个特别注意点:

  • itcm的位宽是64bit,长度8192;dtcm的位宽是32bit,长度是16384,这一点在e203_define.v和config.v里面有说明,添加IP的时候要注意这两个不同点。
  • Basic 勾选 Write Enable,Byte Size 选8bits
  • Port A Options ,Enable Port Type 选择“Always Enabled”
  • PortB Options,不要选 Primitives Output Register
  • Summary 确认 PortB Latency为1 Cycles

最后附上这些模块的代码,区分了itcm和dtcm,上层例化的时候要注意,相应的ram ip设置可以参考截图。

]]>