（XeTeX）使用FiraMath数学字体，并且仅取自Tex Gyre Heros的数字

Question

我正在使用XeTex排版文档，其中Tex-Gyre-Heros为主要字体，FiraMath为数学字体。这是MWE。

\documentclass{article}
\usepackage{fontspec}
\usepackage{unicode-math}
\setmainfont{TeX Gyre Heros}
\setmathfont{Fira Math}
\begin{document}
 $4$4
\end{document}

我想用文本字体替换数学模式下的数字（保持其余数学字体不变）。 我想仅通过更改序言（文档主体中不允许更改）来实现这一目标。