腾讯发布开源大模型 Hy4 预览版

腾讯今日发布了一款新的开源权重文本输入（无视觉）大模型：Hy4 预览版。该模型拥有 7700 亿总参数、490 亿激活参数、100 万 token 上下文窗口，并在 Hugging Face 上提供了 1.56TB 的权重。 相比今年七月发布的 Hy3（参数量 2950 亿、激活参数 210 亿、上下文 25.6 万、权重 598GB），Hy4 在规模上有了显著提升。 我最近开始使用模型聊天模板来更好地理解其能力。这是 Hy4 在 Hugging Face 上的 chat_template.jinja，其中包含以下部分：

{%- if not reasoning_effort is defined %}
    {%- set reasoning_effort = 'high' %}
{%- elif reasoning_effort not in ['high', 'no_think'] %}
    {%- if reasoning_effort is none %}
        {{- raise_exception('reasoning_effort error : None, should be no_think/high') }}
    {%- else %}
        {{- raise_exception('reasoning_effort error : ' + reasoning_effort + ', should be no_think/high') }}
    {%- endif %}
{%- endif %}

看来推理强度只有两个级别：“high”（默认）和“no_think”（禁用推理）。 我使用默认的 high 推理强度，通过 OpenRouter 尝试了“生成一只骑自行车的鹈鹕的 SVG”提示词，并得到了 这张图片：

引用其推理过程：

[...] 也许加个头盔？这能提升骑行主题，但可能会遮挡头部。也许戴个小骑行帽或头盔？用户没要求；可以加个红色头盔吗？可能挺可爱的。但鹈鹕有大嘴；头盔可能会遮挡。也许不加比较好。

也许加个墨镜？不行。

也许加点水？不行。

有趣的是，推理轨迹使用的是稍微截断的英文，这大概是因为对于隐藏的推理文本而言，完美的语法既无必要也不利于节省 token。