博客 & 研究
Kimi 3.1 做设计任务，离专业交付还有多远？设计师出了 3 道自己日常会接的题：清华园 ICON、斑马 ICON、小黄人音箱效果图，在装好 Photoshop 和 Illustrator 的电脑上对比 Kimi K3 与 K3.1 Pro。K3.1 Pro 三题全部领先，要求完成率从 60% 提到 80%，2 道过了关键指标，成本也贵了一倍。博客阅读全文
AI 离「靠谱同事」还差什么律师、医生、券商、HR、编辑……题目由从业者出，每题附 6–10 个互相打架的附件，限时 4 小时。Kimi K3.1 Pro 的平均分从上一代的 37.4 涨到 60.5，估算成本也翻了一倍多。新一代全胜，但两代都没学会说「这个我不确定」。博客阅读全文
Blender AI建模选哪家？用37道题测出4家AI的真实能力继 AutoCAD 之后，我们把 Work Agent 评测搬到 Blender。8 位行业专家出了 37 道三维建模与动画题，比较 Codex、WorkBuddy、豆包工作和千问办公。Codex 以 96.8 分领先，差距主要来自几何细节、结构关系，以及模型与展示能否一致地落实要求。博客阅读全文
最强Agent，能否复原出特斯拉飞行汽车？让四款 Work Agent 在 Blender 中复刻特斯拉 Roadster 11 秒的飞跃动画。车都飞起来了，但分不清推力喷流和车灯、搞错车轮转动逻辑、翻转路径违背物理。“看起来会飞”很容易，距离“可靠还原”还有很远。博客阅读全文
真实工作场景中的AI：Kimi 3.1 pro 在证券领域究竟进步了多少用 10 道按证券一线岗位真实委托设计的交付题，对比 Kimi K3.1 Pro 与上一代 K3。均分从 35.0 提到 46.0，与 opus-5 持平，但关键项满足率几乎没动，耗时约 2.1 倍、成本约 1.5 倍。五个模型均分都不到 47 分，离直接交付还有距离。博客阅读全文
RL Env: The Env Is the Easy Part买到一家公司的数据，不等于买到它的工作流。环境可以容器化、做快照、并发重放，但模型要学的真实工作流、什么算做对，以及训练之后有没有在真实工作里变好，才是更难的部分。博客阅读全文
从写代码到画 CAD：四款 Work Agent 的能力差距当 Agent 从写代码走向操作电脑，国内办公 Agent 与 Codex 的差距落在哪里？我们用 23 道 CAD 任务比较了 Codex、豆包工作、千问办公和 WorkBuddy。Codex 以 94.8 分领先，差距主要来自零件配合、机构运动和拆装是否真的成立。博客阅读全文
为什么大模型持续需要人类标注？AI 越强，被它解决的领域越多，人类社会的问题也更复杂。蒸馏 SOTA 解决不了本土语境，关键知识不在互联网上，出色的工作也无法被沙盘模拟——模型进化依然需要人类专家提出关键问题并判断其是否真正被解决。博客阅读全文
什么才是真正高质量的 Human Data？高质量人类数据应具备覆盖面广、分布合理、多样性与准确一致四个维度。本文介绍迭代式标注、控制任务、多数投票等过程质量控制实践，以及向专家级任务过渡时对质量控制的新要求。博客阅读全文
管理远程专家做标注为什么这么难？标注正从流水线操作变为思考型、创意型工作，远程兼职成为兼顾数据质量与专家发展的必要选择。本文分析创意型工作的管理难度、专家筛选与监督困境，以及下一代远程专家标注平台应如何衡量认知投入。博客阅读全文
从黑盒到白盒：我们如何生产高质量专家数据？外包供应商与自建团队都不完美。本文介绍一面千识的"白盒"模式：按小时计费、透明筛选领域专家、搭建流程与质量保证体系、持续衡量关键指标，并按绩效和需求动态调整人员。博客阅读全文
怎么与我们合作一面千识提供一站式服务，帮助需求方产出高质量训练数据。本文介绍合作流程，对比按件计费与按小时计费在数据质量、交付速度和成本控制上的取舍，以及混合激励模式与标注专家的合作方式。博客阅读全文
我们如何面试、筛选和培训专家高质量的数据源于各领域的优秀专家。本文介绍一面千识的多维评估体系：全天候 AI 面试与技能测试、防作弊监考、AI 面试报告，以及专家入职后的专题教程、在线答疑与资格认证。博客阅读全文
构建可靠的 AI Judge：准确性、可审计性与成本之间的系统取舍在冻结材料和 Golden 标准上比较四类 AI Judge 设计：更高推理强度并不稳定更准，rubric 分批是主要准确率杠杆，证据约束提升可审计性，最终分数应由固定公式聚合。研究阅读全文
高经济价值白领类数据生产方法论（GDPval)GDPval 面向真实经济活动的 agent 评测与训练：每条任务对应一项有业务价值的知识工作，模型需阅读业务附件、完成多步 tool-use，并产出可直接交付的办公文件。本文介绍背景、数据生产方法论、资产分布与专家网络。博客阅读全文
一周交付上万条专家数据的标注系统是怎么设计的？交付周期紧、需求变化快、质量反馈慢。我们将 AI 融入产线设计、数据生产和质检全过程，用标准化工具承接重复操作，形成人机协同的规模化标注系统。博客阅读全文
现在的 Rubrics 配评价模型吗？自然语言 Rubric 正在获得超过其质量的权力。自动生成的标准会奖励好好先生式的完整答案，而真正的专业判断需要锚点、分级和可解释的权重。博客阅读全文
超越Benchmark：面向中国场景的Coding 专家交互式评估（下）下篇介绍贯穿全流程的多关质检、126 题四维模型的多维评测画像，以及 Expert Evals as a Service 的标准配置与可选套件。博客阅读全文
超越Benchmark：面向中国场景的Coding 专家交互式评估（上）公开 benchmark 分数趋同，却难反映真实工程能力。上篇介绍 benchmark 的三重局限、专家在环的交互式评估方法，以及公平、专家、标准三大支柱。博客阅读全文
「智能知识」完成天使轮融资，锦秋基金、耀途资本联合投资，加速建设中国大模型高质量数据基础设施智能知识（Human Intelligence）宣布完成天使轮融资，由锦秋基金、耀途资本联合投资。本轮资金将用于前沿数据品类扩张与专家网络升级，帮助中国模型持续进步，参与SOTA竞争。博客阅读全文
数据合成有没有未来？我们发现事实结论人工标注不仅依然必要，而且要求更高了。我们对SETA和Terminal-Bench Pro两个数据集做抽样审查，发现近九成题目存在严重质量问题。纯靠AI合成不行，找不对人来把关也不行。博客阅读全文
SETA-Terminal bench合成数据质量分析本文基于对 SETA 数据集中12个Terminal Bench任务审查，梳理出高频质量问题：指令与测试不对齐、环境构造失真、验证粒度不足、题目信息泄露过度等。对于RLVR训练范式，这类缺陷会直接污染 Reward 信号。博客阅读全文
Rubric第四讲：如何用Rubric把控数据质量质量和速度一定是矛盾的吗？本文介绍一面千识研究院的"可信规模化"实践，通过评分量表体系构建从需求定义、共同设计、验证校准到规模化生产的四阶段质量闭环。博客阅读全文
Rubric第三讲：如何科学的设计和优化rubric评分量表不仅仅是规定，更是一种可迭代的预测模型。本讲从结构化设计、质量衡量（如评分者一致率）和质量提升三个维度，深入解析了Rubric背后的科学原理。博客阅读全文
Rubric第二讲：深入了解不同类型的rubric及其使用场景设计评分量表时，需要从颗粒度与特异性两个维度做决策，并决定评估应关注模型生成答案的过程还是结果。本文解答了衡量什么、在哪里衡量以及如何衡量三个核心问题。博客阅读全文
Rubric第一讲：评分量表（Rubrics）如何帮助提升大模型可靠性结构化评分量表为生成式AI提供可操作、可复用的评估框架，帮助从直觉式评估过渡到系统化、多维度的质量衡量，显著提升可靠性与一致性。博客阅读全文
低代码：数据标注界面的终极解决方案在AI快速发展的时代，数据标注任务日益复杂多样，从LLM Arena的对抗性评估到Agent的复杂交互流程标注，传统固化的标注模板已难以满足高频定制化需求。博客阅读全文
Majority Vote介绍与一致性算法多数投票（Majority Vote）是一种广泛应用于数据标注的标签聚合方法。研究阅读全文
从原始数据到高质量标注：标注系统背后的流水线是如何运作的？随着大模型对高质量数据需求的激增，传统的"人海战术"标注方式已无法满足现代AI训练需求。本文深入剖析如何构建现代化数据标注系统的工作流程。博客阅读全文
RLVR: 可验证奖励的强化学习可验证奖励的强化学习（RLVR）是向大型语言模型注入学习信号的主要训练策略之一。研究阅读全文
有了优秀专家，为什么还无法产出好数据？大模型竞赛进入下半场，模型公司之间在算法和算力的投入的边际效益快速收窄，真正能拉开模型能力差距的是未曾载于书籍与互联网，但存在于各行各业专家经验之中的"专家数据"。博客阅读全文
HITL：用户反馈与专家知识的分工与价值在智能体（Agent）应用中，HITL（Human-in-the-Loop）打开了人类智慧介入 Agent 运转系统的大门。研究阅读全文
我们为什么做Xpert Studio我们正处在一个由AI驱动的巨大变革时代，AI的价值正从"在实验室解决难题、刷新排行榜" 转向"在实际经济活动中发挥真正价值"。博客阅读全文