行业报告 AI展会 数据标注 数据集
投稿发布
您的当前位置:主页 > 数据标注 > 正文

为什么说数据是人工智能的基础?

来源:未知 时间:2021-02-28

什么是数据标注?

大多数数据都没有标注是非结构化数据,而人工智能训练需要的是计算机可以读懂的结构化数据。带标签的数据,意味着标注或注释目标模型的数据,以便可以进行训练、预测。通常,数据标注包括数据标注、注释、审核、分类、转录和处理。标注的数据是为了突出显示某些特征,并根据这些特征对其进行分类,通过模型分析其模式以预测新的目标。

数据在人工智能项目中占用多少时间?

训练机器学习和深度学习模型,需要丰富的数据,以便将其用于部署,训练和调整模型。训练机器学习和深度学习模型需要大量经过仔细标注的数据。标注原始数据并准备将其应用于机器学习模型和其他AI工作流,被称为数据标注。根据相关统计,数据整理在AI项目中消耗了80%以上的时间。通常在一个人工智能项目中,数据的需求也分3次左右,第一次是在项目开始的验证阶段,需求数量量比较小,需要确定可行性及规则;第二次是项目正式启动,需要大量的数据对模型进行训练;第三次是在训练并验证完成后,对一些不满意的地方进行训练集的补充,以达到预期的目标。下图是在人工智能机器学习项目中各个任务的时间占比。

为什么说数据是人工智能的基础

数据标注在人工智能中的成本占比多少?

与数据相关的机器学习成本主要表现在数据集方面,包括数据集的采集、清洗、数据的标注等。Dimensional Research 代表 Alegion 所做的一项最新研究表明,所有组织中的 96%都遇到了与训练数据质量和数量相关的问题。同一项研究表明,大多数项目需要超过 100,000 个数据样本才能表现良好。

为什么说数据是人工智能的基础

Dimensional Research 研究的图表说明了公司在数据方面面临的最常见的一些问题。

如果还没有数据,可以假设能够在大约一个小时内收集 5–10 个样本并对它们进行标注。利用 亚马逊的 Mechanical Turk 之类的服务来验证整个项目过程,生成 100,000 个合格样本数据集的话,花费大约为 70,000 美元。

如果已经收集了大量数据,则可以使用专业的数据标注服务公司来对其进行标注。在这种情况下,获得 100,000 个带有标签的数据样本,则可能需要花费 8,000 到 80,000 美元的费用,具体的需要取决于标注的复杂程度。

此外,检查和校正数据样本与生成和标注数据样本一样耗时。Dimensional Research 研究报告中提到,66%的公司在其数据集中遇到偏差和错误问题。有些公司选择采用完整的内部方法(自己做所有标注),也有一些公司会选择外包和内部混合使用。第二种常见的情况是将大部分工作外包,然后由公司个别人员负责验证和清理。外包 10 万个数据样本的初始成本可能会增加大约 2500 至 5,000 美元。

除了数据成本外,还有算法人工成本、算力设备成本、项目落地成本。除去附加项成本和一系列功耗所带来的成本,机器学习项目可能会使公司花费 51,750 美元至 136,750 美元(不包括难以确定的其他成本)。价格差异主要是由数据的决定的。这是一个非常乐观的估计。如果企业位于美国,并且使用的是优质的数据(自由职业者不会这样做),则与人才相关的费用将激增,使人工智能机器学习项目的费用超过 108,500 美元。

这样高昂的价格使想要解决新问题或让其流程自动化。决策的个人、小型团队和初创企业无法使承担。

数据处理中最难的是什么?

最艰难的步骤是第一步:获取数据。没有数据,几乎不可能在研究阶段验证机器学习解决方案,从而导致项目进度几乎无法进行。

随着工业、医疗、安防、教育、金融等领域意识到未来人工智能对于行业改变的重要性,都纷纷入局开发自己的人工智能应用,但是随着这些领域越来越重视数据保密性及数据的安全性,这些因素都可能会导致人工智能研究的私有化。人工智能逐渐趋于私有化确是事实,在这个大环境之下,数据标注服务、训练模型平台、算力设备等都已经研究出各自的私有化部署的解决方案。

人工智能交流群扫码邀请
人工智能交流群扫码邀请


转发量:

网友评论:

发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
数据标注服务

Copyright©2005-2020 Sykv.com 可思数据 版权所有    京ICP备14056871号-1

关于我们   免责声明   广告合作   版权声明   联系我们   原创投稿   网站地图  

可思数据 数据标注行业联盟

人工智能资讯   人工智能资讯   人工智能资讯   人工智能资讯

人工智能资讯
扫码入群
扫码关注

微信公众号

返回顶部