跳到主要内容

自动化

刻行的工作流是一个基于任务的工作流系统,作为刻行三大核心引擎的一部分,灵活而强大的工作流系统让您存储在刻行平台上的数据有了更多的可能。本文介绍了 工作流的基本特点,关于工作流的具体用法和组成部分, 请参看操作指南中的工作流部分

和数据引擎无缝结合

AI 时代大量的数据,带来无限可能的的同时,也给我们带来了更多数据本身和数据应用的挑战。在实际的生产过程中,AI 工程师们需要对数据进行清洗、预处理、训练、测试、部署等一系列的工作,这些工作需要大量的人力和时间,而且往往是重复的。 根据 IBM 的研究,AI 工程师每天花费 80% 的时间在数据的清洗和预处理上,而不是在 AI 模型的训练上。这个现象在没有完善的数据基础设施的公司中更加明显。

刻行的工作流系统依托于刻行的数据引擎,用户不再需要从头开始构建数据处理的流程,只需要在刻行平台上构建好数据处理的流程,然后在工作流中调用即可。这样,用户可以将更多的精力放在 AI 模型的训练上,而不是在数据的清洗和预处理上。

用户可以在刻行的数据引擎上自由的搜索,过滤,整理,沉淀数据,然后将这些数据的搜索标准作为工作流的输入,这样,工作流就可以根据用户的搜索标准,自动的从刻行的数据引擎中获取数据,然后进行后续的处理。

灵活的模板

刻行的工作流系统提供丰富的模板和灵活的自定义 DSL,即使是没有云原生相关经验的工程师,也可以很容易的在刻行工作流的模板上进行修改和定制,快速的构建出自己的工作流。

DSL 采用 Yaml 的定义方式,兼容自定义的 Docker Image 输入和直接编写脚本的方式,可以很方便的将自己的工作流转换为刻行的工作流。

轻松实现大规模调度

刻行全面拥抱云原生,充分利用在云端灵活调度,按需扩容的特点,为用户提供高效、精准,不浪费的大规模调度能力。如果您选用了刻行的 SaaS 产品,刻行会根据您所在付费等级, 自动调用匹配的计算资源。如果您选用了刻行的私有化部署产品产品,您可以选择任意多的计算节点加入刻行网络,并在需要时将计算任务调度到这些节点上。

丰富的 API 接口

刻行提供丰富的 API 接口来帮助您构建自动化的工作流程,您可以通过 API 来创建工作流,启动工作流,获取工作流的执行状态,获取工作流的执行日志,获取工作流的执行结果等。 通过使用 API,您可以将刻行的工作流作为您已有 CI/CD 等内部流程的一个环节。想在代码合并前跑一次大规模的回归测试?想使用定时任务将每天新上传的数据自动发给标注公司? 没问题!

关于 API 的详细信息,请参看我们的 [API 文档]

强大的可观测性

刻行的平台集成了您日常使用工作流系统所需要关注的所有状态和 Metrics,您可以在刻行的网页上方便的观察到您的工作流的执行状态、执行结果、日志、数据来源、执行时间、计算资源 等一系列用户关心的指标和数据。这些信息同样会在刻行的 API 中返回,您可以通过 API 来获取这些信息,从而将这些信息集成到您的自动化流程中。

通知系统

长时间的工作流执行可能会出现异常,刻行提供了通知系统来帮助您及时的发现异常并进行处理。您可以在刻行的网页上方便的配置通知规则,当工作流执行出现异常时,刻行会自动通过配置的渠道通知用户关于工作流的状态。

通知系统同时也适用于工作流成功运行超时资源受限等事件。关于工作流中可能出现的事件,请参阅[工作流相关 API 说明]。

References

  1. https://www.wsj.com/articles/data-challenges-are-halting-ai-projects-ibm-executive-says-11559035800