跳到主要内容

自动化

coScene 的工作流是一个基于任务的工作流系统,作为平台三大核心引擎的一部分,灵活而强大的工作流系统让您存储在平台上的数据有了更多的可能。本文介绍了 工作流的基本特点,关于工作流的具体用法和组成部分, 请参看操作指南中的工作流部分

和数据引擎无缝结合

AI 时代大量的数据,带来无限可能的的同时,也给我们带来了更多数据本身和数据应用的挑战。在实际的生产过程中,AI 工程师们需要对数据进行清洗、预处理、训练、测试、部署等一系列的工作,这些工作需要大量的人力和时间,而且往往是重复的。 根据 IBM 的研究,AI 工程师每天花费 80% 的时间在数据的清洗和预处理上,而不是在 AI 模型的训练上。这个现象在没有完善的数据基础设施的公司中更加明显。

coScene 的工作流系统依托于刻行的数据引擎,用户不再需要从头开始构建数据处理的流程,只需要在平台上构建好数据处理的流程,然后在工作流中调用即可。这样,用户可以将更多的精力放在 AI 模型的训练上,而不是在数据的清洗和预处理上。

用户可以在 coScene 的数据引擎上自由的搜索,过滤,整理,沉淀数据,然后将这些数据的搜索标准作为工作流的输入,这样,工作流就可以根据用户的搜索标准,自动的从平台的数据引擎中获取数据,然后进行后续的处理。

灵活的模板

coScene 的工作流系统提供丰富的模板和灵活的自定义 DSL,即使是没有云原生相关经验的工程师,也可以很容易的在平台的工作流的模板上进行修改和定制,快速的构建出自己的工作流。

DSL 采用 Yaml 的定义方式,兼容自定义的 Docker Image 输入和直接编写脚本的方式,可以很方便的将自己的工作流转换为刻行的工作流。

轻松实现大规模调度

coScene 全面拥抱云原生,充分利用在云端灵活调度,按需扩容的特点,为用户提供高效、精准,不浪费的大规模调度能力。如果您选用了刻行时空的 SaaS 产品,平台会根据您所在付费等级, 自动调用匹配的计算资源。如果您选用了刻行的私有化部署产品产品,您可以选择任意多的计算节点加入刻行网络,并在需要时将计算任务调度到这些节点上。

丰富的 API 接口

coScene 提供丰富的 API 接口来帮助您构建自动化的工作流程,您可以通过 API 来创建工作流,启动工作流,获取工作流的执行状态,获取工作流的执行日志,获取工作流的执行结果等。 通过使用 API,您可以将刻行的工作流作为您已有 CI/CD 等内部流程的一个环节。想在代码合并前跑一次大规模的回归测试?想使用定时任务将每天新上传的数据自动发给标注公司? 没问题!

关于 API 的详细信息,请参看我们的 [API 文档]

强大的可观测性

刻行时空集成了您日常使用工作流系统所需要关注的所有状态和 Metrics,您可以在刻行的网页上方便的观察到您的工作流的执行状态、执行结果、日志、数据来源、执行时间、计算资源 等一系列用户关心的指标和数据。这些信息同样会在刻行的 API 中返回,您可以通过 API 来获取这些信息,从而将这些信息集成到您的自动化流程中。

通知系统

长时间的工作流执行可能会出现异常,coScene 提供了通知系统来帮助您及时的发现异常并进行处理。您可以在平台的网页上方便的配置通知规则,当工作流执行出现异常时,平台会自动通过配置的渠道通知用户关于工作流的状态。

通知系统同时也适用于工作流成功运行超时资源受限等事件。关于工作流中可能出现的事件,请参阅[工作流相关 API 说明]。

References

  1. https://www.wsj.com/articles/data-challenges-are-halting-ai-projects-ibm-executive-says-11559035800