目前大数据工具林林总总，能解决的问题各方各面，但是在真正落地到企业的时候却往往因使用问题遇到障碍。为此星环针对使用体验上的需求打造大数据开发套件transwarp studio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。
上一篇文章，玩转大数据开发工具--上篇，讲解了olap cube模型创建工具rubik在5.1中的提升点，以及新成员报表工具pilot的功能和特征。本文将继续介绍studio 5.1中的三个工具：高吞吐低延迟的日志存储分析工具milano、界面化的全新数据流同步工具transporter、以及功能再升级的工作流引擎workflow。
日志存储分析 milano
milano是studio家族的第六个新成员，提供集群日志分析服务，既可以用于tdh平台日志分析，也可以直接作为客户应用的日志处理平台使用。milano采用filebeat+kafka+logtash+elasticsearch+kibana的架构，为用户提供便利的接口实现日志检索和统计分析，以及基于日志的预警功能，克服了传统方式在大规模集群中做高级统计分析的障碍，并实现可视化的监测。
milano提供优秀的吞吐量性能，以及低延迟的响应；保证水平可扩展，且不丢数据；同时提供可靠的安全保护，谨防系统日志的泄漏。因此，其技术优势可以总结为以下三点：全链路高吞吐、全链路安全管控、全链路高可用。
全链路高吞吐
milano的构成组件之中的kafka和elasticsearch本身具备高吞吐可扩展特性，可以根据压力灵活扩展。milano单节点的每秒日志收集量可达15000条，3节点的milano监控集群日志量每日收集可以达到10亿条。同时，milano保障低延迟的入库，从日志产生到入库仅需10秒内的时间间隔。
全链路安全管控
milano在日志收集、传输、分析等各个环节上实现安全管控。kafka和elasticsearch的数据通信都经过kerberos加密，保障数据在传输过程的安全性。每个租户的数据只允许进入授权的kafka topic或elasticsearch index，使各个租户日志之间相互隔离，确保数据隐私。此外，对于可视化的监控界面kibana，每个用户都拥有自己的kibana实例，通过ldap实现安全认证。
全链路高可用
milano的高可用性通过以下两方面保证。首先，kafka、elasticsearch自身提供高可用保证，其他无状态的组件通过kubernetes多实例部署的方式保证高可用。其次，kafka、elasticsearch、filebeat等服务自身都提供状态监控，配合告警服务，可保证数据高可用，以及数据不丢不重。
数据流同步 transporter
transporter是一款数据流控制工具，用于控制数据在数据源之间的流转和同步。transporter随tdh 5.0推出，但当时采用文件定义和命令的方式实现数据流转的设计和实现，对于没有技术基础的用户比较难上手。因此我们投入transporter界面化的工作，使之在5.1中正式上线。
transporter 5.1以图形化操作取代配置文件编写，极大提升数仓构建效率。transporter基于web提供数据流设计和控制，允许用户自助设计数据流转的业务规则，提供数据实时同步、etl、卸数功能。
近实时同步
transporter可对接oracle goldengate、datastage等etl工具，并近实时的将数据同步进inceptor；支持读取mysql和txsql日志，并近实时同步到数据仓库，同时支持分shard模式的日志同步；提供分钟级的数据同步方案。
图形化etl
transporter允许用户在设计面板上通过拖拽图形化控件和配置参数，将数据源和各种数据转换操作定义在数据流转流程中。同时支持丰富的数据源，除了可以对接inceptor外，还支持外部数据源jdbc、csv文本和定宽文件。
卸数功能
transporter提供从inceptor卸数的服务，将数据以csv文件格式导出并存放在hdfs上。
工作流设计 workflow
workflow作为工作流引擎，使工作流的触发与执行被自动化，大幅简化工作流调度设计与管理工作，图形化的设计方式让作业任务之间的逻辑关系更清晰，业务人员可以快速上手。workflow在studio 5.1中得到进一步升级，设计界面更丰富，主要的提升点有：增加工作组概念、界面化调度周期设置、丰富监控页面内容。
新增工作组
workflow 5.1增加了工作组的概念，支持将任务以组为单位进行组合设计，实现调度和监控。工作组提高了工作流设计的逻辑性，使工作流管理更方便。
调度周期
workflow 5.1开始实现交互式的表达式设计页面，用于配置调度周期，并提供多周期的调度支持。
升级的监控页面
workflow 5.1在监控页面上新增一级子页面，提供更多的工作流监控历史信息。同时，在工作流监控页的详情页面中，用户可以查看某段指定时间区间的工作流任务执行详情。
结语
大数据开发套件的价值在于，它可以切合大数据开发需求，消除大数据开发工具在用户体验上的痛点，让大数据产品就像日常工具一样，不论我们是否懂它内部的技术原理，拿到它或者经过简单的学习就可以上手使用。今后我们会继续投入提升transwarp studio的各项能力，构建完善的大数据生态体系，使用户能够自主打造自己的大数据应用。
点击或回复关键词，查看相关内容
公司
简介 | 星环科技成长大事记
投资 | 星环科技获腾讯领投2.35亿c轮融资，与腾讯云达成战略合作
产品
产品 | 星环的划时代版本-transwarp data hub 5.0
tdh社区版 | tdh社区版提供官方下载
评测 | 大数据产品最新测试基准看哪家(tpc-h or tpc-ds)？
流式计算 | 用slipstream构建复杂事件处理应用
holodesk | 业界最强的sql引擎inceptor为何这么快？
培训 | 学完这些课程，你也是大数据专家了！
认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中
技术
技术 | 原创技术干货大合集！
技术支持 | 最完整的星环技术支持体系
评测 | 大数据产品最新测试基准看哪家(tpc-h or tpc-ds)？
ted视频 | tedxlujiazui精彩视频：【大数据 大趋势】
白话大数据 | 白话大数据合集
案例
银行 | 河南农信：数据辅助决策，决策引领创新
证券 | 中泰证券：剑指大数据处理 多券商革新it架构
智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)
运营商 | 运营商的新方向-运用hadoop技术将大数据资产变现
交通 | 大数据在智慧高速中的创新应用
物流 | 星环hadoop发行版助快递业迎战“双十一”
邮政 | 中国邮政大数据平台建设
税务 | 大数据提升税务系统核心能力
审计 |让数据成为竞争力
视频监控 | hadoop大数据在实时视频监控的应用场景
广电 | hadoop企业级应用新添重磅案例
电力 | 华南某市供电局全景可视化大数据平台案例
能源 | 厉害了，我的营销大数据！
智能工厂 | 大数据技术助力中国石化智能工厂
农业 | 农业大数据的研究与实践
医药 | 医药产业链大数据前沿探讨
速记
【速记】河南农信 牛玲玲：数据辅助决策，决策引领创新
【速记】数起科技 李明国：让数据成为竞争力
【速记】天士力 刘晓煜：医药产业链大数据前沿探讨
【速记】国家农业信息化工程技术研究中心 陈天恩：农业大数据的研究与实践
【速记】同济大学教授 王伟：同济-星环“数据科学与大数据实践平台”建设
【速记】第一创业证券 瞿任雄：基于星环tdh大数据平台构建新一代券商数据中心
【速记】南方基金 屈磊：基于tdh数据中心大数据平台建设
【速记】中泰证券 何波：基于机器学习的场外配资自动识别系统