添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

背景:工程实际当中涉及到复杂的算法逻辑,一般需要IT人员通过编写代码来实现(例如Python脚本代码)。业务人员有可能需要复用这些代码,实现同样的计算功能,但由于他们对编程并不熟悉,无法直接加以应用。这就产生一个需求,需要将Python脚本代码里面的计算逻辑,转化为他们熟悉的工具和技能体系。这里介绍了一种借助KNIME的实现方式,使用工作流将python脚本代码转化为Excel计算公式,自动生成同一功能的Excel工具,然后交给业务人员使用。在基本功能的基础上,业务人员可以进行局部调整和功能拓展,发挥他们的经验,有效地形成组织层面的革新,提高人与人,人与机器的协同能力。

方案:简要阐述一下思路,首先,使用KNIME的数据源加载节点(对接Excel文件,txt文本文件,xml,json,py格式文件,数据库等等的节点)读取脚本代码,其中包含了具体业务的算法逻辑。其次,对这样的代码,比如python代码,进行文本处理,获取参数名字,公式体系等等信息;其中,公式体系需要通过文本替换,将其中具体的参数名,改变为Excel坐标位置,从而将python代码转换为Excel公式形式。再次,构思Excel工具模板的样式,确定前面更新后的文本信息的具体坐标位置,新建Excel文件及工作簿,通过xlwt python库将对应的文本信息、公式信息等写入到Excel模板当中。最后,将这样的模板工具,交付业务人员使用,便于拓展功能,进行各类分析、统计、绘图。

本例(视频介绍请移步B站,搜索Up:“星汉长空”,视频:KNIME案例(275)生成Excel工具):

步骤1. 使用KNIME的数据源加载节点(对接Excel文件,txt文本文件,xml,json,py格式文件,数据库等等的节点)读取脚本代码,其中包含了具体业务的算法逻辑。这里是使用了Table Creator节点,模拟输入了一些算法逻辑,是计算球体的公式体系。已知球体的半径和密度,计算球体的直径、周长、体积、重量等等参数。

步骤2. 在KNIME中拖入Cell Splitter节点,对步骤1中读取的python代码进行处理,以“=”分割(公式中一般是以“=”定义赋值表达式),将公式分为“参数名”和“公式内容”两部分。使用Column Expressions节点,对参数名、公式系统的文本加以处理,并生成其对应的Excel坐标参数,比如“A1”,“B1”,将来这些坐标参数信息将指导我们在Excel模板工具内填写相应的内容。

步骤3. 使用Java Snippet和String Manipulation(字符串处理)节点,对python代码加以处理,将其中字典型参数信息替换为坐标位置信息。将Python中的数学函数符号、运算符号等等文本,替换为Excel公式中使用的相应的VBA格式文本。

步骤4(额外分支方案). 在KNIME当中,有一个AF Utilities插件,其中有一个Evaluate Excel Formula节点。将步骤3获取的Excel形式的公式以及原始表格数据合并起来,一起输入到该节点当中,就可以直接在KNIME里计算出相应的结果。

步骤5. 将公式内容,参数名所对应的坐标位置信息(如“A1”,“B1”),通过连接Expand Well Position节点,转变为相应的行列编号对(如(1,1),(2,1)),这在下一个步骤,我们使用xlwt python库往Excel模板工具里写信息,将起到极大的辅助作用。

步骤6. 使用工作簿的write函数,通过行列编号对,往Excel模板工具中写入文本信息;同时借助xlwt.Formula,可以写入公式。这样就自动化地依据python代码生成了相应的Excel工具。最后,将Excel工具交付给业务人员使用,他们可以在Excel环境下进一步发挥。


解释1. 何为KNIME?KNIME数据分析平台是一款强大开源的数据挖掘软件平台,可以固化数据处理的流程,在人与人,人与机器之间进行传递。

解释2. 当一切流程固化以后,IT人员貌似就没有什么工作可做了,是不是这样呢?实则不然,实际的需求是千变万化、异常复杂的,业务逻辑的计算逻辑主要由业务人员完成,但也需要IT人员的协助,有些复杂的计算,库的调用,还是需要IT人员参与的,他们之间的协作关系会变得更加紧密。同时,工作流也不是一成不变的,当需求发生变更的时候,工作流的搭建,工作流功能的拓展,都需要IT人员帮助,他们可以把时间和精力发挥到更能有效产生价值的领域当中去。人员之间,人与机器之间的联系更加紧密,解决需求的效率将大大提升。

K NIM E Python 集成(主要版本2)-已弃用 K NIM E Jython集成 K NIM E Python 集成(主要版本2和3)是当前的默认 Python 集成,提供了节点连接到节点浏览器“脚本”类别中的 python 2和 python 3的节点。 数据传输基于 使用 Eclipse扩展点机制的可插入组件。 当前,可以 使用 三种不同的(反)序列化模块(下面进一步说明),它们提供了更高的内存效率和处理时间效率的数据传输。 旧的K NIM E Python 集成(主要版本2)已过时,将不再积极 开发 。 “ K NIM E Jython集成”包括三个Snippet节点,这些节点提供了在K NIM E中 使用 Jython的功能。 K NIM E Python 集成(主要版本2和3) 包含的项目 org.k nim e.features. python 2 :包含 Python 数据分析环境 数据分析领域有很多可选方案,例如SPSS傻瓜式分析 工具 ,SAS专业性商业分析 工具 ,R和 python 这类需要 代码 编程类的 工具 。个人选择是 python 这类,包括pandas,numpy,matplotlib,sklearn,keras。基于jupyter或者zeppelin作为编程界面,可以用 python 开发 出比较清爽的数据分析报告。 总体来说,jupyter notebo... 样本总数:3447个特征变量(所在岛屿,嘴巴长度,嘴巴深度,脚蹼长度,身体体积,性别以及年龄)一个目标分类变量(三种企鹅类别:Adélie, Chinstrap, Gentoo)部分样本含有缺失值 NA。 本文介绍安装与 K NIM E 分析平台一起 使用 的 K NIM E Python 集成。如下图 K NIM E Python 集成 使用 了与K NIM E分析平台一起安装的现有 Python 。由于K NIM E Python 集成依赖于某些 Python 包,因此 Python 安装需要安装这些包。 一、安装K NIM E Python Integration 二、安装Anaconda。它用于管理 Python 环境 三、 配置 K NIM E Python 集成 一、安装K NIM E Python Integration. K NIM E Analytics Platform是开源的。下载链接:https://www.k nim e.com/downloads 详细安装步骤 链接:https://blog.csdn.net/dilifish/article/details/103514503 工作台介绍 k nim e 大数据 K nim e(K是无声的,因此发音为nīm )是一个高度评价的数据分析平台,具有广泛的适用性,并且与其他产品(例如与数据库, 语言 ,机器学习框架和深度学习框架)进行了许多集成。 K nim e的理念是包容性,并“融合”您要 使用 的任何软件和数据源。 该平台的探索,模型构建,可视化,报告和 开发 部分以及社区扩展都是开源的。 提供协作,自动化,管理和部署功能的K nim e Server和合... 接下来,我们可以 使用 Python 中的xlwt库来创建一个新的 Excel 文件并写入数据。为了将数据写入 Excel 文件,我们需要先创建一个工作簿对象(Workbook),然后向其中添加一个工作表对象(Worksheet)。在上面的 代码 中,我们 使用 xlwt库创建了一个新的 Excel 文件,并在其中添加了一个名为“Sheet1”的工作表。下面我们将用 Python 代码 来实现将文本文件中的内容转换成 Excel 文件的功能。首先,我们需要 使用 Python 中的open()函数打开一个文本文件,并读取其中的内容。 大家好,我是小z,也可以叫我阿粥~面向 Excel 数据处理自动化的脚本编程,目前主要有VBA和 Python 两种 语言 可供选择。从上世纪90年代到目前,VBA一直是 Excel 脚本编程的主要 工具 。VBA 语言 具有简单易学、功能强大的特点,在长达几十年的时间里为提高 Excel 工作效率作出了贡献,也积累了海量的 代码 和学习资料。在这段时间里,Basic 语言 也一直是国内中学到大学教学首选的计算机 语言 。随着网络时代的...