背景:工程实际当中涉及到复杂的算法逻辑,一般需要IT人员通过编写代码来实现(例如Python脚本代码)。业务人员有可能需要复用这些代码,实现同样的计算功能,但由于他们对编程并不熟悉,无法直接加以应用。这就产生一个需求,需要将Python脚本代码里面的计算逻辑,转化为他们熟悉的工具和技能体系。这里介绍了一种借助KNIME的实现方式,使用工作流将python脚本代码转化为Excel计算公式,自动生成同一功能的Excel工具,然后交给业务人员使用。在基本功能的基础上,业务人员可以进行局部调整和功能拓展,发挥他们的经验,有效地形成组织层面的革新,提高人与人,人与机器的协同能力。
方案:简要阐述一下思路,首先,使用KNIME的数据源加载节点(对接Excel文件,txt文本文件,xml,json,py格式文件,数据库等等的节点)读取脚本代码,其中包含了具体业务的算法逻辑。其次,对这样的代码,比如python代码,进行文本处理,获取参数名字,公式体系等等信息;其中,公式体系需要通过文本替换,将其中具体的参数名,改变为Excel坐标位置,从而将python代码转换为Excel公式形式。再次,构思Excel工具模板的样式,确定前面更新后的文本信息的具体坐标位置,新建Excel文件及工作簿,通过xlwt python库将对应的文本信息、公式信息等写入到Excel模板当中。最后,将这样的模板工具,交付业务人员使用,便于拓展功能,进行各类分析、统计、绘图。
本例(视频介绍请移步B站,搜索Up:“星汉长空”,视频:KNIME案例(275)生成Excel工具):
步骤1. 使用KNIME的数据源加载节点(对接Excel文件,txt文本文件,xml,json,py格式文件,数据库等等的节点)读取脚本代码,其中包含了具体业务的算法逻辑。这里是使用了Table Creator节点,模拟输入了一些算法逻辑,是计算球体的公式体系。已知球体的半径和密度,计算球体的直径、周长、体积、重量等等参数。
步骤2. 在KNIME中拖入Cell Splitter节点,对步骤1中读取的python代码进行处理,以“=”分割(公式中一般是以“=”定义赋值表达式),将公式分为“参数名”和“公式内容”两部分。使用Column Expressions节点,对参数名、公式系统的文本加以处理,并生成其对应的Excel坐标参数,比如“A1”,“B1”,将来这些坐标参数信息将指导我们在Excel模板工具内填写相应的内容。
步骤3. 使用Java Snippet和String Manipulation(字符串处理)节点,对python代码加以处理,将其中字典型参数信息替换为坐标位置信息。将Python中的数学函数符号、运算符号等等文本,替换为Excel公式中使用的相应的VBA格式文本。
步骤4(额外分支方案). 在KNIME当中,有一个AF Utilities插件,其中有一个Evaluate Excel Formula节点。将步骤3获取的Excel形式的公式以及原始表格数据合并起来,一起输入到该节点当中,就可以直接在KNIME里计算出相应的结果。
步骤5. 将公式内容,参数名所对应的坐标位置信息(如“A1”,“B1”),通过连接Expand Well Position节点,转变为相应的行列编号对(如(1,1),(2,1)),这在下一个步骤,我们使用xlwt python库往Excel模板工具里写信息,将起到极大的辅助作用。
步骤6. 使用工作簿的write函数,通过行列编号对,往Excel模板工具中写入文本信息;同时借助xlwt.Formula,可以写入公式。这样就自动化地依据python代码生成了相应的Excel工具。最后,将Excel工具交付给业务人员使用,他们可以在Excel环境下进一步发挥。
解释1. 何为KNIME?KNIME数据分析平台是一款强大开源的数据挖掘软件平台,可以固化数据处理的流程,在人与人,人与机器之间进行传递。
解释2. 当一切流程固化以后,IT人员貌似就没有什么工作可做了,是不是这样呢?实则不然,实际的需求是千变万化、异常复杂的,业务逻辑的计算逻辑主要由业务人员完成,但也需要IT人员的协助,有些复杂的计算,库的调用,还是需要IT人员参与的,他们之间的协作关系会变得更加紧密。同时,工作流也不是一成不变的,当需求发生变更的时候,工作流的搭建,工作流功能的拓展,都需要IT人员帮助,他们可以把时间和精力发挥到更能有效产生价值的领域当中去。人员之间,人与机器之间的联系更加紧密,解决需求的效率将大大提升。
K
NIM
E
Python
集成(主要版本2)-已弃用
K
NIM
E Jython集成
K
NIM
E
Python
集成(主要版本2和3)是当前的默认
Python
集成,提供了节点连接到节点浏览器“脚本”类别中的
python
2和
python
3的节点。 数据传输基于
使用
Eclipse扩展点机制的可插入组件。 当前,可以
使用
三种不同的(反)序列化模块(下面进一步说明),它们提供了更高的内存效率和处理时间效率的数据传输。 旧的K
NIM
E
Python
集成(主要版本2)已过时,将不再积极
开发
。 “ K
NIM
E Jython集成”包括三个Snippet节点,这些节点提供了在K
NIM
E中
使用
Jython的功能。
K
NIM
E
Python
集成(主要版本2和3)
包含的项目
org.k
nim
e.features.
python
2 :包含
Python
数据分析环境
数据分析领域有很多可选方案,例如SPSS傻瓜式分析
工具
,SAS专业性商业分析
工具
,R和
python
这类需要
代码
编程类的
工具
。个人选择是
python
这类,包括pandas,numpy,matplotlib,sklearn,keras。基于jupyter或者zeppelin作为编程界面,可以用
python
开发
出比较清爽的数据分析报告。
总体来说,jupyter notebo...
样本总数:3447个特征变量(所在岛屿,嘴巴长度,嘴巴深度,脚蹼长度,身体体积,性别以及年龄)一个目标分类变量(三种企鹅类别:Adélie, Chinstrap, Gentoo)部分样本含有缺失值 NA。
本文介绍安装与 K
NIM
E 分析平台一起
使用
的 K
NIM
E
Python
集成。如下图
K
NIM
E
Python
集成
使用
了与K
NIM
E分析平台一起安装的现有
Python
。由于K
NIM
E
Python
集成依赖于某些
Python
包,因此
Python
安装需要安装这些包。
一、安装K
NIM
E
Python
Integration
二、安装Anaconda。它用于管理
Python
环境
三、
配置
K
NIM
E
Python
集成
一、安装K
NIM
E
Python
Integration.
K
NIM
E Analytics Platform是开源的。下载链接:https://www.k
nim
e.com/downloads
详细安装步骤 链接:https://blog.csdn.net/dilifish/article/details/103514503
工作台介绍
k
nim
e 大数据 K
nim
e(K是无声的,因此发音为nīm )是一个高度评价的数据分析平台,具有广泛的适用性,并且与其他产品(例如与数据库,
语言
,机器学习框架和深度学习框架)进行了许多集成。 K
nim
e的理念是包容性,并“融合”您要
使用
的任何软件和数据源。
该平台的探索,模型构建,可视化,报告和
开发
部分以及社区扩展都是开源的。 提供协作,自动化,管理和部署功能的K
nim
e Server和合...
接下来,我们可以
使用
Python
中的xlwt库来创建一个新的
Excel
文件并写入数据。为了将数据写入
Excel
文件,我们需要先创建一个工作簿对象(Workbook),然后向其中添加一个工作表对象(Worksheet)。在上面的
代码
中,我们
使用
xlwt库创建了一个新的
Excel
文件,并在其中添加了一个名为“Sheet1”的工作表。下面我们将用
Python
代码
来实现将文本文件中的内容转换成
Excel
文件的功能。首先,我们需要
使用
Python
中的open()函数打开一个文本文件,并读取其中的内容。
大家好,我是小z,也可以叫我阿粥~面向
Excel
数据处理自动化的脚本编程,目前主要有VBA和
Python
两种
语言
可供选择。从上世纪90年代到目前,VBA一直是
Excel
脚本编程的主要
工具
。VBA
语言
具有简单易学、功能强大的特点,在长达几十年的时间里为提高
Excel
工作效率作出了贡献,也积累了海量的
代码
和学习资料。在这段时间里,Basic
语言
也一直是国内中学到大学教学首选的计算机
语言
。随着网络时代的...