. : : ClassiClub ForuM : : .

会员中心 论坛帮助 日历事件 标记论坛已读
返回   精品技术论坛 » 技术论坛 » 『软件使用』

『软件使用』: 电脑软件推荐, 电脑软件使用, 经验分享



发表新主题 回复
 
主题工具
nh_wzg
 
nh_wzg 的头像
核心会员
 
资 料:
注册日期: Jul 2000
帖子: 3,189 声望值: 3
精华: 5,解答: 9
#1 旧 2018-09-22, 20:02:37 默认 【分享】数据整理环节的一个备选方向与Windows环境下最简工具集介绍
nh_wzg 当前离线  

【场景】:

1、数据初始化前,用户发来的数据文件是xls / xlsx文件格式。

2、用户的数据整理环节,实际是对数据文件作【归类-整理】的处理过程。

3、数据整理环节,又可以分为有【基准】比较数据的整理,与无【基准】比较数据的整理。

3.1、无【基准】比较数据的整理,可以先人为选出一个初步的【基准】,作第一次的整理,得到的结果,再对初步的【基准】作修整后,再次做第二次的整理。然后这个〖初步的【基准】〗在经过了n次的数据整理循环,成为了当前的接受的【基准】。

3.2、有【基准】的数据整理,变化为,对数据文件的抽取与比较循环。

4、工具集:

4.1、Excel / Wps的电子表格对xls / xlsx文件作初步的分类与输出CSV格式文本的工具、整理后的CSV导入为xls / xlsx文件的工具。要使用vlookup函数的前提是用户数据已经比较规范,有相应的ID列供引用【基准】数据。否则,只能起到【xls / xlsx表格与CSV格式文本】转换工具的作用。Excel基于关键字进行记录匹配的功能,我还了解太少,没有更多的意见。

4.1.1、Excel相关工具集:Beyond_Compare_4的表格内容比较功能、Total_Commander的Excellence插件功能

参考:

1、《Beyond Compare 4.1.6 - 比较Excel文件内的工作表内容 》
https://bbs.et8.net/bbs/showthread.php?t=1344998

2、《Total Commander V9.20 安装插件Excellence 1.20》
https://bbs.et8.net/bbs/showthread.php?t=1355105

说明:

Excel / Wps的电子表格可以最方便的完成上述【3.1】中生成人为的初步【基准】工作,比如参考原来的记录行内容,生成一个可供参照的【关键词1】列。

4.2、Sqlite 3.7.15后的版本 + Sqlite Expert Professional 5工具 + 【Total Commander + wfr.exe】转码操作 + SQL_instr()语句的使用。


4.2.1、在上述【4.1】-【关键词1】列生成后,可以把【关键词1】、用户的数据文件xls / xlsx输出为CSV
文件,经wfr.exe转码为UTF8后,用Sqlite_Expert_Professional_5导入为一个sqlite格式的数据库文件内的几个表。
根据需要,对多个【用户数据1】表,以SQL_instr()中,用【关键词1】为搜索匹配基准,得到抽取后的数据列表,输出为xls / xlsx格式文件,再作第二循环的人工筛选合理记录,与修订【关键词1】内容的工作。

4.2.2、使用Sqlite是在没有网络的条件下面,个人可以搭建起供使用的SQL数据库最简架构软件。而且在Sqlite 3.7.15后,实现对SQL_instr()函数的支持,大大加速了【4.2.1】步骤下面的匹配环节的速度与提高了匹配的实现方便程度。

参考:

1、《Total Commander + 用户定义转码 》工具栏按钮的实现方式》
https://bbs.et8.net/bbs/showthread.php?t=1363137
https://bbs.et8.net/bbs/showthread.php?t=775619

2、《Sql / Sqlite场景下_简单字串匹配位置函数(instr())使用 + CSV保存及转码为UTF8的注意事项》
https://bbs.et8.net/bbs/showthread.p...3#post17225783

《Sqlite_update数据来自两表的交叉结果》
https://bbs.et8.net/bbs/showthread.p...1#post11049471

《CSV格式文本进行抽取操作的流程》
https://bbs.et8.net/bbs/showthread.p...2#post17000792

《VIM正则匹配调试行传递到命令状态的快捷键》
https://bbs.et8.net/bbs/showthread.php?t=958073

3、《sqlite3命令行窗口工具组合console2-gvim-限制-解决方法-及GUI类工具使用特点 》
https://bbs.et8.net/bbs/showthread.php?t=1034622

4、《AutoHotKey+VIM2.AHK》
https://bbs.et8.net/bbs/showpost.php...4&postcount=25

5、《AutoHotKey+时间戳》
https://bbs.et8.net/bbs/showpost.php...8&postcount=31

此帖于 2018-10-01 16:15:38 被 nh_wzg 编辑. .


平和精确简约应成为精品成员的三大基本要求!!!
nh_wzg
回复时引用此帖
jeffmy
 
jeffmy 的头像
超级会员
 
资 料:
注册日期: Mar 2002
帖子: 1,552 声望值: 3
精华: 0,解答: 4
#2 旧 2018-09-25, 15:19:00 默认
jeffmy 当前离线  

受益匪浅,有些还得视当时情况所定,所以可以做个集成贴,各种问题都汇总出来
回复时引用此帖
发表新主题 回复

标签
sqlite, total commander, utf8, 关键词匹配, 知识管理

主题工具

论坛规则  发帖规则
不可以发表主题
不可以回复帖子
不可以上传附件
不可以编辑自己的帖子
论坛启用 vB 代码
版面启用 表情符号
版面启用 [IMG] 代码
版面禁用 HTML 代码


所有时间均为北京时间, 现在的时间是 23:12:45.

本论坛带宽由迅通网络提供
SSL证书由TrustAsia提供

Copyright © 2000 - 2019 ClassiClub Forum All Rights Reserved.
粤ICP备09123456号