数据集操作

获取列信息的几种方式

// 1直接获取元数据 //sql server 列元数据中不返回表名，所以查不到注释 LinkedHashMap<String,Column> columns = service.metadata("SELECT ID AS USER_ID, ID AS ID, CODE AS US

先准备基础环境

为精简篇幅，把前置工作以及后续重复的工作在这里说明，后面就不再啰嗦了。

查询排序

DataSet/DataRow ognl表达式

DataSet集合中通过已存在的属性值计算其他属性值

关于replaces

replaces(String old, String replace, String ... keys); 把old替换成replace 如果不提供keys则替换所有的key replaces(boolea regex, String old, String replace, St

关于日期类型显示格式问题

如 关于查询结果集中不显示秒的问题 数据库中数据类型datetime 查询结果显示2023-05-25T07:00(不同的环境显示格式可能不一样) 有时候会发现没有秒 是因为数据库存储的本来也不是String格式，而是一个时间戳，在显示时需要经过toString转换，转换成什么格式就不

为什么保存实体对象时驼峰会自动转成下划线格式

为什么保存实体对象时驼峰会自动转成下划线格式

DataRow中的put与set的区别

由于put是继承自Map所以返回值是Object类型 而set是DataRow中的方法 返回的是DataRow(this) 大数情况下 put set通用 但在需要大量链式操作的场景在需要用到set

时间导致的时差以及日期时间格式

如果数据库中存储的时间与Java中查出来的时间不一致，一般是由于时区不同造成的。 先确认服务器时间和数据库时间是否一致。 再看服务器时区、数据库时区、Java连接数据库的时区 关于LocalTime中如果秒位置是0 则toString()会忽略秒如 12:00:00会显示成12:00(分

DataRow.value多个空白压缩成一个空格

DataRow row = new DataRow(); row.compress(); //压缩全部列 row.compress("ID", "CODE");//压缩指定列

DataRow转DataSet列表

DataRow row = new DataRow(); row.put("ID", 1); row.put("CODE", "A"); DataSet set = row.toSet("k", "v"); 转换成 [{k:ID, v:1},{k:CODE, v:A}]

DataRow从另一个DataRow中复制部分值

DataRow从另一个DataRow中复制部分值，如果数量比较少一般用r1.put("K", r2.get("K")); 但是如果数量多了并且列名不一致可以用copy

从数据库中查出日期类型(Date,LocalDateTime)获取时间戳

DataRow row = service.query("table");
如果数据类型是时间类型，可以直接获取时间戳或日期类型
Long ts = row.getLong("time");
Date date = row.getDate("time");

DataSet批量操作DataRow条目

DataSet批量操作DataRow条目

DataSet抽取指定列的集合,返回List

DataSet抽取指定列的集合,返回List

DataSet/DataRow批量替换

以下方法DataSet同样支持，DataSet内部是实际是遍历调用了DataRow相应的方法

DataSet & DataRow 深度解析

核心定位 DataRow DataSet ORM 对比 为何不是 List 应用场景 总结 AnyLine MDM · 动态数据结构 DataSet & DataRow 深度解析 告别繁琐的实体类映射，转向弱类型、动态结构的数据容器——专为运行时灵活处理异构数据而设计，实现"变化即常态"的

DataSet/DataRow与实体对象之间的转换

EntitySet users = set.entitys(User.class): User = row.entity(User.class); 因为实体类中的属性数据类型限制，一些值会转换失败，可以提前格式化， 如null赋值给int属性时会失败，可以先把集合中所有的空

环境检测场景中的几个动态表单示例

这里只是后格式转换部分,插入到word参考【anyline office】，最困难的是前端怎么把这个规则告知后端（大概思路是先定义几种规则让用户来选，比如横向显示什么，竖向显示什么，每行最多几列） 先看源数据 主键

关于DataSet.total()与size()

total()表示总行数，如果没有经过分页，total()与size()结果一致。如果经过分页则返回PageNavi.totalRow()也就是数据库中符合条件的总行数可能要比size()结果大 size()表示当前DataSet中的实际行数。

Entity 下划线与大小驼峰转换

如果属性上有注解则按注解设置的列名转换， 如果属性上没有注解 会根据 ConfigTable.ENTITY_FIELD_COLUMN_MAP进程转换; 默认"camel_"属性小驼峰转下划线 joinYmd > join_ymd

关系型数据库与图数据库的概念关系

为了统一各种数据库操作，先统一概念(以关系型概念为基础)

配置连接池

配置连接池默认就是注册数据源时配置文件中的连接参数，如 anyline.datasource.pg.driver-class-name=org.postgresql.Driver anyline.datasource.pg.url=jdbc:postgresql://localhost:3543

关于虚拟数据源

在没有开发过程中通过是根据数据源key返回相应的service再执行数据库操作， 但有些场景需要生在指定数据库的SQL并不需要执行，这时并不需要注册实际的数据源，也就是不需要安装数据库 可以根据数据库类型返回一个service,这个service执行后可以返回相就的SQL并不会去连接数据库 An

关于override

override是实现检测需要插入的数据在数据库中是否存在，来确定覆盖还是跳过 ConfigStore与DataRow/DataSet都提供了override属性 大部分情况下需要用ConfigStore配合insert方法来实现 service.insert("table", set, new D

upsert(已存在则更新或跳过，中不存在则插入)

在数据中台、数据同步场景中经常有这种需求，如果数量少可以清空后再全量同步一次，这样最省心。也可以插入前检测一下数据是否存在。 在如果数量很大，以方式显然不可取，如果自己实现一般是通过索引(性能)+存储过程(一次交互)实现 当然许多数据库都对这种场景提供了原生支持。用过ORM实现过这种

关于Apache ignite的MERGE 如果存在重复数据 覆盖或忽略

public static void override() throws Exception{ String tab = "tab_override"; Table table = service.metadata().table(tab); if(null != table){ serv

insert/update Map时大小写的问题

在insert/update时如果提供的是List<Map>或Map参数时有可能因为Map的key与列名不一致导致取值失败的问题。因为map严格区分大小写，put("id",1)用get("ID")当然是取不出来了 如果大小写不一致，可以转换成DataSet<DataRow>

关于查询结果集单行与多行的问题

关于不同数据库的catalog/schema/database

DataSet/DataRow.getMetadatas

DataSet set = service.querys("表"); set.getMetadatas()会返回列的一些属性，正常情况下只会返回一些基本属性，不会再额外查询列的详细信息，因为那样需要再发起更多的查询，而大部分情况下是不需要列的详细数据的，如列的注释， 如果确实需要可以打开Config

修改表过程中新旧索引对比

大部分数据库需要先删除 再创建。 另外要注意的时，新表中如果没有索引并不会删除，只有明确标记删除的索引才会被删除，就是调用过index.drop()方法的索引，在save或alter(table)时才会删除这个索引 是因为许多情况会生成索引，比如唯一约束也会生成个索引，但并不一定

DDL保存表结构时，删除列和添加列

如数据库中原来有3列，C1,C2,C3 保存结构时只提供了C3,C5 在默认情况下 修改C3,添加C5 C1,C2保持不变 打开 ConfigTable.IS_DDL_AUTO_DROP_COLUMN = true 删除C1,C2 修改C3,添加C5

entity()根据表结构获取request提交的参数

entity()根据表结构获取request提交的参数

数据结构:DataRow

DataRow对应数据库中的一行数据内部是一个Map结构,Map的key对应了表的列名,一般通过anyline-config.IS_UPPER_KEY=true来设置返回值以大写key存储 DataRow提供了一些默认的数据操作方法 public DataRow addPrimaryKey(String ... pks) 添加主键,DataRow默认以ID作主

数据结构:DataSet

DataSet

DataSet实现分组，合并

DataSet实现行转列，分组，合并

DataSet实现行转列

pivot

删除空值

删除空值

替换空值

替换空值

把部门=D的所有用户,分组设置成G

把部门=D的所有用户,分组设置成G

关于DataRow中key的大小写

关于DataRow中key的大小写

DataSet中cut与truncate区别

cut与truncate都是根据条件截取

DataSet.select选择器

DataSet.select选择器,可以实现类似SQL的查询

递归提取对象中的value

BeanUtil.extract()递归提取对象中的value DataRow.get()函数实现同样的功能

DataSet交集

DataSet交集

查询DataSet中CODE in(1,2,3)的子集

set.select.in("CODE",1,2,3)

查询DataSet中PRICE>100的子集

set.select.greater("PRICE",100)

查询DataSet中NAME以‘张’开头的子集

set.select.like('NAME','张%') set.select.startWith('NAME','张')

查询DataSet中AGE在20到30之间的子集

set.select.between('AGE',20,30)

移除set中指定条件的子集

先通过set.select过滤出符合移除条件的子集，再通过set与子集取差集

DataSet按条件过滤

DataSet按条件过滤

DataSet移除每个条目中指定的key

DataSet移除每个条目中指定的key

DataSet截断

从begin开始截断到end,方法执行将改变原DataSet长度 如果输入负数则取后n个,如果造成数量不足，则取全部

DataSet筛选不重复的数据

DataSet筛选不重复的数据

DataSet计算总和

DataSet计算总和

DataSet计算平均值

DataSet计算平均值

DataSet取最大值最小值

DataSet取最大值最小值

DataSet提取集合中一列并拼接成String

DataSet提取集合中一列并拼接成String

DataSet抽取指定列生成新的DataSet

抽取指定列生成新的DataSet

DataSet合并两个集合

set1与set2合并生成新的集合 DataSet set = set1.unionAll(set2) 合并不重复的集合，根据ID,CODE判断是否重复 DataSet set = set1.union(set2,"ID","CODE")

DataSet实现垂直水平分组合计

M L S 合计 纯白 20 20 200 240 天蓝 30 60

颜色尺寸二维数组交叉表格(DataSet实现垂直水平分组合计)

table tr class="stat" td尺寸/td c:forEach var="size" items="${sizes}" td class="number-cell"${size.NM

DataRow key不区分大小写设置

如果设置了keyCase = KEY_CASE.SRC,并且配置文件中设置true 在执行get时不区分key大小写并忽略-与_,但是DataRow中可以put多个key如(USER_ID,userId,UserId),取值是取最后put的值 其他情况在put和get时会强制转换k

DataSet实现行转列(多维)

DataSet实现行转列(多维)

DataSet实现行转列

DataSet实现行转列

DataRow根据表结构接收参数值

如果有实体类的话,可以根据实体类的属性来接收url中的参数值。 而entity()函数则是根据表结果来接收 DataRow row = entity("{HR_USER}"); DataRow row = entity(TableBuilder.init("HR_USER")); 默认情况下列名与参数名一致。 实际开发中前端提交的数据经常是小驼峰格式，可以在anyline-config.xml配置

entity()接收加密数据

如果前端提交的参数是加密后的值，需要这样解密 DataRow row = entity("ID:id+"); 与getParam("id", true)效果一样

DataSet清空集合中指定列为空的条目

DataSet set = service.querys("HR_USER"); 清空set中DEPT_ID和SORT_ID都为空(包括null和"")的行 public DataSet removeEmptyRow(String... keys) set.removeEmptyRow("DEPT_ID","SORT_ID"); 清除指定列全为空的行,如果不指定keys,则清除所有列都为空(包括n

一维数组转成DataRow 二维数组转成DataSet

通常情况下是把Bean或Map转成DataRow，把Bean和Map的集合转成DataSet 但有些情况下如从excel中读取数据，读取出来的结果是List>结构，并没有列名或属性名，只是按下标顺序排列。 这时操作List就比较原始，如分组，排序等都需要重写。 所以可以转成DataSet，这样可以利用DataSet的方法对结果集进行去重、分组等

替换DataSet,DataRow中所有空值(null,'')

将所有列中的空值替换成value public DataSet replaceEmpty(String value)

将所有列中的oldChar替换成newChar

将key列中的oldChar替换成newChar public DataSet replace(String key, String oldChar, String newChar)   将所有列中的oldChar替换成newChar public DataSet replace(String oldChar, String newChar) 

关于DataRow的复合KEY

许多情况下需要从DataRow中取多个值合并显示。如导出excel时地址列需要合并省市区详细地址 DataRow可以取多个值拼接，但DataSet则需要遍历，非常麻烦 DataRow提供了复合KEY取值的函数 如{ID:1,CODE:A01,NAME:张三} row.getString("{ID}-{CODE}")可以取出   1-A01 row.getString(

关于DataRow中get与getString的区别

DataRow中get是覆盖了父类Map的get getString在get的基础上增加了复合KEY的支持，如getString("{ID}/{CODE}")

从人员列表的DataSet中，查出所有不重复的部门名称

DataSet set = service.query("HR_USER"); set.distinct("DEPARTMENT_NM"); //这里返回的还是人员列表，但一个部门只返回一个 .concat("DEPARTMENT_NM"); //这里返回String并以逗号分隔:部门A,部门B ListString departments = set.getDistinctStrings("DEPARTMENT_NM"); //这里返回一个不重复的部门名称List

关于DataRow parse xml与parse json区别

json结构相对简单每一对key value可以直接存入DataRow *{name:zhang,age:20} 对应: row.put("name","zhang"); row.put("age",20); 但xml比json多了一个attribute,这个attribute不直接存入DataRow 面是存入attribute

关于merge与join的区别

关于merge与join的区别

从列式数据库中取出坐标数据，格式化成地图轨迹需要的数据

轨迹原始数据(保存在列式数据库或thingsboard平台上) lng=[{"ts":1655007789001,"value":120.1}, {"ts":1655007759002,"value":120.2}], lat=[{"ts":1655007789001,"value":36.1}, {"ts":1655007759002,"value":36.2}] 通过org.anyline.

DataSet拆分

有些情况下需要对DataSet分组处理。如：查询出2000个手机号，如果一短信平台一次只能发500个 List list = set.split(set.size()/500); for(DataSet items:list) { List mobiles = items.getDistinctStrings("mobile"); //

get(String key)与getString(String key)的区别

get(String key)与Map的get(String key)效果一样 getString(String key)支持表达式 getString("${ID}-${NAME}")

DataSet构造多级树型结构

//先取出完整列表 DataSet set = service.querys("SYS_AREA"); //ID:主键 BASE_ID:表示上一级ID的列名 set.dispatchs(true,true, "ID:BASE_ID"); set.dispatchs("children",true,true, "ID:BASE_ID");​ //执行完成后会把每个DataRow中存入当前DataRow的下一级 //这里会生成多个树型结构，一般需要根据ID取出最顶级的DataRow set.getRow("ID",1);

DataRow中两个比较特殊的方法put/puts

通常情况下DataRow经常的方法是put(key, value)， get(key) 但是在操作复杂数据结构时经常会遇到多层嵌套的情况 比较啰嗦的编码一般会这样 DataRow r0 = new DataRow(); DataRow r1 = new DataRow(); r0.put("r1",

DataRow取值时key不确定，或key有多个版本

DataRow取值时key不确定，或有多个版本，如有些key用user_id有些key用user

DataRow深层取值

DataRow深层取值,如果DataRow有多层如一个User实例,取user的部门的领导的年龄 如果其中一层是数组 取第0个(如部门有多个领导)，不支持多维数组

DataRow舍入模式(四舍五入/五舍六入/四舍六入 五留双/银行家舍入法)

DataRow舍入模式(四舍五入/五舍六入/四舍六入 五留双)

DataRow在其中一列基础上加减乘除

在key列基础上 +value,如果原来没有key列则默认0并put到target 如果target与key一致则覆盖原值 public DataRow add(String target, String key, int value) public DataRow add(String key

DataSet聚合计算

1.分组 如提供一个职员列表的set [ {id:1, name:'a', dept:'财务部', age:20} ,{id:2, name:'b', dept:'财务部', age:30} ,{id:3, name:'c', dept:'市场部', age:35} ] 根据部门分组 set.gro

关于DataSet清除空行或空列

清除指定列全为空的行,如果不指定keys,则清除所有列都为空的行 removeEmptyRow(String ... cols) DataSet set = service.querys("CRM_USER"); 清除所有值为空的行 set.removeEmptyRow() 清除ID和CODE都为空的行 set.removeEmptyRow("ID","CODE") 清除ID或CODE