ServiceProxy

关于跨库操作与数据源自动复制

在低代码与中台项目中经常需要操作多个数据库的元数据，如查询出所有数据库中的表。 但是需要注意：多个库中可以会出现同名的表。另外也有部分数据库不支持跨库，在每个库中单独维护一份系统表。 在实际业务中一般也不需要多个库的元数据同时显示或重，更多的是按库分类。 为了统一处理，推荐先列出数据库列表，再根

JDBC操作clickhouse示例

ClickHouse适合用于在线分析处理查询（OLAP :Online Analytical Processing）MPP架构的列式存储数据库，能够使用 SQL 查询实时生成分析数据报告。 clickhouse不同于hadoop生态，采用 Local attached storage 作为存储 二、

关于Orcle的MERGE INTO 如果存在重复数据 覆盖或忽略

service.insert(table, set, new DefaultConfigStore().override(true, "ID")); service.insert(table, set, new DefaultConfigStore().override(false, "ID"))

关于分页参数

DataSet set service.querys(table, condition(true)); //分页，参数根据配置文件或PageNaviConfig 当前页数会提取http中的参数 PageNavi navi = set.getNavi(); navi.getTotalPage

关于MySQL的insert ignore into和replace into

务必注意，如果执行了replace into会把原数据删除，重新插入新数据，如果有自增主键的话，主键值会变化。  //override=true : replace into //override=false: insert ignore into ServiceProxy.insert

insert/update过程中列的控制

默认情况下只会处理不为空的列，更新时不更新主键 由于数据来源多种多样，有可能是从别的表中查询的也有可能从第三系统获取或java中生成， 同一组数据可能需要同时插入不同的表，但列不同，这时需要设置insert/update的列 可以按以规则设置insert与update规则一样 DataRow row

异构数据源迁移核心部分代码Mysql到Apache Ignite|VoltDB

异构数据源迁移，大概过程就3步，其他细节就看具体情况了 1.在目标库创建表结构 2.从源库中查出数据 3.插入到目标库 举个从Mysql到Apache Ignite的示例 过程中有可能需要合并数据参考，可以通过ConfigStore.override(true)实现【目标库不存在则插入，存在则覆盖或

前置命令

有些查询需要一些前置命令，如先创建临时表 ConfigStore可以设置前置命令 ConfigStore configs = new DefaultConfigStore(); RunPrepare prepare = new DefaultTextPrepare("

先准备基础环境

为精简篇幅，把前置工作以及后续重复的工作在这里说明，后面就不再啰嗦了。

查询部分列(属性)

查一个职员列表，因为简介等大文本影响IO,所以只查ID,NAME两列

根据情况生成不同的查询条件(FIND_IN_SET)

仅针对MySQL

不提供参数值的两种特殊情况

如根据类别查询时，如果没有提供类别值。 默认情况下是忽略类别条件 但也有另外两种特殊情况 用NULL或''拼接SQL 中断SQL执行，不返回值或返回空集合

查询条件默认值

如果http request提供了参数值并且不为空，则按提供的参数值查询，否则按默认值查询。

分页查询

查询排序

流式查询

默认情况下查询数据会把符合条件的数据一次性读到内存中，但是在大数据处理时会比较耗时甚至内存溢出。在这种情况下可以启用流式查询。返回一个迭代器。在迭代器中执行业务处理。 handler支持4种形式,按性能排序ResultSet>Map>DataRow>Entity 其中ResultS

关于ands

最初ands是为了生成in条件，但and已经可以识别集合条件自动生成IN， 2023-10-21后 ands改成了与ors类似的效果，即把之前所有的条件放在一个()内,然后and this

关于默认主键

在默认情况下，更新数据时以ID作为主键。
可以通过ConfigTable.DEFAULT_PRIMARY_KEY = "CD" 或配置文件统一修改

在实际业务中经常需要根据其他列来执行批量修改可以通过
DataRow或DataSet的setPrimaryKey("user_id")来设置新的主键,这样可以实现按user_id批量更新数据

upsert(已存在则更新或跳过，中不存在则插入)

在数据中台、数据同步场景中经常有这种需求，如果数量少可以清空后再全量同步一次，这样最省心。也可以插入前检测一下数据是否存在。 在如果数量很大，以方式显然不可取，如果自己实现一般是通过索引(性能)+存储过程(一次交互)实现 当然许多数据库都对这种场景提供了原生支持。用过ORM实现过这种

关于Apache ignite的MERGE 如果存在重复数据 覆盖或忽略

public static void override() throws Exception{ String tab = "tab_override"; Table table = service.metadata().table(tab); if(null != table){ serv

insert/update Map时大小写的问题

在insert/update时如果提供的是List<Map>或Map参数时有可能因为Map的key与列名不一致导致取值失败的问题。因为map严格区分大小写，put("id",1)用get("ID")当然是取不出来了 如果大小写不一致，可以转换成DataSet<DataRow>

关于查询结果集单行与多行的问题

简易方式指定数据源和主键

service.querys("table(col1,col2)") <数据源>放在开头 <主键>放在结尾 ds_sso表示数据源 ID,CODE表示主键

查询条件中空值的处理方式

这里的空值说的是在自动生成查询条件是的情况，如果是原生的SQL条件，则不会处理 service.quers("CRM_USER", " CODE='' ", "NM IS NULL") 这种提供原生SQL的情况不处理  需要处理的是以下3种情况 service

插入数组

在PG数据库中支持数组类型，但默认情况下DataRow中的数组会被拆开，只取第0个值。 如果需要插入整个数组可以通过以下几种方式： 1.ConfigTable.IS_AUTO_SPLIT_ARRAY = false; 2.ConfigTable.IS_AUTO_CHECK_METADATA = tr

遇到anyline没解析或极特殊类型怎么处理

定义列我们一般分成三部分 名称，数据类型，其他属性如果遇到一些anyline没有处理的特殊类型,如set('X','Y','Z') 等这种类型Column对象没有对应的属性可以配置，这种可以直接设置new Column("col_name").setFinalType("set('X','

关于函数操作

在查询条件和查询列中经常需要函数，当然这样查询对性能影响非常严重，只是举例说明一下语法 SELECT  id,to_char(reg_time,'yyyy-mm') as ym FROM crm_user WHERE char(reg_time,'yyyy-mm-dd') LIKE

OR查询条件

应用场景:同一个输入框中输入用户编号或用户姓名或手机号都可以查到指定用户,以上参数会通过同一个key提交到后台

关于自定义SQL中的变量赋值

String sql = "SELECT * FROM CRM_USER WHERE CODE = :PARAM_CODE"; DataSet set = service.querys(sql, "PARAM_CODE:1"); //生成SQL SELECT * FROM CRM_USER WHERE CODE = 1 //特别注意这以下情况 CODE:1与SQL中的变量匹配不成功时，SQL会

关于必须条件

 以“+”开头表示当前条件必须拼接 如condition("+NM:nm") 如果客户端提供了nm值，如http://localhost?nm=zh 则正常生成SQL:  SELECT * FROM TAB WHERE NM = 'zh' 如果没有提供nm值,如如http://localhost或 http://local?nm= 则生成SQL: 

关于IN条件

关于IN条件

关于or

OR条件构造相关复杂 可以根据http参数生成OR条件 或在java中取值生成OR条件

关于like

关于like

关于几种OR条件查询的情况

//以下三种格式,只有cd取值成功时，条件才生效 //当cd=1,id=2时 WHERE CODE = 1 OR CODE =2 //当cd=null,id=2时 条件不生效 //当cd=1,id=null时 WHERE CODE = 1 service.querys("HR_USER", condition("CODE:cd|id")); //当cd=1时 WHERE CODE =1 OR

关于分页参数

默认的分页参数名比较长: public static String DEFAULT_KEY_PAGE_ROWS = "_anyline_page_rows" ; //设置每页显示多少条的key public static String DEFAULT_KEY_PAGE_NO = "_anyline_page" ; //设置当前第几页的key public static

关于更新部分属性(列)、忽略部分属性(列)

在实际操作中经常需要更新指定的列，或者忽略更新指定的列

关于insert或update时确定哪些列参与到insert或update中

关于insert或update时确定哪些列参与到insert或update中

查询数据库返回的数据字段全是大写，字段怎么设置返回小写

可以通过ConfigTable设置全局参数 ConfigTable.IS_LOWER_KEY = true; ConfigTable.IS_UPPER_KEY = false;

几个分页查询的示例

比较常用的分页是在controller中通过condition设置 service.querys("user", condition(true, "其他条件")) 这里的true表示需要分页 service.querys("user", condition(20, "其他条件"))&nbs

SQL中的变量及占位符格式

SELECT * FROM CRM_USER WHERE ID = :ID  以:标识的执行时直接替换  以::标识的执行时以?占位   NAME LIKE :NM + '%'   (NAME = :NM)   NAME = ':NM'   NM IN (:NM)