insert/upsert

发布日期：2023-03-07

最后更新：2025-07-02 22:45:19

阅读：13,455

根据数据是否存在，判断判断insert或update或忽略，参考【upsert】
upsert与insert参数完全一致，是复制的insert
insert支持两种格式

一、根据值

service.insert(DataRow/DataSet)
如果是从数据库中查出来的DataRow中会记住表名,如果是在Java中创建的而且没有设置数据来源(表)的参数需要在insert时指定
service.insert("表名", DataRow)
比较常见的情况是从多个表或视图中查出10列数据，操作完后需要保存3列到另外一个表，这时需要同时指定表、数据、列(属性)
service.insert("表名", DataRow, "列1", "列2", "列3")
DataRow是一种Map结构，相当于表中的一行，但DataRow有着比Map更强更便捷的数据处理能力，如数据格式化、json/xml转换、忽略大小写、批量操作、属性值动态组合，参考【DataRow】
DataSet是DataRow的集合，相当于表中的多行，DataSet同样提供了更多关于集合的操作，如行列转换、类SQL查询、各种数学计算等，参考【DataSet】
service.insert(Entity/EntitySet/Collection)
Entity是指在具体项目中创建的实体类，如用户、部门等
插入Entity的方法与DataRow类似，稍有区别的是Entity上可以用注解设置表名、列名,主键，以及ManyToMany、OneToMany等，注解方式兼容JPA

DataSet/DataRow提供了与Entity/EntitySet之间的转换方法，如
User user = new DataRow().entity(User.class)

EntitySet users = new DataSet().entitys(User.class)

二、根据select结果

INSERT INTO A SELECT * FROM B

数量比较大，又不需要处理时，可以直接根据SELECT插入，跳过了网络IO会比较快，参考【根据查询插入】

数据库操作 · 2023-10-31

JDBC操作clickhouse示例

ClickHouse适合用于在线分析处理查询（OLAP :Online Analytical Processing）MPP架构的列式存储数据库，能够使用 SQL 查询实时生成分析数据报告。 clickhouse不同于hadoop生态，采用 Local attached storage 作为存储二、

数据库操作 · 2023-10-20

关于Orcle的MERGE INTO 如果存在重复数据覆盖或忽略

service.insert(table, set, new DefaultConfigStore().override(true, "ID")); service.insert(table, set, new DefaultConfigStore().override(false, "ID"))

数据库操作 · 2023-10-12

关于PostgreSQL的ON CONFLICT，如果存在重复数据覆盖或忽略

当执行 INSERT 操作时，如果数据表中不存在对应的记录，执行插入操作；如果数据表中存在对应的记录，则执行更新操作是否存在可以根据 1.指定列判断或者2 唯一约束名 Table table = service.metadata().table("CRM_USER"); if(

数据库操作 · 2023-09-19

关于MySQL的insert ignore into和replace into

务必注意，如果执行了replace into会把原数据删除，重新插入新数据，如果有自增主键的话，主键值会变化。 //override=true : replace into //override=false: insert ignore into ServiceProxy.insert

数据库操作 · 2023-09-02

insert/update过程中列的控制

默认情况下只会处理不为空的列，更新时不更新主键由于数据来源多种多样，有可能是从别的表中查询的也有可能从第三系统获取或java中生成，同一组数据可能需要同时插入不同的表，但列不同，这时需要设置insert/update的列可以按以规则设置insert与update规则一样 DataRow row

常用示例 · 2023-10-24

异构数据源迁移核心部分代码Mysql到Apache Ignite|VoltDB

异构数据源迁移，大概过程就3步，其他细节就看具体情况了 1.在目标库创建表结构 2.从源库中查出数据 3.插入到目标库举个从Mysql到Apache Ignite的示例过程中有可能需要合并数据参考，可以通过ConfigStore.override(true)实现【目标库不存在则插入，存在则覆盖或

EntitySet · 2023-05-16

Entity中的集合(数组)属性保存到数据库中

Entity中的集合(数组)属性保存到数据库中["A","B","C"]与A,B,C格式如果数据库中是JSON格式则会保存成["A","B","C"]格式如果数据库中是vachar类型则默认会保存成A,B,C格式(为了方便 findinset函数执行)，如果需要保存成["A","

Entity · 2023-08-04

Data truncation: Cannot create a JSON value from a string with CHARACTER SET 'binary'

出现这个异常是因为视图把json类型保存到数据库中，一般来说数据库会设置一个JSON类型。但在页mysql驱动对json的sql类型会要求一个String类型的数据, 需要打开ConfigTable.IS_AUTO_CHECK_METADATA = true ,这样

数据集操作 · 2023-10-21

upsert(已存在则更新或跳过，中不存在则插入)

在数据中台、数据同步场景中经常有这种需求，如果数量少可以清空后再全量同步一次，这样最省心。也可以插入前检测一下数据是否存在。在如果数量很大，以方式显然不可取，如果自己实现一般是通过索引(性能)+存储过程(一次交互)实现当然许多数据库都对这种场景提供了原生支持。用过ORM实现过这种

数据集操作 · 2023-10-16

关于Apache ignite的MERGE 如果存在重复数据覆盖或忽略

public static void override() throws Exception{ String tab = "tab_override"; Table table = service.metadata().table(tab); if(null != table){ serv

数据集操作 · 2023-10-10

insert/update Map时大小写的问题

在insert/update时如果提供的是List<Map>或Map参数时有可能因为Map的key与列名不一致导致取值失败的问题。因为map严格区分大小写，put("id",1)用get("ID")当然是取不出来了如果大小写不一致，可以转换成DataSet<DataRow>

query/querys · 2023-04-19

sequence

BigDecimal next = service.sequence("SIMPLE_SEQ"); DataRow nexts = service.sequences("SIMPLE_SEQ", "SIMPLE_SEQ2"); BigDecimal cur = service.sequence(fa

insert · 2023-02-25

插入数据后返回主键值

AnylineService · 2023-08-16

简易方式指定数据源和主键

service.querys("table(col1,col2)") <数据源>放在开头 <主键>放在结尾 ds_sso表示数据源 ID,CODE表示主键

insert · 2023-08-23

插入数组

在PG数据库中支持数组类型，但默认情况下DataRow中的数组会被拆开，只取第0个值。如果需要插入整个数组可以通过以下几种方式： 1.ConfigTable.IS_AUTO_SPLIT_ARRAY = false; 2.ConfigTable.IS_AUTO_CHECK_METADATA = tr

insert · 2024-06-20

根据查询插入insert into select from

数量比较大时，可以直接根据SELECT插入，跳过网络IO会快许多 //INSERT INTO A SELECT * FROM B //与查询方法参数一致，在查询方法基础上加一个插入目标表 ServiceProxy.insert("crm_user(ID,CODE)", "sso_user(ID,C

insert · 2024-07-23

插入记录时自动建表

DataSet set = new DataSet(); Long fr = System.currentTimeMillis(); for(int i=0; i<10; i++){ DataRow row = set.add(); row.put("ID", fr+i); row.pu

数据类型 · 2023-04-17

日期类型

有些数据库对数据类型要求比较严格，不能隐式转换，这时需要开启 ConfigTable.IS_AUTO_CHECK_METADATA = true; 这样在插入数据前可以检测列的数据类型，检测到数据类型才能实现正确的格式转换例如Oracle

事务控制 · 2023-07-27

多数据源事务管理器bean.name

在存多数据源的情况下会创建多个事务管理器【为会么要创建多个事务管理器】事务管理器在spring上下文环境中的命名也就是bean.name 如在默认数据源之外又创建多个数据源a,b,c spring会针对默认数据生成一个默认事务管理器:transactionManager anyline

数据类型 · 2023-08-29

插入数组类型

pg数组库支持数组类型，在定义时可以这样 table.addColumn("TYPE_IDS", "INT[]"); //在原型基础上加[] 插入数组类型时，需要设置这一列的数据类型，否则会把数组拆开只取下标0的条目，因为不知道数据库中是数组类型可以打开ConfigTable.IS_AU

非关系型数据库 · 2024-03-28

插入或修改数据时如何判断插入边还是点

service.insert(table, data) 首先会根据table类型判断(EdgeTable或VertexTable及子类),如果判断不出来再根据data类型类型(EdgeRow或VertexRow及子类)

MongoDB · 2023-08-27

MongoDB基础操作

DataSet set = new DataSet(); Long fr = System.currentTimeMillis(); for(int i=0; i<10;i ++){ MongoDataRow row = new MongoDataRow(); row.put("_id"

AnylineService · 2020-03-26

save与insert区别

数据类型 · 2022-08-31

关于自动检测表结构

在执行数据库操作时，许多参数是以String形式获取到的,无法参数识别数据类型，如url中的参数还有一些数据类型在Java中没有对应关系,如xml/josn/几何图形等而有些数据库在执行SQL时会执行强类型检测。不像我们平时用的MySQL在执行时会进行隐式转换，无论什么类型只要能转换成功就可以执行。而PostgreSQL则要求jdbc参数与表结构对应，如果在va

常见问题 · 2022-09-22