数据读取和处理方式.docxVIP

数据读取和处理方式

批量处理：使用pd.read_csv以chunksize参数分块读取CSV文件，每次读取batch_size行数据。

批量插入和查询：将每个批次的CSV数据注册为DuckDB表，并插入到一个临时表中，然后执行连接查询。

优点：批量处理可以减少数据库操作次数，提高效率，适合处理大型CSV文件。

初：

逐行处理：使用pd.read_csv一次性读取整个CSV文件，然后逐行遍历每一行数据。

逐行查询：为每一行数据构造SQL查询语句，并逐行执行查询。

缺点：逐行处理和查询会导致大量数据库操作，效率较低，尤其在处理大文件时性能较差

临时表和查询优化

临时表：创建了一个临时表temp_table来存储批次的CSV数据，减少了重复的数据库操作。

连接查询：通过左连接（LEFTJOIN）一次性查询多行数据，能够更高效地比较CSV文件与数据库中的数据。

初：

没有使用临时表：直接逐行查询，没有优化数据库操作。

逐行查询：每行数据都需要执行一次查询，查询次数多，效率低下。

批量处理（BatchProcessing）：代码使用pandas的read_csv方法，以chunksize参数将CSV文件分块读取。这样，数据不会一次性全部加载到内存中，避免了内存溢出的问题。这种方法尤其适用于处理大型CSV文件，可以显著提高处理效率。

临时表（TemporaryTable）：代码创建了一个临时表temp_table来存储每个批次的数据。这种方式可以在执行查询时减少I/O操作，因为数据已经在内存中准备好。

连接查询（JOINQuery）：使用DuckDB的SQL语法，通过左连接（LEFTJOIN）查询临时表与数据库表的匹配情况。这样可以在一次查询中完成多行数据的比对，效率较高。

数据库注册（RegisteringDataFrameasTable）：每次处理一个批次的数据时，代码会使用con.register方法将pandasDataFrame注册为DuckDB表，这样可以直接在SQL查询中使用DataFrame，减少了数据转换的开销。

批量插入（BatchInsert）：批量插入数据到临时表中，而不是一行一行地插入，减少了插入操作的开销。

构建查询：

query=fSELECTcsv.*,db.*FROMtemp_dfAScsvLEFTJOIN{table_name}ASdbON{AND.join([fcsv.{col}=db.{col}forcolinbatch_df.columns])}：

temp_dfAScsv：这是从CSV文件读取的当前批次数据的临时表。

{table_name}ASdb：这是数据库中的目标表。

ON{AND.join([fcsv.{col}=db.{col}forcolinbatch_df.columns])}：这是连接条件，根据CSV文件中的列名和数据库表中的列名进行匹配。

执行查询：

result=con.execute(query)：执行构建的左连接查询。