Greenplum配置参数优化：5.10.2

Greenplum配置参数优化：5.10.2

Greenplum参数配置优化:

查询参数

gpconfig --show max_connections

修改参数配置命令

gpconfig-c -v 比如：gpconfig-c log_statement -v DDL删除配置gpconfig -r

work_mem

work_mem（,global,物理内存的2%-4%）,segment用作sort,hash操作的内存大小当PostgreSQL对大表进行排序时，数据库会按照此参数指定大小进行分片排序，将中间结果存放在临时文件中，这些中间结果的临时文件最终会再次合并排序，所以增加此参数可以减少临时文件个数进而提升排序效率。当然如果设置过大，会导致swap的发生，所以设置此参数时仍需谨慎。

查看现有配置值gpconfig -s work_mem Values on all segments are consistentGUC : work_memMaster value: 32MBSegment value: 32MB修改配置gpconfig -c work_mem -v 128MB另一种写法：SET work_mem TO '64MB'配置成功返回：gpadmin-[INFO]:-completed successfully with parameters

mainteance_work_mem（

global，CREATE INDEX, VACUUM等时用到,segment用于VACUUM,CREATE INDEX等操作的内存大小，缺省是16兆字节(16MB)。因为在一个数据库会话里， 任意时刻只有一个这样的操作可以执行，并且一个数据库安装通常不会有太多这样的工作并发执行， 把这个数值设置得比work_mem更大是安全的。 更大的设置可以改进清理和恢复数据库转储的速度。

查看现有配置值gpconfig -s maintenance_work_memGUC : maintenance_work_memMaster value: 64MBSegment value: 64MB修改配置gpconfig -c maintenance_work_mem -v 256MB

max_statement_mem

设置每个查询最大使用的内存量，该参数是防止statement_mem参数设置的内存过大导致的内存溢出.

查看现有配置值gpconfig -s max_statement_memValues on all segments are consistentGUC : max_statement_memMaster value: 2000MBSegment value: 2000MB修改配置gpconfig -c max_statement_mem -v 2000MB

statement_mem

设置每个查询在segment主机中可用的内存，该参数设置的值不能超过max_statement_mem设置的值，如果配置了资源队列，则不能超过资源队列设置的值。

查看现有配置值gpconfig -s statement_memValues on all segments are consistentGUC : statement_memMaster value: 125MBSegment value: 125MB修改配置gpconfig -c statement_mem -v 256MB

gp_vmem_protect_limit

控制了每个segment数据库为所有运行的查询分配的内存总量。如果查询需要的内存超过此值，则会失败。

查看现有配置值gpconfig -s gp_vmem_protect_limitValues on all segments are consistentGUC : gp_vmem_protect_limitMaster value: 8192Segment value: 8192

gp_workfile_limit_files_per_query

SQL查询分配的内存不足，Greenplum数据库会创建溢出文件（也叫工作文件）。在默认情况下，一个SQL查询最多可以创建 100000 个溢出文件，这足以满足大多数查询。 该参数决定了一个查询最多可以创建多少个溢出文件。0 意味着没有限制。限制溢出文件数据可以防止失控查询破坏整个系统。

查看现有配置值gpconfig -s gp_workfile_limit_files_per_queryValues on all segments are consistentGUC : gp_workfile_limit_files_per_queryMaster value: 100000Segment value: 100000

gp_statement_mem

服务器配置参数 gp_statement_mem 控制段数据库上单个查询可以使用的内存总量。如果语句需要更多内存，则会溢出数据到磁盘。

effective_cache_size

（master节点，可以设为物理内存的85%）这个参数告诉PostgreSQL的优化器有多少内存可以被用来缓存数据，以及帮助决定是否应该使用索引。这个数值越大，优化器使用索引的可能性也越大。因此这个数值应该设置成shared_buffers加上可用操作系统缓存两者的总量。通常这个数值会超过系统内存总量的50%以上。

查看现有配置值：gpconfig -s effective_cache_sizeValues on all segments are consistentGUC : effective_cache_sizeMaster value: 512MBSegment value: 512MB修改配置gpconfig -c effective_cache_size -v 40960MB

gp_resqueue_priority_cpucores_per_segment

master和每个segment的可以使用的cpu个数,每个segment的分配线程数;

查看现有配置值gpconfig -s gp_resqueue_priority_cpucores_per_segmentValues on all segments are consistentGUC : gp_resqueue_priority_cpucores_per_segmentMaster value: 4Segment value: 4gpconfig -s checkpoint_segments 修改配置gpconfig -c gp_resqueue_priority_cpucores_per_segment -v 8

max_connections

最大连接数，Segment建议设置成Master的5-10倍。max_connections = 200 #(master、standby)max_connections = 1200 #(segment)

查看现有配置值：gpconfig -s max_connectionsGUC : max_connectionsMaster value: 250Segment value: 750修改配置gpconfig -c max_connections -v 1200 -m 300

max_prepared_transactions

这个参数只有在启动数据库时，才能被设置。它决定能够同时处于prepared状态的事务的最大数目（参考PREPARE TRANSACTION命令）。如果它的值被设为0。则将数据库将关闭prepared事务的特性。它的值通常应该和max_connections的值一样大。每个事务消耗600字节(b)共享内存。

查看现有配置值：gpconfig -s max_prepared_transactionsValues on all segments are consistentGUC : max_prepared_transactionsMaster value: 250Segment value: 250修改配置gpconfig -c max_prepared_transactions -v 300

max_files_per_process

设置每个服务器进程允许同时打开的最大文件数目。缺省是1000。 如果内核强制一个合理的每进程限制，那么你不用操心这个设置。 但是在一些平台上(特别是大多数BSD系统)， 内核允许独立进程打开比个系统真正可以支持的数目大得多得文件数。 如果你发现有"Too many open files"这样的失败现像，那么就尝试缩小这个设置。 这个值只能在服务器启动的时候设置。

查看现有配置值：gpconfig -s max_files_per_processValues on all segments are consistentGUC : max_files_per_processMaster value: 1000Segment value: 1000修改配置gpconfig -c max_files_per_process -v 1000

shared_buffers

只能配置segment节点，用作磁盘读写的内存缓冲区,开始可以设置一个较小的值，比如总内存的15%，然后逐渐增加，过程中监控性能提升和swap的情况。

gpconfig -s shared_buffersValues on all segments are consistentGUC : shared_buffersMaster value: 64MBSegment value: 125MB修改配置gpconfig -c shared_buffers -v 1024MBgpconfig -r shared_buffers -v 1024MB

temp_buffers: 即临时缓冲区，拥有数据库访问临时数据，GP中默认值为1M，在访问比较到大的临时表时，对性能提升有很大帮助。

查看现有配置值：gpconfig -s temp_buffersValues on all segments are consistentGUC : temp_buffersMaster value: 1024Segment value: 1024修改配置gpconfig -c temp_buffers -v 4096

gp_fts_probe_threadcount:

设置ftsprobe线程数，此参数建议大于等于每台服务器segments的数目。

查看现有配置值：gpconfig -s gp_fts_probe_threadcountValues on all segments are consistentGUC : gp_fts_probe_threadcountMaster value: 16Segment value: 16

重启数据库，使参数生效

gpstop -u 重新加载配置文件 postgresql.conf 和 pg_hba.conf

参考文档：

​​https://gp-docs-cn.github.io/docs/ref_guide/config_params/guc_config.html#topic_vsn_22l_z4​​

​​​https://gp-docs-cn.github.io/docs/ref_guide/config_params/guc-list.html#add_missing_from​​

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。