4266: Fix log processing performance.
[arvados.git] / services / api / config / application.default.yml
index 7185810b94b170d80b8967bff3175598afddc55c..0df93a0631a03edc406f708a060e2d281ba20998 100644 (file)
@@ -77,25 +77,27 @@ common:
   # crunch-job must be able to stat() it.
   crunch_refresh_trigger: /tmp/crunch_refresh_trigger
 
-  # Maximum number of log events that may be generated by a single job.
-  crunch_limit_log_events_per_job: 65536
+  # These two settings control how frequently log events are flushed to the
+  # database.  Log lines are buffered until either crunch_log_bytes_per_event
+  # has been reached or crunch_log_seconds_between_events has elapsed since
+  # the last flush.
+  crunch_log_bytes_per_event: 4096
+  crunch_log_seconds_between_events: 1
 
-  # Maximum number of total bytes that may be logged by a single job.
-  crunch_limit_log_event_bytes_per_job: 67108864
+  # The sample period for throttling logs, in seconds.
+  crunch_log_throttle_period: 60
 
-  # The sample period for throttling logs, in seconds (see below)
-  crunch_limit_log_event_throttle_period: 60
+  # Maximum number of bytes that job can log over crunch_log_throttle_period
+  # before being silenced until the end of the period.
+  crunch_log_throttle_bytes: 65536
 
-  # Maximum number of bytes that job can log over
-  # crunch_limit_log_event_throttle_period before being silenced
-  crunch_limit_log_event_throttle_rate: 65536
+  # Maximum number of lines that job can log over crunch_log_throttle_period
+  # before being silenced until the end of the period.
+  crunch_log_throttle_lines: 1024
 
-  # These two settings control how frequently log events are flushed
-  # to the database.  If a job generates two or more events within
-  # crunch_log_seconds_between_events, the log data is not flushed
-  # until crunch_log_bytes_per_event has been reached.
-  crunch_log_bytes_per_event: 4096
-  crunch_log_seconds_between_events: 1
+  # Maximum bytes that may be logged by a single job.  Log bytes that are
+  # silenced by throttling are not counted against this total.
+  crunch_limit_log_bytes_per_job: 67108864
 
   # Path to /etc/dnsmasq.d, or false = do not update dnsmasq data.
   dnsmasq_conf_dir: false