srcu: Expedite srcu_schedule_cbs_snp() callback invocation
authorPaul E. McKenney <paulmck@linux.vnet.ibm.com>
Tue, 18 Apr 2017 17:28:31 +0000 (10:28 -0700)
committerPaul E. McKenney <paulmck@linux.vnet.ibm.com>
Fri, 21 Apr 2017 12:59:27 +0000 (05:59 -0700)
commit0497b489b8255054f113fd31faeb72f6dbc50a68
tree93c01ac25a12ce28f787fe7849887cdf53223a15
parentda915ad5cf25b5f5d358dd3670c3378d8ae8c03e
srcu: Expedite srcu_schedule_cbs_snp() callback invocation

Although Tree SRCU does reduce delays when there is at least one
synchronize_srcu_expedited() invocation pending, srcu_schedule_cbs_snp()
still waits for SRCU_INTERVAL before invoking callbacks.  Since
synchronize_srcu_expedited() now posts a callback and waits for
that callback to do a wakeup, this destroys the expedited nature of
synchronize_srcu_expedited().  This destruction became apparent to
Marc Zyngier in the guise of a guest-OS bootup slowdown from five
seconds to no fewer than forty seconds.

This commit therefore invokes callbacks immediately at the end of the
grace period when there is at least one synchronize_srcu_expedited()
invocation pending.  This brought Marc's guest-OS bootup times back
into the realm of reason.

Reported-by: Marc Zyngier <marc.zyngier@arm.com>
Signed-off-by: Paul E. McKenney <paulmck@linux.vnet.ibm.com>
Tested-by: Marc Zyngier <marc.zyngier@arm.com>
kernel/rcu/srcutree.c