sock: avoid dirtying incoming_cpu if not needed
authorPaolo Abeni <pabeni@redhat.com>
Wed, 21 Jun 2017 09:45:31 +0000 (11:45 +0200)
committerDavid S. Miller <davem@davemloft.net>
Wed, 21 Jun 2017 15:43:01 +0000 (11:43 -0400)
for connected socket, the incoming_cpu field in the sock struct
is not going to change frequently, but we are setting it
unconditionally for each packet.

Since sk_incoming_cpu and sk_flags share the same cacheline,
and the latter is access by udp_recvmsg(), this cause a cache
miss for each packet for UDP connected socket.

With this patch, we set the incoming cpu field only when the
ingress cpu really changes.

This gives a small but measurable performance improvement for
connected UDP socket.

Signed-off-by: Paolo Abeni <pabeni@redhat.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
include/net/sock.h

index 858891c36f94ad2577726d6d21cf871dbcd55d98..00d09140e35474fb686a41e019d3f82f8920da47 100644 (file)
@@ -907,7 +907,10 @@ static inline int sk_backlog_rcv(struct sock *sk, struct sk_buff *skb)
 
 static inline void sk_incoming_cpu_update(struct sock *sk)
 {
-       sk->sk_incoming_cpu = raw_smp_processor_id();
+       int cpu = raw_smp_processor_id();
+
+       if (unlikely(sk->sk_incoming_cpu != cpu))
+               sk->sk_incoming_cpu = cpu;
 }
 
 static inline void sock_rps_record_flow_hash(__u32 hash)