drivers/misc/sgi-xp/xpc.h

   1 /*
   2  * This file is subject to the terms and conditions of the GNU General Public
   3  * License.  See the file "COPYING" in the main directory of this archive
   4  * for more details.
   5  *
   6  * Copyright (c) 2004-2008 Silicon Graphics, Inc.  All Rights Reserved.
   7  */
   8
   9 /*
  10  * Cross Partition Communication (XPC) structures and macros.
  11  */
  12
  13 #ifndef _DRIVERS_MISC_SGIXP_XPC_H
  14 #define _DRIVERS_MISC_SGIXP_XPC_H
  15
  16 #include <linux/interrupt.h>
  17 #include <linux/sysctl.h>
  18 #include <linux/device.h>
  19 #include <linux/mutex.h>
  20 #include <linux/completion.h>
  21 #include <asm/pgtable.h>
  22 #include <asm/processor.h>
  23 #include <asm/sn/clksupport.h>
  24 #include <asm/sn/addrs.h>
  25 #include <asm/sn/mspec.h>
  26 #include <asm/sn/shub_mmr.h>
  27 #include "xp.h"
  28
  29 /*
  30  * XPC Version numbers consist of a major and minor number. XPC can always
  31  * talk to versions with same major #, and never talk to versions with a
  32  * different major #.
  33  */
  34 #define _XPC_VERSION(_maj, _min)        (((_maj) << 4) | ((_min) & 0xf))
  35 #define XPC_VERSION_MAJOR(_v)           ((_v) >> 4)
  36 #define XPC_VERSION_MINOR(_v)           ((_v) & 0xf)
  37
  38 /* define frequency of the heartbeat and frequency how often it's checked */
  39 #define XPC_HB_DEFAULT_INTERVAL         5       /* incr HB every x secs */
  40 #define XPC_HB_CHECK_DEFAULT_INTERVAL   20      /* check HB every x secs */
  41
  42 /* define the process name of HB checker and the CPU it is pinned to */
  43 #define XPC_HB_CHECK_THREAD_NAME        "xpc_hb"
  44 #define XPC_HB_CHECK_CPU                0
  45
  46 /* define the process name of the discovery thread */
  47 #define XPC_DISCOVERY_THREAD_NAME       "xpc_discovery"
  48
  49 /*
  50  * the reserved page
  51  *
  52  *   SAL reserves one page of memory per partition for XPC. Though a full page
  53  *   in length (16384 bytes), its starting address is not page aligned, but it
  54  *   is cacheline aligned. The reserved page consists of the following:
  55  *
  56  *   reserved page header
  57  *
  58  *     The first two 64-byte cachelines of the reserved page contain the
  59  *     header (struct xpc_rsvd_page). Before SAL initialization has completed,
  60  *     SAL has set up the following fields of the reserved page header:
  61  *     SAL_signature, SAL_version, SAL_partid, and SAL_nasids_size. The
  62  *     other fields are set up by XPC. (xpc_rsvd_page points to the local
  63  *     partition's reserved page.)
  64  *
  65  *   part_nasids mask
  66  *   mach_nasids mask
  67  *
  68  *     SAL also sets up two bitmaps (or masks), one that reflects the actual
  69  *     nasids in this partition (part_nasids), and the other that reflects
  70  *     the actual nasids in the entire machine (mach_nasids). We're only
  71  *     interested in the even numbered nasids (which contain the processors
  72  *     and/or memory), so we only need half as many bits to represent the
  73  *     nasids. When mapping nasid to bit in a mask (or bit to nasid) be sure
  74  *     to either divide or multiply by 2. The part_nasids mask is located
  75  *     starting at the first cacheline following the reserved page header. The
  76  *     mach_nasids mask follows right after the part_nasids mask. The size in
  77  *     bytes of each mask is reflected by the reserved page header field
  78  *     'SAL_nasids_size'. (Local partition's mask pointers are xpc_part_nasids
  79  *     and xpc_mach_nasids.)
  80  *
  81  *   vars       (ia64-sn2 only)
  82  *   vars part  (ia64-sn2 only)
  83  *
  84  *     Immediately following the mach_nasids mask are the XPC variables
  85  *     required by other partitions. First are those that are generic to all
  86  *     partitions (vars), followed on the next available cacheline by those
  87  *     which are partition specific (vars part). These are setup by XPC.
  88  *     (Local partition's vars pointers are xpc_vars and xpc_vars_part.)
  89  *
  90  * Note: Until 'ts_jiffies' is set non-zero, the partition XPC code has not been
  91  *       initialized.
  92  */
  93 struct xpc_rsvd_page {
  94         u64 SAL_signature;      /* SAL: unique signature */
  95         u64 SAL_version;        /* SAL: version */
  96         short SAL_partid;       /* SAL: partition ID */
  97         short max_npartitions;  /* value of XPC_MAX_PARTITIONS */
  98         u8 version;
  99         u8 pad1[3];             /* align to next u64 in 1st 64-byte cacheline */
 100         union {
 101                 u64 vars_pa;    /* physical address of struct xpc_vars */
 102                 u64 activate_mq_gpa;    /* global phys address of activate_mq */
 103         } sn;
 104         unsigned long ts_jiffies; /* timestamp when rsvd pg was setup by XPC */
 105         u64 pad2[10];           /* align to last u64 in 2nd 64-byte cacheline */
 106         u64 SAL_nasids_size;    /* SAL: size of each nasid mask in bytes */
 107 };
 108
 109 #define XPC_RP_VERSION _XPC_VERSION(2, 0) /* version 2.0 of the reserved page */
 110
 111 /*
 112  * Define the structures by which XPC variables can be exported to other
 113  * partitions. (There are two: struct xpc_vars and struct xpc_vars_part)
 114  */
 115
 116 /*
 117  * The following structure describes the partition generic variables
 118  * needed by other partitions in order to properly initialize.
 119  *
 120  * struct xpc_vars version number also applies to struct xpc_vars_part.
 121  * Changes to either structure and/or related functionality should be
 122  * reflected by incrementing either the major or minor version numbers
 123  * of struct xpc_vars.
 124  */
 125 struct xpc_vars_sn2 {
 126         u8 version;
 127         u64 heartbeat;
 128         DECLARE_BITMAP(heartbeating_to_mask, XP_MAX_NPARTITIONS_SN2);
 129         u64 heartbeat_offline;  /* if 0, heartbeat should be changing */
 130         int activate_IRQ_nasid;
 131         int activate_IRQ_phys_cpuid;
 132         u64 vars_part_pa;
 133         u64 amos_page_pa;       /* paddr of page of amos from MSPEC driver */
 134         struct amo *amos_page;  /* vaddr of page of amos from MSPEC driver */
 135 };
 136
 137 #define XPC_V_VERSION _XPC_VERSION(3, 1)    /* version 3.1 of the cross vars */
 138
 139 /*
 140  * The following structure describes the per partition specific variables.
 141  *
 142  * An array of these structures, one per partition, will be defined. As a
 143  * partition becomes active XPC will copy the array entry corresponding to
 144  * itself from that partition. It is desirable that the size of this structure
 145  * evenly divides into a 128-byte cacheline, such that none of the entries in
 146  * this array crosses a 128-byte cacheline boundary. As it is now, each entry
 147  * occupies 64-bytes.
 148  */
 149 struct xpc_vars_part_sn2 {
 150         u64 magic;
 151
 152         u64 openclose_args_pa;  /* physical address of open and close args */
 153         u64 GPs_pa;             /* physical address of Get/Put values */
 154
 155         u64 chctl_amo_pa;       /* physical address of chctl flags' amo */
 156
 157         int notify_IRQ_nasid;   /* nasid of where to send notify IRQs */
 158         int notify_IRQ_phys_cpuid;      /* CPUID of where to send notify IRQs */
 159
 160         u8 nchannels;           /* #of defined channels supported */
 161
 162         u8 reserved[23];        /* pad to a full 64 bytes */
 163 };
 164
 165 /*
 166  * The vars_part MAGIC numbers play a part in the first contact protocol.
 167  *
 168  * MAGIC1 indicates that the per partition specific variables for a remote
 169  * partition have been initialized by this partition.
 170  *
 171  * MAGIC2 indicates that this partition has pulled the remote partititions
 172  * per partition variables that pertain to this partition.
 173  */
 174 #define XPC_VP_MAGIC1   0x0053524156435058L   /* 'XPCVARS\0'L (little endian) */
 175 #define XPC_VP_MAGIC2   0x0073726176435058L   /* 'XPCvars\0'L (little endian) */
 176
 177 /* the reserved page sizes and offsets */
 178
 179 #define XPC_RP_HEADER_SIZE      L1_CACHE_ALIGN(sizeof(struct xpc_rsvd_page))
 180 #define XPC_RP_VARS_SIZE        L1_CACHE_ALIGN(sizeof(struct xpc_vars_sn2))
 181
 182 #define XPC_RP_PART_NASIDS(_rp) ((u64 *)((u8 *)(_rp) + XPC_RP_HEADER_SIZE))
 183 #define XPC_RP_MACH_NASIDS(_rp) (XPC_RP_PART_NASIDS(_rp) + \
 184                                  xpc_nasid_mask_nlongs)
 185 #define XPC_RP_VARS(_rp)        ((struct xpc_vars_sn2 *) \
 186                                  (XPC_RP_MACH_NASIDS(_rp) + \
 187                                   xpc_nasid_mask_nlongs))
 188
 189 /*
 190  * Functions registered by add_timer() or called by kernel_thread() only
 191  * allow for a single 64-bit argument. The following macros can be used to
 192  * pack and unpack two (32-bit, 16-bit or 8-bit) arguments into or out from
 193  * the passed argument.
 194  */
 195 #define XPC_PACK_ARGS(_arg1, _arg2) \
 196                         ((((u64)_arg1) & 0xffffffff) | \
 197                         ((((u64)_arg2) & 0xffffffff) << 32))
 198
 199 #define XPC_UNPACK_ARG1(_args)  (((u64)_args) & 0xffffffff)
 200 #define XPC_UNPACK_ARG2(_args)  ((((u64)_args) >> 32) & 0xffffffff)
 201
 202 /*
 203  * Define a Get/Put value pair (pointers) used with a message queue.
 204  */
 205 struct xpc_gp {
 206         s64 get;                /* Get value */
 207         s64 put;                /* Put value */
 208 };
 209
 210 #define XPC_GP_SIZE \
 211                 L1_CACHE_ALIGN(sizeof(struct xpc_gp) * XPC_MAX_NCHANNELS)
 212
 213 /*
 214  * Define a structure that contains arguments associated with opening and
 215  * closing a channel.
 216  */
 217 struct xpc_openclose_args {
 218         u16 reason;             /* reason why channel is closing */
 219         u16 msg_size;           /* sizeof each message entry */
 220         u16 remote_nentries;    /* #of message entries in remote msg queue */
 221         u16 local_nentries;     /* #of message entries in local msg queue */
 222         u64 local_msgqueue_pa;  /* physical address of local message queue */
 223 };
 224
 225 #define XPC_OPENCLOSE_ARGS_SIZE \
 226               L1_CACHE_ALIGN(sizeof(struct xpc_openclose_args) * \
 227               XPC_MAX_NCHANNELS)
 228
 229 /* struct xpc_msg flags */
 230
 231 #define XPC_M_DONE              0x01    /* msg has been received/consumed */
 232 #define XPC_M_READY             0x02    /* msg is ready to be sent */
 233 #define XPC_M_INTERRUPT         0x04    /* send interrupt when msg consumed */
 234
 235 #define XPC_MSG_ADDRESS(_payload) \
 236                 ((struct xpc_msg *)((u8 *)(_payload) - XPC_MSG_PAYLOAD_OFFSET))
 237
 238 /*
 239  * Defines notify entry.
 240  *
 241  * This is used to notify a message's sender that their message was received
 242  * and consumed by the intended recipient.
 243  */
 244 struct xpc_notify {
 245         u8 type;                /* type of notification */
 246
 247         /* the following two fields are only used if type == XPC_N_CALL */
 248         xpc_notify_func func;   /* user's notify function */
 249         void *key;              /* pointer to user's key */
 250 };
 251
 252 /* struct xpc_notify type of notification */
 253
 254 #define XPC_N_CALL              0x01    /* notify function provided by user */
 255
 256 /*
 257  * Define the structure that manages all the stuff required by a channel. In
 258  * particular, they are used to manage the messages sent across the channel.
 259  *
 260  * This structure is private to a partition, and is NOT shared across the
 261  * partition boundary.
 262  *
 263  * There is an array of these structures for each remote partition. It is
 264  * allocated at the time a partition becomes active. The array contains one
 265  * of these structures for each potential channel connection to that partition.
 266  */
 267
 268 /*
 269  * The following is sn2 only.
 270  *
 271  * Each channel structure manages two message queues (circular buffers).
 272  * They are allocated at the time a channel connection is made. One of
 273  * these message queues (local_msgqueue) holds the locally created messages
 274  * that are destined for the remote partition. The other of these message
 275  * queues (remote_msgqueue) is a locally cached copy of the remote partition's
 276  * own local_msgqueue.
 277  *
 278  * The following is a description of the Get/Put pointers used to manage these
 279  * two message queues. Consider the local_msgqueue to be on one partition
 280  * and the remote_msgqueue to be its cached copy on another partition. A
 281  * description of what each of the lettered areas contains is included.
 282  *
 283  *
 284  *                     local_msgqueue      remote_msgqueue
 285  *
 286  *                        |/////////|      |/////////|
 287  *    w_remote_GP.get --> +---------+      |/////////|
 288  *                        |    F    |      |/////////|
 289  *     remote_GP.get  --> +---------+      +---------+ <-- local_GP->get
 290  *                        |         |      |         |
 291  *                        |         |      |    E    |
 292  *                        |         |      |         |
 293  *                        |         |      +---------+ <-- w_local_GP.get
 294  *                        |    B    |      |/////////|
 295  *                        |         |      |////D////|
 296  *                        |         |      |/////////|
 297  *                        |         |      +---------+ <-- w_remote_GP.put
 298  *                        |         |      |////C////|
 299  *      local_GP->put --> +---------+      +---------+ <-- remote_GP.put
 300  *                        |         |      |/////////|
 301  *                        |    A    |      |/////////|
 302  *                        |         |      |/////////|
 303  *     w_local_GP.put --> +---------+      |/////////|
 304  *                        |/////////|      |/////////|
 305  *
 306  *
 307  *          ( remote_GP.[get|put] are cached copies of the remote
 308  *            partition's local_GP->[get|put], and thus their values can
 309  *            lag behind their counterparts on the remote partition. )
 310  *
 311  *
 312  *  A - Messages that have been allocated, but have not yet been sent to the
 313  *      remote partition.
 314  *
 315  *  B - Messages that have been sent, but have not yet been acknowledged by the
 316  *      remote partition as having been received.
 317  *
 318  *  C - Area that needs to be prepared for the copying of sent messages, by
 319  *      the clearing of the message flags of any previously received messages.
 320  *
 321  *  D - Area into which sent messages are to be copied from the remote
 322  *      partition's local_msgqueue and then delivered to their intended
 323  *      recipients. [ To allow for a multi-message copy, another pointer
 324  *      (next_msg_to_pull) has been added to keep track of the next message
 325  *      number needing to be copied (pulled). It chases after w_remote_GP.put.
 326  *      Any messages lying between w_local_GP.get and next_msg_to_pull have
 327  *      been copied and are ready to be delivered. ]
 328  *
 329  *  E - Messages that have been copied and delivered, but have not yet been
 330  *      acknowledged by the recipient as having been received.
 331  *
 332  *  F - Messages that have been acknowledged, but XPC has not yet notified the
 333  *      sender that the message was received by its intended recipient.
 334  *      This is also an area that needs to be prepared for the allocating of
 335  *      new messages, by the clearing of the message flags of the acknowledged
 336  *      messages.
 337  */
 338
 339 struct xpc_channel_sn2 {
 340
 341         /* various flavors of local and remote Get/Put values */
 342
 343         struct xpc_gp *local_GP;        /* local Get/Put values */
 344         struct xpc_gp remote_GP;        /* remote Get/Put values */
 345         struct xpc_gp w_local_GP;       /* working local Get/Put values */
 346         struct xpc_gp w_remote_GP;      /* working remote Get/Put values */
 347         s64 next_msg_to_pull;   /* Put value of next msg to pull */
 348
 349         struct mutex msg_to_pull_mutex; /* next msg to pull serialization */
 350 };
 351
 352 struct xpc_channel_uv {
 353         /* !!! code is coming */
 354 };
 355
 356 struct xpc_channel {
 357         short partid;           /* ID of remote partition connected */
 358         spinlock_t lock;        /* lock for updating this structure */
 359         u32 flags;              /* general flags */
 360
 361         enum xp_retval reason;  /* reason why channel is disconnect'g */
 362         int reason_line;        /* line# disconnect initiated from */
 363
 364         u16 number;             /* channel # */
 365
 366         u16 msg_size;           /* sizeof each msg entry */
 367         u16 local_nentries;     /* #of msg entries in local msg queue */
 368         u16 remote_nentries;    /* #of msg entries in remote msg queue */
 369
 370         void *local_msgqueue_base;      /* base address of kmalloc'd space */
 371         struct xpc_msg *local_msgqueue; /* local message queue */
 372         void *remote_msgqueue_base;     /* base address of kmalloc'd space */
 373         struct xpc_msg *remote_msgqueue; /* cached copy of remote partition's */
 374                                          /* local message queue */
 375         u64 remote_msgqueue_pa; /* phys addr of remote partition's */
 376                                 /* local message queue */
 377
 378         atomic_t references;    /* #of external references to queues */
 379
 380         atomic_t n_on_msg_allocate_wq;  /* #on msg allocation wait queue */
 381         wait_queue_head_t msg_allocate_wq;      /* msg allocation wait queue */
 382
 383         u8 delayed_chctl_flags; /* chctl flags received, but delayed */
 384                                 /* action until channel disconnected */
 385
 386         /* queue of msg senders who want to be notified when msg received */
 387
 388         atomic_t n_to_notify;   /* #of msg senders to notify */
 389         struct xpc_notify *notify_queue;    /* notify queue for messages sent */
 390
 391         xpc_channel_func func;  /* user's channel function */
 392         void *key;              /* pointer to user's key */
 393
 394         struct completion wdisconnect_wait;    /* wait for channel disconnect */
 395
 396         struct xpc_openclose_args *local_openclose_args; /* args passed on */
 397                                              /* opening or closing of channel */
 398
 399         /* kthread management related fields */
 400
 401         atomic_t kthreads_assigned;     /* #of kthreads assigned to channel */
 402         u32 kthreads_assigned_limit;    /* limit on #of kthreads assigned */
 403         atomic_t kthreads_idle; /* #of kthreads idle waiting for work */
 404         u32 kthreads_idle_limit;        /* limit on #of kthreads idle */
 405         atomic_t kthreads_active;       /* #of kthreads actively working */
 406
 407         wait_queue_head_t idle_wq;      /* idle kthread wait queue */
 408
 409         union {
 410                 struct xpc_channel_sn2 sn2;
 411                 struct xpc_channel_uv uv;
 412         } sn;
 413
 414 } ____cacheline_aligned;
 415
 416 /* struct xpc_channel flags */
 417
 418 #define XPC_C_WASCONNECTED      0x00000001      /* channel was connected */
 419
 420 #define XPC_C_ROPENREPLY        0x00000002      /* remote open channel reply */
 421 #define XPC_C_OPENREPLY         0x00000004      /* local open channel reply */
 422 #define XPC_C_ROPENREQUEST      0x00000008     /* remote open channel request */
 423 #define XPC_C_OPENREQUEST       0x00000010      /* local open channel request */
 424
 425 #define XPC_C_SETUP             0x00000020 /* channel's msgqueues are alloc'd */
 426 #define XPC_C_CONNECTEDCALLOUT  0x00000040     /* connected callout initiated */
 427 #define XPC_C_CONNECTEDCALLOUT_MADE \
 428                                 0x00000080     /* connected callout completed */
 429 #define XPC_C_CONNECTED         0x00000100      /* local channel is connected */
 430 #define XPC_C_CONNECTING        0x00000200      /* channel is being connected */
 431
 432 #define XPC_C_RCLOSEREPLY       0x00000400      /* remote close channel reply */
 433 #define XPC_C_CLOSEREPLY        0x00000800      /* local close channel reply */
 434 #define XPC_C_RCLOSEREQUEST     0x00001000    /* remote close channel request */
 435 #define XPC_C_CLOSEREQUEST      0x00002000     /* local close channel request */
 436
 437 #define XPC_C_DISCONNECTED      0x00004000      /* channel is disconnected */
 438 #define XPC_C_DISCONNECTING     0x00008000   /* channel is being disconnected */
 439 #define XPC_C_DISCONNECTINGCALLOUT \
 440                                 0x00010000 /* disconnecting callout initiated */
 441 #define XPC_C_DISCONNECTINGCALLOUT_MADE \
 442                                 0x00020000 /* disconnecting callout completed */
 443 #define XPC_C_WDISCONNECT       0x00040000  /* waiting for channel disconnect */
 444
 445 /*
 446  * The channel control flags (chctl) union consists of a 64-bit variable which
 447  * is divided up into eight bytes, ordered from right to left. Byte zero
 448  * pertains to channel 0, byte one to channel 1, and so on. Each channel's byte
 449  * can have one or more of the chctl flags set in it.
 450  */
 451
 452 union xpc_channel_ctl_flags {
 453         u64 all_flags;
 454         u8 flags[XPC_MAX_NCHANNELS];
 455 };
 456
 457 /* chctl flags */
 458 #define XPC_CHCTL_CLOSEREQUEST  0x01
 459 #define XPC_CHCTL_CLOSEREPLY    0x02
 460 #define XPC_CHCTL_OPENREQUEST   0x04
 461 #define XPC_CHCTL_OPENREPLY     0x08
 462 #define XPC_CHCTL_MSGREQUEST    0x10
 463
 464 #define XPC_OPENCLOSE_CHCTL_FLAGS \
 465                         (XPC_CHCTL_CLOSEREQUEST | XPC_CHCTL_CLOSEREPLY | \
 466                          XPC_CHCTL_OPENREQUEST | XPC_CHCTL_OPENREPLY)
 467 #define XPC_MSG_CHCTL_FLAGS     XPC_CHCTL_MSGREQUEST
 468
 469 static inline int
 470 xpc_any_openclose_chctl_flags_set(union xpc_channel_ctl_flags *chctl)
 471 {
 472         int ch_number;
 473
 474         for (ch_number = 0; ch_number < XPC_MAX_NCHANNELS; ch_number++) {
 475                 if (chctl->flags[ch_number] & XPC_OPENCLOSE_CHCTL_FLAGS)
 476                         return 1;
 477         }
 478         return 0;
 479 }
 480
 481 static inline int
 482 xpc_any_msg_chctl_flags_set(union xpc_channel_ctl_flags *chctl)
 483 {
 484         int ch_number;
 485
 486         for (ch_number = 0; ch_number < XPC_MAX_NCHANNELS; ch_number++) {
 487                 if (chctl->flags[ch_number] & XPC_MSG_CHCTL_FLAGS)
 488                         return 1;
 489         }
 490         return 0;
 491 }
 492
 493 /*
 494  * Manage channels on a partition basis. There is one of these structures
 495  * for each partition (a partition will never utilize the structure that
 496  * represents itself).
 497  */
 498
 499 struct xpc_partition_sn2 {
 500         u64 remote_amos_page_pa;        /* phys addr of partition's amos page */
 501         int activate_IRQ_nasid; /* active partition's act/deact nasid */
 502         int activate_IRQ_phys_cpuid;    /* active part's act/deact phys cpuid */
 503
 504         u64 remote_vars_pa;     /* phys addr of partition's vars */
 505         u64 remote_vars_part_pa;        /* phys addr of partition's vars part */
 506         u8 remote_vars_version; /* version# of partition's vars */
 507
 508         void *local_GPs_base;   /* base address of kmalloc'd space */
 509         struct xpc_gp *local_GPs;       /* local Get/Put values */
 510         void *remote_GPs_base;  /* base address of kmalloc'd space */
 511         struct xpc_gp *remote_GPs;      /* copy of remote partition's local */
 512                                         /* Get/Put values */
 513         u64 remote_GPs_pa;      /* phys address of remote partition's local */
 514                                 /* Get/Put values */
 515
 516         u64 remote_openclose_args_pa;   /* phys addr of remote's args */
 517
 518         int notify_IRQ_nasid;   /* nasid of where to send notify IRQs */
 519         int notify_IRQ_phys_cpuid;      /* CPUID of where to send notify IRQs */
 520         char notify_IRQ_owner[8];       /* notify IRQ's owner's name */
 521
 522         struct amo *remote_chctl_amo_va; /* addr of remote chctl flags' amo */
 523         struct amo *local_chctl_amo_va; /* address of chctl flags' amo */
 524
 525         struct timer_list dropped_notify_IRQ_timer;     /* dropped IRQ timer */
 526 };
 527
 528 struct xpc_partition_uv {
 529         /* !!! code is coming */
 530 };
 531
 532 struct xpc_partition {
 533
 534         /* XPC HB infrastructure */
 535
 536         u8 remote_rp_version;   /* version# of partition's rsvd pg */
 537         unsigned long remote_rp_ts_jiffies; /* timestamp when rsvd pg setup */
 538         u64 remote_rp_pa;       /* phys addr of partition's rsvd pg */
 539         u64 last_heartbeat;     /* HB at last read */
 540         u32 activate_IRQ_rcvd;  /* IRQs since activation */
 541         spinlock_t act_lock;    /* protect updating of act_state */
 542         u8 act_state;           /* from XPC HB viewpoint */
 543         enum xp_retval reason;  /* reason partition is deactivating */
 544         int reason_line;        /* line# deactivation initiated from */
 545
 546         unsigned long disengage_timeout;        /* timeout in jiffies */
 547         struct timer_list disengage_timer;
 548
 549         /* XPC infrastructure referencing and teardown control */
 550
 551         u8 setup_state;         /* infrastructure setup state */
 552         wait_queue_head_t teardown_wq;  /* kthread waiting to teardown infra */
 553         atomic_t references;    /* #of references to infrastructure */
 554
 555         u8 nchannels;           /* #of defined channels supported */
 556         atomic_t nchannels_active;  /* #of channels that are not DISCONNECTED */
 557         atomic_t nchannels_engaged;  /* #of channels engaged with remote part */
 558         struct xpc_channel *channels;   /* array of channel structures */
 559
 560         /* fields used for managing channel avialability and activity */
 561
 562         union xpc_channel_ctl_flags chctl; /* chctl flags yet to be processed */
 563         spinlock_t chctl_lock;  /* chctl flags lock */
 564
 565         void *local_openclose_args_base;   /* base address of kmalloc'd space */
 566         struct xpc_openclose_args *local_openclose_args;      /* local's args */
 567         void *remote_openclose_args_base;  /* base address of kmalloc'd space */
 568         struct xpc_openclose_args *remote_openclose_args; /* copy of remote's */
 569                                                           /* args */
 570
 571         /* channel manager related fields */
 572
 573         atomic_t channel_mgr_requests;  /* #of requests to activate chan mgr */
 574         wait_queue_head_t channel_mgr_wq;       /* channel mgr's wait queue */
 575
 576         union {
 577                 struct xpc_partition_sn2 sn2;
 578                 struct xpc_partition_uv uv;
 579         } sn;
 580
 581 } ____cacheline_aligned;
 582
 583 /* struct xpc_partition act_state values (for XPC HB) */
 584
 585 #define XPC_P_INACTIVE          0x00    /* partition is not active */
 586 #define XPC_P_ACTIVATION_REQ    0x01    /* created thread to activate */
 587 #define XPC_P_ACTIVATING        0x02    /* activation thread started */
 588 #define XPC_P_ACTIVE            0x03    /* xpc_partition_up() was called */
 589 #define XPC_P_DEACTIVATING      0x04    /* partition deactivation initiated */
 590
 591 #define XPC_DEACTIVATE_PARTITION(_p, _reason) \
 592                         xpc_deactivate_partition(__LINE__, (_p), (_reason))
 593
 594 /* struct xpc_partition setup_state values */
 595
 596 #define XPC_P_UNSET             0x00    /* infrastructure was never setup */
 597 #define XPC_P_SETUP             0x01    /* infrastructure is setup */
 598 #define XPC_P_WTEARDOWN         0x02    /* waiting to teardown infrastructure */
 599 #define XPC_P_TORNDOWN          0x03    /* infrastructure is torndown */
 600
 601 /*
 602  * struct xpc_partition_sn2's dropped notify IRQ timer is set to wait the
 603  * following interval #of seconds before checking for dropped notify IRQs.
 604  * These can occur whenever an IRQ's associated amo write doesn't complete
 605  * until after the IRQ was received.
 606  */
 607 #define XPC_DROPPED_NOTIFY_IRQ_WAIT_INTERVAL    (0.25 * HZ)
 608
 609 /* number of seconds to wait for other partitions to disengage */
 610 #define XPC_DISENGAGE_DEFAULT_TIMELIMIT         90
 611
 612 /* interval in seconds to print 'waiting deactivation' messages */
 613 #define XPC_DEACTIVATE_PRINTMSG_INTERVAL        10
 614
 615 #define XPC_PARTID(_p)  ((short)((_p) - &xpc_partitions[0]))
 616
 617 /* found in xp_main.c */
 618 extern struct xpc_registration xpc_registrations[];
 619
 620 /* found in xpc_main.c */
 621 extern struct device *xpc_part;
 622 extern struct device *xpc_chan;
 623 extern int xpc_disengage_timelimit;
 624 extern int xpc_disengage_timedout;
 625 extern atomic_t xpc_activate_IRQ_rcvd;
 626 extern wait_queue_head_t xpc_activate_IRQ_wq;
 627 extern void *xpc_heartbeating_to_mask;
 628 extern void xpc_activate_partition(struct xpc_partition *);
 629 extern void xpc_activate_kthreads(struct xpc_channel *, int);
 630 extern void xpc_create_kthreads(struct xpc_channel *, int, int);
 631 extern void xpc_disconnect_wait(int);
 632 extern enum xp_retval (*xpc_rsvd_page_init) (struct xpc_rsvd_page *);
 633 extern void (*xpc_heartbeat_init) (void);
 634 extern void (*xpc_heartbeat_exit) (void);
 635 extern void (*xpc_increment_heartbeat) (void);
 636 extern void (*xpc_offline_heartbeat) (void);
 637 extern void (*xpc_online_heartbeat) (void);
 638 extern void (*xpc_check_remote_hb) (void);
 639 extern enum xp_retval (*xpc_make_first_contact) (struct xpc_partition *);
 640 extern u64 (*xpc_get_chctl_all_flags) (struct xpc_partition *);
 641 extern enum xp_retval (*xpc_allocate_msgqueues) (struct xpc_channel *);
 642 extern void (*xpc_free_msgqueues) (struct xpc_channel *);
 643 extern void (*xpc_notify_senders_of_disconnect) (struct xpc_channel *);
 644 extern void (*xpc_process_msg_chctl_flags) (struct xpc_partition *, int);
 645 extern int (*xpc_n_of_deliverable_msgs) (struct xpc_channel *);
 646 extern struct xpc_msg *(*xpc_get_deliverable_msg) (struct xpc_channel *);
 647 extern void (*xpc_request_partition_activation) (struct xpc_rsvd_page *, u64,
 648                                                  int);
 649 extern void (*xpc_request_partition_reactivation) (struct xpc_partition *);
 650 extern void (*xpc_request_partition_deactivation) (struct xpc_partition *);
 651 extern void (*xpc_cancel_partition_deactivation_request) (
 652                                                         struct xpc_partition *);
 653 extern void (*xpc_process_activate_IRQ_rcvd) (int);
 654 extern enum xp_retval (*xpc_setup_infrastructure) (struct xpc_partition *);
 655 extern void (*xpc_teardown_infrastructure) (struct xpc_partition *);
 656
 657 extern void (*xpc_indicate_partition_engaged) (struct xpc_partition *);
 658 extern int (*xpc_partition_engaged) (short);
 659 extern int (*xpc_any_partition_engaged) (void);
 660 extern void (*xpc_indicate_partition_disengaged) (struct xpc_partition *);
 661 extern void (*xpc_assume_partition_disengaged) (short);
 662
 663 extern void (*xpc_send_chctl_closerequest) (struct xpc_channel *,
 664                                             unsigned long *);
 665 extern void (*xpc_send_chctl_closereply) (struct xpc_channel *,
 666                                           unsigned long *);
 667 extern void (*xpc_send_chctl_openrequest) (struct xpc_channel *,
 668                                            unsigned long *);
 669 extern void (*xpc_send_chctl_openreply) (struct xpc_channel *, unsigned long *);
 670
 671 extern enum xp_retval (*xpc_send_msg) (struct xpc_channel *, u32, void *, u16,
 672                                        u8, xpc_notify_func, void *);
 673 extern void (*xpc_received_msg) (struct xpc_channel *, struct xpc_msg *);
 674
 675 /* found in xpc_sn2.c */
 676 extern int xpc_init_sn2(void);
 677 extern void xpc_exit_sn2(void);
 678
 679 /* found in xpc_uv.c */
 680 extern void xpc_init_uv(void);
 681 extern void xpc_exit_uv(void);
 682
 683 /* found in xpc_partition.c */
 684 extern int xpc_exiting;
 685 extern int xpc_nasid_mask_nlongs;
 686 extern struct xpc_rsvd_page *xpc_rsvd_page;
 687 extern unsigned long *xpc_mach_nasids;
 688 extern struct xpc_partition *xpc_partitions;
 689 extern void *xpc_kmalloc_cacheline_aligned(size_t, gfp_t, void **);
 690 extern struct xpc_rsvd_page *xpc_setup_rsvd_page(void);
 691 extern int xpc_identify_activate_IRQ_sender(void);
 692 extern int xpc_partition_disengaged(struct xpc_partition *);
 693 extern enum xp_retval xpc_mark_partition_active(struct xpc_partition *);
 694 extern void xpc_mark_partition_inactive(struct xpc_partition *);
 695 extern void xpc_discovery(void);
 696 extern enum xp_retval xpc_get_remote_rp(int, unsigned long *,
 697                                         struct xpc_rsvd_page *, u64 *);
 698 extern void xpc_deactivate_partition(const int, struct xpc_partition *,
 699                                      enum xp_retval);
 700 extern enum xp_retval xpc_initiate_partid_to_nasids(short, void *);
 701
 702 /* found in xpc_channel.c */
 703 extern void xpc_initiate_connect(int);
 704 extern void xpc_initiate_disconnect(int);
 705 extern enum xp_retval xpc_allocate_msg_wait(struct xpc_channel *);
 706 extern enum xp_retval xpc_initiate_send(short, int, u32, void *, u16);
 707 extern enum xp_retval xpc_initiate_send_notify(short, int, u32, void *, u16,
 708                                                xpc_notify_func, void *);
 709 extern void xpc_initiate_received(short, int, void *);
 710 extern void xpc_process_sent_chctl_flags(struct xpc_partition *);
 711 extern void xpc_connected_callout(struct xpc_channel *);
 712 extern void xpc_deliver_msg(struct xpc_channel *);
 713 extern void xpc_disconnect_channel(const int, struct xpc_channel *,
 714                                    enum xp_retval, unsigned long *);
 715 extern void xpc_disconnect_callout(struct xpc_channel *, enum xp_retval);
 716 extern void xpc_partition_going_down(struct xpc_partition *, enum xp_retval);
 717
 718 static inline int
 719 xpc_hb_allowed(short partid, void *heartbeating_to_mask)
 720 {
 721         return test_bit(partid, heartbeating_to_mask);
 722 }
 723
 724 static inline int
 725 xpc_any_hbs_allowed(void)
 726 {
 727         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 728         return !bitmap_empty(xpc_heartbeating_to_mask, xp_max_npartitions);
 729 }
 730
 731 static inline void
 732 xpc_allow_hb(short partid)
 733 {
 734         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 735         set_bit(partid, xpc_heartbeating_to_mask);
 736 }
 737
 738 static inline void
 739 xpc_disallow_hb(short partid)
 740 {
 741         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 742         clear_bit(partid, xpc_heartbeating_to_mask);
 743 }
 744
 745 static inline void
 746 xpc_disallow_all_hbs(void)
 747 {
 748         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 749         bitmap_zero(xpc_heartbeating_to_mask, xp_max_npartitions);
 750 }
 751
 752 static inline void
 753 xpc_wakeup_channel_mgr(struct xpc_partition *part)
 754 {
 755         if (atomic_inc_return(&part->channel_mgr_requests) == 1)
 756                 wake_up(&part->channel_mgr_wq);
 757 }
 758
 759 /*
 760  * These next two inlines are used to keep us from tearing down a channel's
 761  * msg queues while a thread may be referencing them.
 762  */
 763 static inline void
 764 xpc_msgqueue_ref(struct xpc_channel *ch)
 765 {
 766         atomic_inc(&ch->references);
 767 }
 768
 769 static inline void
 770 xpc_msgqueue_deref(struct xpc_channel *ch)
 771 {
 772         s32 refs = atomic_dec_return(&ch->references);
 773
 774         DBUG_ON(refs < 0);
 775         if (refs == 0)
 776                 xpc_wakeup_channel_mgr(&xpc_partitions[ch->partid]);
 777 }
 778
 779 #define XPC_DISCONNECT_CHANNEL(_ch, _reason, _irqflgs) \
 780                 xpc_disconnect_channel(__LINE__, _ch, _reason, _irqflgs)
 781
 782 /*
 783  * These two inlines are used to keep us from tearing down a partition's
 784  * setup infrastructure while a thread may be referencing it.
 785  */
 786 static inline void
 787 xpc_part_deref(struct xpc_partition *part)
 788 {
 789         s32 refs = atomic_dec_return(&part->references);
 790
 791         DBUG_ON(refs < 0);
 792         if (refs == 0 && part->setup_state == XPC_P_WTEARDOWN)
 793                 wake_up(&part->teardown_wq);
 794 }
 795
 796 static inline int
 797 xpc_part_ref(struct xpc_partition *part)
 798 {
 799         int setup;
 800
 801         atomic_inc(&part->references);
 802         setup = (part->setup_state == XPC_P_SETUP);
 803         if (!setup)
 804                 xpc_part_deref(part);
 805
 806         return setup;
 807 }
 808
 809 /*
 810  * The following macro is to be used for the setting of the reason and
 811  * reason_line fields in both the struct xpc_channel and struct xpc_partition
 812  * structures.
 813  */
 814 #define XPC_SET_REASON(_p, _reason, _line) \
 815         { \
 816                 (_p)->reason = _reason; \
 817                 (_p)->reason_line = _line; \
 818         }
 819
 820 #endif /* _DRIVERS_MISC_SGIXP_XPC_H */