drivers/misc/sgi-xp/xpc.h

   1 /*
   2  * This file is subject to the terms and conditions of the GNU General Public
   3  * License.  See the file "COPYING" in the main directory of this archive
   4  * for more details.
   5  *
   6  * Copyright (c) 2004-2008 Silicon Graphics, Inc.  All Rights Reserved.
   7  */
   8
   9 /*
  10  * Cross Partition Communication (XPC) structures and macros.
  11  */
  12
  13 #ifndef _DRIVERS_MISC_SGIXP_XPC_H
  14 #define _DRIVERS_MISC_SGIXP_XPC_H
  15
  16 #include <linux/wait.h>
  17 #include <linux/completion.h>
  18 #include <linux/timer.h>
  19 #include <linux/sched.h>
  20 #include "xp.h"
  21
  22 /*
  23  * XPC Version numbers consist of a major and minor number. XPC can always
  24  * talk to versions with same major #, and never talk to versions with a
  25  * different major #.
  26  */
  27 #define _XPC_VERSION(_maj, _min)        (((_maj) << 4) | ((_min) & 0xf))
  28 #define XPC_VERSION_MAJOR(_v)           ((_v) >> 4)
  29 #define XPC_VERSION_MINOR(_v)           ((_v) & 0xf)
  30
  31 /* define frequency of the heartbeat and frequency how often it's checked */
  32 #define XPC_HB_DEFAULT_INTERVAL         5       /* incr HB every x secs */
  33 #define XPC_HB_CHECK_DEFAULT_INTERVAL   20      /* check HB every x secs */
  34
  35 /* define the process name of HB checker and the CPU it is pinned to */
  36 #define XPC_HB_CHECK_THREAD_NAME        "xpc_hb"
  37 #define XPC_HB_CHECK_CPU                0
  38
  39 /* define the process name of the discovery thread */
  40 #define XPC_DISCOVERY_THREAD_NAME       "xpc_discovery"
  41
  42 /*
  43  * the reserved page
  44  *
  45  *   SAL reserves one page of memory per partition for XPC. Though a full page
  46  *   in length (16384 bytes), its starting address is not page aligned, but it
  47  *   is cacheline aligned. The reserved page consists of the following:
  48  *
  49  *   reserved page header
  50  *
  51  *     The first two 64-byte cachelines of the reserved page contain the
  52  *     header (struct xpc_rsvd_page). Before SAL initialization has completed,
  53  *     SAL has set up the following fields of the reserved page header:
  54  *     SAL_signature, SAL_version, SAL_partid, and SAL_nasids_size. The
  55  *     other fields are set up by XPC. (xpc_rsvd_page points to the local
  56  *     partition's reserved page.)
  57  *
  58  *   part_nasids mask
  59  *   mach_nasids mask
  60  *
  61  *     SAL also sets up two bitmaps (or masks), one that reflects the actual
  62  *     nasids in this partition (part_nasids), and the other that reflects
  63  *     the actual nasids in the entire machine (mach_nasids). We're only
  64  *     interested in the even numbered nasids (which contain the processors
  65  *     and/or memory), so we only need half as many bits to represent the
  66  *     nasids. When mapping nasid to bit in a mask (or bit to nasid) be sure
  67  *     to either divide or multiply by 2. The part_nasids mask is located
  68  *     starting at the first cacheline following the reserved page header. The
  69  *     mach_nasids mask follows right after the part_nasids mask. The size in
  70  *     bytes of each mask is reflected by the reserved page header field
  71  *     'SAL_nasids_size'. (Local partition's mask pointers are xpc_part_nasids
  72  *     and xpc_mach_nasids.)
  73  *
  74  *   vars       (ia64-sn2 only)
  75  *   vars part  (ia64-sn2 only)
  76  *
  77  *     Immediately following the mach_nasids mask are the XPC variables
  78  *     required by other partitions. First are those that are generic to all
  79  *     partitions (vars), followed on the next available cacheline by those
  80  *     which are partition specific (vars part). These are setup by XPC.
  81  *     (Local partition's vars pointers are xpc_vars and xpc_vars_part.)
  82  *
  83  * Note: Until 'ts_jiffies' is set non-zero, the partition XPC code has not been
  84  *       initialized.
  85  */
  86 struct xpc_rsvd_page {
  87         u64 SAL_signature;      /* SAL: unique signature */
  88         u64 SAL_version;        /* SAL: version */
  89         short SAL_partid;       /* SAL: partition ID */
  90         short max_npartitions;  /* value of XPC_MAX_PARTITIONS */
  91         u8 version;
  92         u8 pad1[3];             /* align to next u64 in 1st 64-byte cacheline */
  93         union {
  94                 u64 vars_pa;    /* physical address of struct xpc_vars */
  95                 u64 activate_mq_gpa;    /* global phys address of activate_mq */
  96         } sn;
  97         unsigned long ts_jiffies; /* timestamp when rsvd pg was setup by XPC */
  98         u64 pad2[10];           /* align to last u64 in 2nd 64-byte cacheline */
  99         u64 SAL_nasids_size;    /* SAL: size of each nasid mask in bytes */
 100 };
 101
 102 #define XPC_RP_VERSION _XPC_VERSION(2, 0) /* version 2.0 of the reserved page */
 103
 104 /*
 105  * Define the structures by which XPC variables can be exported to other
 106  * partitions. (There are two: struct xpc_vars and struct xpc_vars_part)
 107  */
 108
 109 /*
 110  * The following structure describes the partition generic variables
 111  * needed by other partitions in order to properly initialize.
 112  *
 113  * struct xpc_vars version number also applies to struct xpc_vars_part.
 114  * Changes to either structure and/or related functionality should be
 115  * reflected by incrementing either the major or minor version numbers
 116  * of struct xpc_vars.
 117  */
 118 struct xpc_vars_sn2 {
 119         u8 version;
 120         u64 heartbeat;
 121         DECLARE_BITMAP(heartbeating_to_mask, XP_MAX_NPARTITIONS_SN2);
 122         u64 heartbeat_offline;  /* if 0, heartbeat should be changing */
 123         int activate_IRQ_nasid;
 124         int activate_IRQ_phys_cpuid;
 125         u64 vars_part_pa;
 126         u64 amos_page_pa;       /* paddr of page of amos from MSPEC driver */
 127         struct amo *amos_page;  /* vaddr of page of amos from MSPEC driver */
 128 };
 129
 130 #define XPC_V_VERSION _XPC_VERSION(3, 1)    /* version 3.1 of the cross vars */
 131
 132 /*
 133  * The following structure describes the per partition specific variables.
 134  *
 135  * An array of these structures, one per partition, will be defined. As a
 136  * partition becomes active XPC will copy the array entry corresponding to
 137  * itself from that partition. It is desirable that the size of this structure
 138  * evenly divides into a 128-byte cacheline, such that none of the entries in
 139  * this array crosses a 128-byte cacheline boundary. As it is now, each entry
 140  * occupies 64-bytes.
 141  */
 142 struct xpc_vars_part_sn2 {
 143         u64 magic;
 144
 145         u64 openclose_args_pa;  /* physical address of open and close args */
 146         u64 GPs_pa;             /* physical address of Get/Put values */
 147
 148         u64 chctl_amo_pa;       /* physical address of chctl flags' amo */
 149
 150         int notify_IRQ_nasid;   /* nasid of where to send notify IRQs */
 151         int notify_IRQ_phys_cpuid;      /* CPUID of where to send notify IRQs */
 152
 153         u8 nchannels;           /* #of defined channels supported */
 154
 155         u8 reserved[23];        /* pad to a full 64 bytes */
 156 };
 157
 158 /*
 159  * The vars_part MAGIC numbers play a part in the first contact protocol.
 160  *
 161  * MAGIC1 indicates that the per partition specific variables for a remote
 162  * partition have been initialized by this partition.
 163  *
 164  * MAGIC2 indicates that this partition has pulled the remote partititions
 165  * per partition variables that pertain to this partition.
 166  */
 167 #define XPC_VP_MAGIC1   0x0053524156435058L   /* 'XPCVARS\0'L (little endian) */
 168 #define XPC_VP_MAGIC2   0x0073726176435058L   /* 'XPCvars\0'L (little endian) */
 169
 170 /* the reserved page sizes and offsets */
 171
 172 #define XPC_RP_HEADER_SIZE      L1_CACHE_ALIGN(sizeof(struct xpc_rsvd_page))
 173 #define XPC_RP_VARS_SIZE        L1_CACHE_ALIGN(sizeof(struct xpc_vars_sn2))
 174
 175 #define XPC_RP_PART_NASIDS(_rp) ((unsigned long *)((u8 *)(_rp) + \
 176                                  XPC_RP_HEADER_SIZE))
 177 #define XPC_RP_MACH_NASIDS(_rp) (XPC_RP_PART_NASIDS(_rp) + \
 178                                  xpc_nasid_mask_nlongs)
 179 #define XPC_RP_VARS(_rp)        ((struct xpc_vars_sn2 *) \
 180                                  (XPC_RP_MACH_NASIDS(_rp) + \
 181                                   xpc_nasid_mask_nlongs))
 182
 183 /*
 184  * Functions registered by add_timer() or called by kernel_thread() only
 185  * allow for a single 64-bit argument. The following macros can be used to
 186  * pack and unpack two (32-bit, 16-bit or 8-bit) arguments into or out from
 187  * the passed argument.
 188  */
 189 #define XPC_PACK_ARGS(_arg1, _arg2) \
 190                         ((((u64)_arg1) & 0xffffffff) | \
 191                         ((((u64)_arg2) & 0xffffffff) << 32))
 192
 193 #define XPC_UNPACK_ARG1(_args)  (((u64)_args) & 0xffffffff)
 194 #define XPC_UNPACK_ARG2(_args)  ((((u64)_args) >> 32) & 0xffffffff)
 195
 196 /*
 197  * Define a Get/Put value pair (pointers) used with a message queue.
 198  */
 199 struct xpc_gp_sn2 {
 200         s64 get;                /* Get value */
 201         s64 put;                /* Put value */
 202 };
 203
 204 #define XPC_GP_SIZE \
 205                 L1_CACHE_ALIGN(sizeof(struct xpc_gp_sn2) * XPC_MAX_NCHANNELS)
 206
 207 /*
 208  * Define a structure that contains arguments associated with opening and
 209  * closing a channel.
 210  */
 211 struct xpc_openclose_args {
 212         u16 reason;             /* reason why channel is closing */
 213         u16 msg_size;           /* sizeof each message entry */
 214         u16 remote_nentries;    /* #of message entries in remote msg queue */
 215         u16 local_nentries;     /* #of message entries in local msg queue */
 216         u64 local_msgqueue_pa;  /* physical address of local message queue */
 217 };
 218
 219 #define XPC_OPENCLOSE_ARGS_SIZE \
 220               L1_CACHE_ALIGN(sizeof(struct xpc_openclose_args) * \
 221               XPC_MAX_NCHANNELS)
 222
 223 /* struct xpc_msg flags */
 224
 225 #define XPC_M_DONE              0x01    /* msg has been received/consumed */
 226 #define XPC_M_READY             0x02    /* msg is ready to be sent */
 227 #define XPC_M_INTERRUPT         0x04    /* send interrupt when msg consumed */
 228
 229 #define XPC_MSG_ADDRESS(_payload) \
 230                 ((struct xpc_msg *)((u8 *)(_payload) - XPC_MSG_PAYLOAD_OFFSET))
 231
 232 /*
 233  * Defines notify entry.
 234  *
 235  * This is used to notify a message's sender that their message was received
 236  * and consumed by the intended recipient.
 237  */
 238 struct xpc_notify {
 239         u8 type;                /* type of notification */
 240
 241         /* the following two fields are only used if type == XPC_N_CALL */
 242         xpc_notify_func func;   /* user's notify function */
 243         void *key;              /* pointer to user's key */
 244 };
 245
 246 /* struct xpc_notify type of notification */
 247
 248 #define XPC_N_CALL              0x01    /* notify function provided by user */
 249
 250 /*
 251  * Define the structure that manages all the stuff required by a channel. In
 252  * particular, they are used to manage the messages sent across the channel.
 253  *
 254  * This structure is private to a partition, and is NOT shared across the
 255  * partition boundary.
 256  *
 257  * There is an array of these structures for each remote partition. It is
 258  * allocated at the time a partition becomes active. The array contains one
 259  * of these structures for each potential channel connection to that partition.
 260  */
 261
 262 /*
 263  * The following is sn2 only.
 264  *
 265  * Each channel structure manages two message queues (circular buffers).
 266  * They are allocated at the time a channel connection is made. One of
 267  * these message queues (local_msgqueue) holds the locally created messages
 268  * that are destined for the remote partition. The other of these message
 269  * queues (remote_msgqueue) is a locally cached copy of the remote partition's
 270  * own local_msgqueue.
 271  *
 272  * The following is a description of the Get/Put pointers used to manage these
 273  * two message queues. Consider the local_msgqueue to be on one partition
 274  * and the remote_msgqueue to be its cached copy on another partition. A
 275  * description of what each of the lettered areas contains is included.
 276  *
 277  *
 278  *                     local_msgqueue      remote_msgqueue
 279  *
 280  *                        |/////////|      |/////////|
 281  *    w_remote_GP.get --> +---------+      |/////////|
 282  *                        |    F    |      |/////////|
 283  *     remote_GP.get  --> +---------+      +---------+ <-- local_GP->get
 284  *                        |         |      |         |
 285  *                        |         |      |    E    |
 286  *                        |         |      |         |
 287  *                        |         |      +---------+ <-- w_local_GP.get
 288  *                        |    B    |      |/////////|
 289  *                        |         |      |////D////|
 290  *                        |         |      |/////////|
 291  *                        |         |      +---------+ <-- w_remote_GP.put
 292  *                        |         |      |////C////|
 293  *      local_GP->put --> +---------+      +---------+ <-- remote_GP.put
 294  *                        |         |      |/////////|
 295  *                        |    A    |      |/////////|
 296  *                        |         |      |/////////|
 297  *     w_local_GP.put --> +---------+      |/////////|
 298  *                        |/////////|      |/////////|
 299  *
 300  *
 301  *          ( remote_GP.[get|put] are cached copies of the remote
 302  *            partition's local_GP->[get|put], and thus their values can
 303  *            lag behind their counterparts on the remote partition. )
 304  *
 305  *
 306  *  A - Messages that have been allocated, but have not yet been sent to the
 307  *      remote partition.
 308  *
 309  *  B - Messages that have been sent, but have not yet been acknowledged by the
 310  *      remote partition as having been received.
 311  *
 312  *  C - Area that needs to be prepared for the copying of sent messages, by
 313  *      the clearing of the message flags of any previously received messages.
 314  *
 315  *  D - Area into which sent messages are to be copied from the remote
 316  *      partition's local_msgqueue and then delivered to their intended
 317  *      recipients. [ To allow for a multi-message copy, another pointer
 318  *      (next_msg_to_pull) has been added to keep track of the next message
 319  *      number needing to be copied (pulled). It chases after w_remote_GP.put.
 320  *      Any messages lying between w_local_GP.get and next_msg_to_pull have
 321  *      been copied and are ready to be delivered. ]
 322  *
 323  *  E - Messages that have been copied and delivered, but have not yet been
 324  *      acknowledged by the recipient as having been received.
 325  *
 326  *  F - Messages that have been acknowledged, but XPC has not yet notified the
 327  *      sender that the message was received by its intended recipient.
 328  *      This is also an area that needs to be prepared for the allocating of
 329  *      new messages, by the clearing of the message flags of the acknowledged
 330  *      messages.
 331  */
 332
 333 struct xpc_channel_sn2 {
 334
 335         /* various flavors of local and remote Get/Put values */
 336
 337         struct xpc_gp_sn2 *local_GP;    /* local Get/Put values */
 338         struct xpc_gp_sn2 remote_GP;    /* remote Get/Put values */
 339         struct xpc_gp_sn2 w_local_GP;   /* working local Get/Put values */
 340         struct xpc_gp_sn2 w_remote_GP;  /* working remote Get/Put values */
 341         s64 next_msg_to_pull;   /* Put value of next msg to pull */
 342
 343         struct mutex msg_to_pull_mutex; /* next msg to pull serialization */
 344 };
 345
 346 struct xpc_channel_uv {
 347         /* !!! code is coming */
 348 };
 349
 350 struct xpc_channel {
 351         short partid;           /* ID of remote partition connected */
 352         spinlock_t lock;        /* lock for updating this structure */
 353         u32 flags;              /* general flags */
 354
 355         enum xp_retval reason;  /* reason why channel is disconnect'g */
 356         int reason_line;        /* line# disconnect initiated from */
 357
 358         u16 number;             /* channel # */
 359
 360         u16 msg_size;           /* sizeof each msg entry */
 361         u16 local_nentries;     /* #of msg entries in local msg queue */
 362         u16 remote_nentries;    /* #of msg entries in remote msg queue */
 363
 364         void *local_msgqueue_base;      /* base address of kmalloc'd space */
 365         struct xpc_msg *local_msgqueue; /* local message queue */
 366         void *remote_msgqueue_base;     /* base address of kmalloc'd space */
 367         struct xpc_msg *remote_msgqueue; /* cached copy of remote partition's */
 368                                          /* local message queue */
 369         u64 remote_msgqueue_pa; /* phys addr of remote partition's */
 370                                 /* local message queue */
 371
 372         atomic_t references;    /* #of external references to queues */
 373
 374         atomic_t n_on_msg_allocate_wq;  /* #on msg allocation wait queue */
 375         wait_queue_head_t msg_allocate_wq;      /* msg allocation wait queue */
 376
 377         u8 delayed_chctl_flags; /* chctl flags received, but delayed */
 378                                 /* action until channel disconnected */
 379
 380         /* queue of msg senders who want to be notified when msg received */
 381
 382         atomic_t n_to_notify;   /* #of msg senders to notify */
 383         struct xpc_notify *notify_queue;    /* notify queue for messages sent */
 384
 385         xpc_channel_func func;  /* user's channel function */
 386         void *key;              /* pointer to user's key */
 387
 388         struct completion wdisconnect_wait;    /* wait for channel disconnect */
 389
 390         struct xpc_openclose_args *local_openclose_args; /* args passed on */
 391                                              /* opening or closing of channel */
 392
 393         /* kthread management related fields */
 394
 395         atomic_t kthreads_assigned;     /* #of kthreads assigned to channel */
 396         u32 kthreads_assigned_limit;    /* limit on #of kthreads assigned */
 397         atomic_t kthreads_idle; /* #of kthreads idle waiting for work */
 398         u32 kthreads_idle_limit;        /* limit on #of kthreads idle */
 399         atomic_t kthreads_active;       /* #of kthreads actively working */
 400
 401         wait_queue_head_t idle_wq;      /* idle kthread wait queue */
 402
 403         union {
 404                 struct xpc_channel_sn2 sn2;
 405                 struct xpc_channel_uv uv;
 406         } sn;
 407
 408 } ____cacheline_aligned;
 409
 410 /* struct xpc_channel flags */
 411
 412 #define XPC_C_WASCONNECTED      0x00000001      /* channel was connected */
 413
 414 #define XPC_C_ROPENREPLY        0x00000002      /* remote open channel reply */
 415 #define XPC_C_OPENREPLY         0x00000004      /* local open channel reply */
 416 #define XPC_C_ROPENREQUEST      0x00000008     /* remote open channel request */
 417 #define XPC_C_OPENREQUEST       0x00000010      /* local open channel request */
 418
 419 #define XPC_C_SETUP             0x00000020 /* channel's msgqueues are alloc'd */
 420 #define XPC_C_CONNECTEDCALLOUT  0x00000040     /* connected callout initiated */
 421 #define XPC_C_CONNECTEDCALLOUT_MADE \
 422                                 0x00000080     /* connected callout completed */
 423 #define XPC_C_CONNECTED         0x00000100      /* local channel is connected */
 424 #define XPC_C_CONNECTING        0x00000200      /* channel is being connected */
 425
 426 #define XPC_C_RCLOSEREPLY       0x00000400      /* remote close channel reply */
 427 #define XPC_C_CLOSEREPLY        0x00000800      /* local close channel reply */
 428 #define XPC_C_RCLOSEREQUEST     0x00001000    /* remote close channel request */
 429 #define XPC_C_CLOSEREQUEST      0x00002000     /* local close channel request */
 430
 431 #define XPC_C_DISCONNECTED      0x00004000      /* channel is disconnected */
 432 #define XPC_C_DISCONNECTING     0x00008000   /* channel is being disconnected */
 433 #define XPC_C_DISCONNECTINGCALLOUT \
 434                                 0x00010000 /* disconnecting callout initiated */
 435 #define XPC_C_DISCONNECTINGCALLOUT_MADE \
 436                                 0x00020000 /* disconnecting callout completed */
 437 #define XPC_C_WDISCONNECT       0x00040000  /* waiting for channel disconnect */
 438
 439 /*
 440  * The channel control flags (chctl) union consists of a 64-bit variable which
 441  * is divided up into eight bytes, ordered from right to left. Byte zero
 442  * pertains to channel 0, byte one to channel 1, and so on. Each channel's byte
 443  * can have one or more of the chctl flags set in it.
 444  */
 445
 446 union xpc_channel_ctl_flags {
 447         u64 all_flags;
 448         u8 flags[XPC_MAX_NCHANNELS];
 449 };
 450
 451 /* chctl flags */
 452 #define XPC_CHCTL_CLOSEREQUEST  0x01
 453 #define XPC_CHCTL_CLOSEREPLY    0x02
 454 #define XPC_CHCTL_OPENREQUEST   0x04
 455 #define XPC_CHCTL_OPENREPLY     0x08
 456 #define XPC_CHCTL_MSGREQUEST    0x10
 457
 458 #define XPC_OPENCLOSE_CHCTL_FLAGS \
 459                         (XPC_CHCTL_CLOSEREQUEST | XPC_CHCTL_CLOSEREPLY | \
 460                          XPC_CHCTL_OPENREQUEST | XPC_CHCTL_OPENREPLY)
 461 #define XPC_MSG_CHCTL_FLAGS     XPC_CHCTL_MSGREQUEST
 462
 463 static inline int
 464 xpc_any_openclose_chctl_flags_set(union xpc_channel_ctl_flags *chctl)
 465 {
 466         int ch_number;
 467
 468         for (ch_number = 0; ch_number < XPC_MAX_NCHANNELS; ch_number++) {
 469                 if (chctl->flags[ch_number] & XPC_OPENCLOSE_CHCTL_FLAGS)
 470                         return 1;
 471         }
 472         return 0;
 473 }
 474
 475 static inline int
 476 xpc_any_msg_chctl_flags_set(union xpc_channel_ctl_flags *chctl)
 477 {
 478         int ch_number;
 479
 480         for (ch_number = 0; ch_number < XPC_MAX_NCHANNELS; ch_number++) {
 481                 if (chctl->flags[ch_number] & XPC_MSG_CHCTL_FLAGS)
 482                         return 1;
 483         }
 484         return 0;
 485 }
 486
 487 /*
 488  * Manage channels on a partition basis. There is one of these structures
 489  * for each partition (a partition will never utilize the structure that
 490  * represents itself).
 491  */
 492
 493 struct xpc_partition_sn2 {
 494         u64 remote_amos_page_pa;        /* phys addr of partition's amos page */
 495         int activate_IRQ_nasid; /* active partition's act/deact nasid */
 496         int activate_IRQ_phys_cpuid;    /* active part's act/deact phys cpuid */
 497
 498         u64 remote_vars_pa;     /* phys addr of partition's vars */
 499         u64 remote_vars_part_pa;        /* phys addr of partition's vars part */
 500         u8 remote_vars_version; /* version# of partition's vars */
 501
 502         void *local_GPs_base;   /* base address of kmalloc'd space */
 503         struct xpc_gp_sn2 *local_GPs;   /* local Get/Put values */
 504         void *remote_GPs_base;  /* base address of kmalloc'd space */
 505         struct xpc_gp_sn2 *remote_GPs;  /* copy of remote partition's local */
 506                                         /* Get/Put values */
 507         u64 remote_GPs_pa;      /* phys address of remote partition's local */
 508                                 /* Get/Put values */
 509
 510         u64 remote_openclose_args_pa;   /* phys addr of remote's args */
 511
 512         int notify_IRQ_nasid;   /* nasid of where to send notify IRQs */
 513         int notify_IRQ_phys_cpuid;      /* CPUID of where to send notify IRQs */
 514         char notify_IRQ_owner[8];       /* notify IRQ's owner's name */
 515
 516         struct amo *remote_chctl_amo_va; /* addr of remote chctl flags' amo */
 517         struct amo *local_chctl_amo_va; /* address of chctl flags' amo */
 518
 519         struct timer_list dropped_notify_IRQ_timer;     /* dropped IRQ timer */
 520 };
 521
 522 struct xpc_partition_uv {
 523         /* !!! code is coming */
 524 };
 525
 526 struct xpc_partition {
 527
 528         /* XPC HB infrastructure */
 529
 530         u8 remote_rp_version;   /* version# of partition's rsvd pg */
 531         unsigned long remote_rp_ts_jiffies; /* timestamp when rsvd pg setup */
 532         u64 remote_rp_pa;       /* phys addr of partition's rsvd pg */
 533         u64 last_heartbeat;     /* HB at last read */
 534         u32 activate_IRQ_rcvd;  /* IRQs since activation */
 535         spinlock_t act_lock;    /* protect updating of act_state */
 536         u8 act_state;           /* from XPC HB viewpoint */
 537         enum xp_retval reason;  /* reason partition is deactivating */
 538         int reason_line;        /* line# deactivation initiated from */
 539
 540         unsigned long disengage_timeout;        /* timeout in jiffies */
 541         struct timer_list disengage_timer;
 542
 543         /* XPC infrastructure referencing and teardown control */
 544
 545         u8 setup_state;         /* infrastructure setup state */
 546         wait_queue_head_t teardown_wq;  /* kthread waiting to teardown infra */
 547         atomic_t references;    /* #of references to infrastructure */
 548
 549         u8 nchannels;           /* #of defined channels supported */
 550         atomic_t nchannels_active;  /* #of channels that are not DISCONNECTED */
 551         atomic_t nchannels_engaged;  /* #of channels engaged with remote part */
 552         struct xpc_channel *channels;   /* array of channel structures */
 553
 554         /* fields used for managing channel avialability and activity */
 555
 556         union xpc_channel_ctl_flags chctl; /* chctl flags yet to be processed */
 557         spinlock_t chctl_lock;  /* chctl flags lock */
 558
 559         void *local_openclose_args_base;   /* base address of kmalloc'd space */
 560         struct xpc_openclose_args *local_openclose_args;      /* local's args */
 561         void *remote_openclose_args_base;  /* base address of kmalloc'd space */
 562         struct xpc_openclose_args *remote_openclose_args; /* copy of remote's */
 563                                                           /* args */
 564
 565         /* channel manager related fields */
 566
 567         atomic_t channel_mgr_requests;  /* #of requests to activate chan mgr */
 568         wait_queue_head_t channel_mgr_wq;       /* channel mgr's wait queue */
 569
 570         union {
 571                 struct xpc_partition_sn2 sn2;
 572                 struct xpc_partition_uv uv;
 573         } sn;
 574
 575 } ____cacheline_aligned;
 576
 577 /* struct xpc_partition act_state values (for XPC HB) */
 578
 579 #define XPC_P_INACTIVE          0x00    /* partition is not active */
 580 #define XPC_P_ACTIVATION_REQ    0x01    /* created thread to activate */
 581 #define XPC_P_ACTIVATING        0x02    /* activation thread started */
 582 #define XPC_P_ACTIVE            0x03    /* xpc_partition_up() was called */
 583 #define XPC_P_DEACTIVATING      0x04    /* partition deactivation initiated */
 584
 585 #define XPC_DEACTIVATE_PARTITION(_p, _reason) \
 586                         xpc_deactivate_partition(__LINE__, (_p), (_reason))
 587
 588 /* struct xpc_partition setup_state values */
 589
 590 #define XPC_P_UNSET             0x00    /* infrastructure was never setup */
 591 #define XPC_P_SETUP             0x01    /* infrastructure is setup */
 592 #define XPC_P_WTEARDOWN         0x02    /* waiting to teardown infrastructure */
 593 #define XPC_P_TORNDOWN          0x03    /* infrastructure is torndown */
 594
 595 /*
 596  * struct xpc_partition_sn2's dropped notify IRQ timer is set to wait the
 597  * following interval #of seconds before checking for dropped notify IRQs.
 598  * These can occur whenever an IRQ's associated amo write doesn't complete
 599  * until after the IRQ was received.
 600  */
 601 #define XPC_DROPPED_NOTIFY_IRQ_WAIT_INTERVAL    (0.25 * HZ)
 602
 603 /* number of seconds to wait for other partitions to disengage */
 604 #define XPC_DISENGAGE_DEFAULT_TIMELIMIT         90
 605
 606 /* interval in seconds to print 'waiting deactivation' messages */
 607 #define XPC_DEACTIVATE_PRINTMSG_INTERVAL        10
 608
 609 #define XPC_PARTID(_p)  ((short)((_p) - &xpc_partitions[0]))
 610
 611 /* found in xp_main.c */
 612 extern struct xpc_registration xpc_registrations[];
 613
 614 /* found in xpc_main.c */
 615 extern struct device *xpc_part;
 616 extern struct device *xpc_chan;
 617 extern int xpc_disengage_timelimit;
 618 extern int xpc_disengage_timedout;
 619 extern atomic_t xpc_activate_IRQ_rcvd;
 620 extern wait_queue_head_t xpc_activate_IRQ_wq;
 621 extern void *xpc_heartbeating_to_mask;
 622 extern void xpc_activate_partition(struct xpc_partition *);
 623 extern void xpc_activate_kthreads(struct xpc_channel *, int);
 624 extern void xpc_create_kthreads(struct xpc_channel *, int, int);
 625 extern void xpc_disconnect_wait(int);
 626 extern enum xp_retval (*xpc_get_partition_rsvd_page_pa) (u64, u64 *, u64 *,
 627                                                          size_t *);
 628 extern enum xp_retval (*xpc_rsvd_page_init) (struct xpc_rsvd_page *);
 629 extern void (*xpc_heartbeat_init) (void);
 630 extern void (*xpc_heartbeat_exit) (void);
 631 extern void (*xpc_increment_heartbeat) (void);
 632 extern void (*xpc_offline_heartbeat) (void);
 633 extern void (*xpc_online_heartbeat) (void);
 634 extern void (*xpc_check_remote_hb) (void);
 635 extern enum xp_retval (*xpc_make_first_contact) (struct xpc_partition *);
 636 extern u64 (*xpc_get_chctl_all_flags) (struct xpc_partition *);
 637 extern enum xp_retval (*xpc_allocate_msgqueues) (struct xpc_channel *);
 638 extern void (*xpc_free_msgqueues) (struct xpc_channel *);
 639 extern void (*xpc_notify_senders_of_disconnect) (struct xpc_channel *);
 640 extern void (*xpc_process_msg_chctl_flags) (struct xpc_partition *, int);
 641 extern int (*xpc_n_of_deliverable_msgs) (struct xpc_channel *);
 642 extern struct xpc_msg *(*xpc_get_deliverable_msg) (struct xpc_channel *);
 643 extern void (*xpc_request_partition_activation) (struct xpc_rsvd_page *, u64,
 644                                                  int);
 645 extern void (*xpc_request_partition_reactivation) (struct xpc_partition *);
 646 extern void (*xpc_request_partition_deactivation) (struct xpc_partition *);
 647 extern void (*xpc_cancel_partition_deactivation_request) (
 648                                                         struct xpc_partition *);
 649 extern void (*xpc_process_activate_IRQ_rcvd) (int);
 650 extern enum xp_retval (*xpc_setup_infrastructure) (struct xpc_partition *);
 651 extern void (*xpc_teardown_infrastructure) (struct xpc_partition *);
 652
 653 extern void (*xpc_indicate_partition_engaged) (struct xpc_partition *);
 654 extern int (*xpc_partition_engaged) (short);
 655 extern int (*xpc_any_partition_engaged) (void);
 656 extern void (*xpc_indicate_partition_disengaged) (struct xpc_partition *);
 657 extern void (*xpc_assume_partition_disengaged) (short);
 658
 659 extern void (*xpc_send_chctl_closerequest) (struct xpc_channel *,
 660                                             unsigned long *);
 661 extern void (*xpc_send_chctl_closereply) (struct xpc_channel *,
 662                                           unsigned long *);
 663 extern void (*xpc_send_chctl_openrequest) (struct xpc_channel *,
 664                                            unsigned long *);
 665 extern void (*xpc_send_chctl_openreply) (struct xpc_channel *, unsigned long *);
 666
 667 extern enum xp_retval (*xpc_send_msg) (struct xpc_channel *, u32, void *, u16,
 668                                        u8, xpc_notify_func, void *);
 669 extern void (*xpc_received_msg) (struct xpc_channel *, struct xpc_msg *);
 670
 671 /* found in xpc_sn2.c */
 672 extern int xpc_init_sn2(void);
 673 extern void xpc_exit_sn2(void);
 674
 675 /* found in xpc_uv.c */
 676 extern void xpc_init_uv(void);
 677 extern void xpc_exit_uv(void);
 678
 679 /* found in xpc_partition.c */
 680 extern int xpc_exiting;
 681 extern int xpc_nasid_mask_nlongs;
 682 extern struct xpc_rsvd_page *xpc_rsvd_page;
 683 extern unsigned long *xpc_mach_nasids;
 684 extern struct xpc_partition *xpc_partitions;
 685 extern void *xpc_kmalloc_cacheline_aligned(size_t, gfp_t, void **);
 686 extern struct xpc_rsvd_page *xpc_setup_rsvd_page(void);
 687 extern int xpc_identify_activate_IRQ_sender(void);
 688 extern int xpc_partition_disengaged(struct xpc_partition *);
 689 extern enum xp_retval xpc_mark_partition_active(struct xpc_partition *);
 690 extern void xpc_mark_partition_inactive(struct xpc_partition *);
 691 extern void xpc_discovery(void);
 692 extern enum xp_retval xpc_get_remote_rp(int, unsigned long *,
 693                                         struct xpc_rsvd_page *, u64 *);
 694 extern void xpc_deactivate_partition(const int, struct xpc_partition *,
 695                                      enum xp_retval);
 696 extern enum xp_retval xpc_initiate_partid_to_nasids(short, void *);
 697
 698 /* found in xpc_channel.c */
 699 extern void xpc_initiate_connect(int);
 700 extern void xpc_initiate_disconnect(int);
 701 extern enum xp_retval xpc_allocate_msg_wait(struct xpc_channel *);
 702 extern enum xp_retval xpc_initiate_send(short, int, u32, void *, u16);
 703 extern enum xp_retval xpc_initiate_send_notify(short, int, u32, void *, u16,
 704                                                xpc_notify_func, void *);
 705 extern void xpc_initiate_received(short, int, void *);
 706 extern void xpc_process_sent_chctl_flags(struct xpc_partition *);
 707 extern void xpc_connected_callout(struct xpc_channel *);
 708 extern void xpc_deliver_msg(struct xpc_channel *);
 709 extern void xpc_disconnect_channel(const int, struct xpc_channel *,
 710                                    enum xp_retval, unsigned long *);
 711 extern void xpc_disconnect_callout(struct xpc_channel *, enum xp_retval);
 712 extern void xpc_partition_going_down(struct xpc_partition *, enum xp_retval);
 713
 714 static inline int
 715 xpc_hb_allowed(short partid, void *heartbeating_to_mask)
 716 {
 717         return test_bit(partid, heartbeating_to_mask);
 718 }
 719
 720 static inline int
 721 xpc_any_hbs_allowed(void)
 722 {
 723         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 724         return !bitmap_empty(xpc_heartbeating_to_mask, xp_max_npartitions);
 725 }
 726
 727 static inline void
 728 xpc_allow_hb(short partid)
 729 {
 730         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 731         set_bit(partid, xpc_heartbeating_to_mask);
 732 }
 733
 734 static inline void
 735 xpc_disallow_hb(short partid)
 736 {
 737         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 738         clear_bit(partid, xpc_heartbeating_to_mask);
 739 }
 740
 741 static inline void
 742 xpc_disallow_all_hbs(void)
 743 {
 744         DBUG_ON(xpc_heartbeating_to_mask == NULL);
 745         bitmap_zero(xpc_heartbeating_to_mask, xp_max_npartitions);
 746 }
 747
 748 static inline void
 749 xpc_wakeup_channel_mgr(struct xpc_partition *part)
 750 {
 751         if (atomic_inc_return(&part->channel_mgr_requests) == 1)
 752                 wake_up(&part->channel_mgr_wq);
 753 }
 754
 755 /*
 756  * These next two inlines are used to keep us from tearing down a channel's
 757  * msg queues while a thread may be referencing them.
 758  */
 759 static inline void
 760 xpc_msgqueue_ref(struct xpc_channel *ch)
 761 {
 762         atomic_inc(&ch->references);
 763 }
 764
 765 static inline void
 766 xpc_msgqueue_deref(struct xpc_channel *ch)
 767 {
 768         s32 refs = atomic_dec_return(&ch->references);
 769
 770         DBUG_ON(refs < 0);
 771         if (refs == 0)
 772                 xpc_wakeup_channel_mgr(&xpc_partitions[ch->partid]);
 773 }
 774
 775 #define XPC_DISCONNECT_CHANNEL(_ch, _reason, _irqflgs) \
 776                 xpc_disconnect_channel(__LINE__, _ch, _reason, _irqflgs)
 777
 778 /*
 779  * These two inlines are used to keep us from tearing down a partition's
 780  * setup infrastructure while a thread may be referencing it.
 781  */
 782 static inline void
 783 xpc_part_deref(struct xpc_partition *part)
 784 {
 785         s32 refs = atomic_dec_return(&part->references);
 786
 787         DBUG_ON(refs < 0);
 788         if (refs == 0 && part->setup_state == XPC_P_WTEARDOWN)
 789                 wake_up(&part->teardown_wq);
 790 }
 791
 792 static inline int
 793 xpc_part_ref(struct xpc_partition *part)
 794 {
 795         int setup;
 796
 797         atomic_inc(&part->references);
 798         setup = (part->setup_state == XPC_P_SETUP);
 799         if (!setup)
 800                 xpc_part_deref(part);
 801
 802         return setup;
 803 }
 804
 805 /*
 806  * The following macro is to be used for the setting of the reason and
 807  * reason_line fields in both the struct xpc_channel and struct xpc_partition
 808  * structures.
 809  */
 810 #define XPC_SET_REASON(_p, _reason, _line) \
 811         { \
 812                 (_p)->reason = _reason; \
 813                 (_p)->reason_line = _line; \
 814         }
 815
 816 #endif /* _DRIVERS_MISC_SGIXP_XPC_H */