drivers/infiniband/hw/ehca/ehca_classes.h

   1 /*
   2  *  IBM eServer eHCA Infiniband device driver for Linux on POWER
   3  *
   4  *  Struct definition for eHCA internal structures
   5  *
   6  *  Authors: Heiko J Schick <schickhj@de.ibm.com>
   7  *           Christoph Raisch <raisch@de.ibm.com>
   8  *
   9  *  Copyright (c) 2005 IBM Corporation
  10  *
  11  *  All rights reserved.
  12  *
  13  *  This source code is distributed under a dual license of GPL v2.0 and OpenIB
  14  *  BSD.
  15  *
  16  * OpenIB BSD License
  17  *
  18  * Redistribution and use in source and binary forms, with or without
  19  * modification, are permitted provided that the following conditions are met:
  20  *
  21  * Redistributions of source code must retain the above copyright notice, this
  22  * list of conditions and the following disclaimer.
  23  *
  24  * Redistributions in binary form must reproduce the above copyright notice,
  25  * this list of conditions and the following disclaimer in the documentation
  26  * and/or other materials
  27  * provided with the distribution.
  28  *
  29  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS "AS IS"
  30  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  31  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  32  * ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  33  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  34  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  35  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR
  36  * BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER
  37  * IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  38  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  39  * POSSIBILITY OF SUCH DAMAGE.
  40  */
  41
  42 #ifndef __EHCA_CLASSES_H__
  43 #define __EHCA_CLASSES_H__
  44
  45
  46 struct ehca_module;
  47 struct ehca_qp;
  48 struct ehca_cq;
  49 struct ehca_eq;
  50 struct ehca_mr;
  51 struct ehca_mw;
  52 struct ehca_pd;
  53 struct ehca_av;
  54
  55 #include <linux/wait.h>
  56
  57 #include <rdma/ib_verbs.h>
  58 #include <rdma/ib_user_verbs.h>
  59
  60 #ifdef CONFIG_PPC64
  61 #include "ehca_classes_pSeries.h"
  62 #endif
  63 #include "ipz_pt_fn.h"
  64 #include "ehca_qes.h"
  65 #include "ehca_irq.h"
  66
  67 #define EHCA_EQE_CACHE_SIZE 20
  68
  69 struct ehca_eqe_cache_entry {
  70         struct ehca_eqe *eqe;
  71         struct ehca_cq *cq;
  72 };
  73
  74 struct ehca_eq {
  75         u32 length;
  76         struct ipz_queue ipz_queue;
  77         struct ipz_eq_handle ipz_eq_handle;
  78         struct work_struct work;
  79         struct h_galpas galpas;
  80         int is_initialized;
  81         struct ehca_pfeq pf;
  82         spinlock_t spinlock;
  83         struct tasklet_struct interrupt_task;
  84         u32 ist;
  85         spinlock_t irq_spinlock;
  86         struct ehca_eqe_cache_entry eqe_cache[EHCA_EQE_CACHE_SIZE];
  87 };
  88
  89 struct ehca_sport {
  90         struct ib_cq *ibcq_aqp1;
  91         struct ib_qp *ibqp_aqp1;
  92         enum ib_rate  rate;
  93         enum ib_port_state port_state;
  94 };
  95
  96 struct ehca_shca {
  97         struct ib_device ib_device;
  98         struct ibmebus_dev *ibmebus_dev;
  99         u8 num_ports;
 100         int hw_level;
 101         struct list_head shca_list;
 102         struct ipz_adapter_handle ipz_hca_handle;
 103         struct ehca_sport sport[2];
 104         struct ehca_eq eq;
 105         struct ehca_eq neq;
 106         struct ehca_mr *maxmr;
 107         struct ehca_pd *pd;
 108         struct h_galpas galpas;
 109         struct mutex modify_mutex;
 110         u64 hca_cap;
 111         int max_mtu;
 112 };
 113
 114 struct ehca_pd {
 115         struct ib_pd ib_pd;
 116         struct ipz_pd fw_pd;
 117         u32 ownpid;
 118 };
 119
 120 struct ehca_qp {
 121         struct ib_qp ib_qp;
 122         u32 qp_type;
 123         struct ipz_queue ipz_squeue;
 124         struct ipz_queue ipz_rqueue;
 125         struct h_galpas galpas;
 126         u32 qkey;
 127         u32 real_qp_num;
 128         u32 token;
 129         spinlock_t spinlock_s;
 130         spinlock_t spinlock_r;
 131         u32 sq_max_inline_data_size;
 132         struct ipz_qp_handle ipz_qp_handle;
 133         struct ehca_pfqp pf;
 134         struct ib_qp_init_attr init_attr;
 135         struct ehca_cq *send_cq;
 136         struct ehca_cq *recv_cq;
 137         unsigned int sqerr_purgeflag;
 138         struct hlist_node list_entries;
 139         /* mmap counter for resources mapped into user space */
 140         u32 mm_count_squeue;
 141         u32 mm_count_rqueue;
 142         u32 mm_count_galpa;
 143 };
 144
 145 /* must be power of 2 */
 146 #define QP_HASHTAB_LEN 8
 147
 148 struct ehca_cq {
 149         struct ib_cq ib_cq;
 150         struct ipz_queue ipz_queue;
 151         struct h_galpas galpas;
 152         spinlock_t spinlock;
 153         u32 cq_number;
 154         u32 token;
 155         u32 nr_of_entries;
 156         struct ipz_cq_handle ipz_cq_handle;
 157         struct ehca_pfcq pf;
 158         spinlock_t cb_lock;
 159         struct hlist_head qp_hashtab[QP_HASHTAB_LEN];
 160         struct list_head entry;
 161         u32 nr_callbacks; /* #events assigned to cpu by scaling code */
 162         u32 nr_events;    /* #events seen */
 163         wait_queue_head_t wait_completion;
 164         spinlock_t task_lock;
 165         u32 ownpid;
 166         /* mmap counter for resources mapped into user space */
 167         u32 mm_count_queue;
 168         u32 mm_count_galpa;
 169 };
 170
 171 enum ehca_mr_flag {
 172         EHCA_MR_FLAG_FMR = 0x80000000,   /* FMR, created with ehca_alloc_fmr */
 173         EHCA_MR_FLAG_MAXMR = 0x40000000, /* max-MR                           */
 174 };
 175
 176 struct ehca_mr {
 177         union {
 178                 struct ib_mr ib_mr;     /* must always be first in ehca_mr */
 179                 struct ib_fmr ib_fmr;   /* must always be first in ehca_mr */
 180         } ib;
 181         struct ib_umem *umem;
 182         spinlock_t mrlock;
 183
 184         enum ehca_mr_flag flags;
 185         u32 num_pages;          /* number of MR pages */
 186         u32 num_4k;             /* number of 4k "page" portions to form MR */
 187         int acl;                /* ACL (stored here for usage in reregister) */
 188         u64 *start;             /* virtual start address (stored here for */
 189                                 /* usage in reregister) */
 190         u64 size;               /* size (stored here for usage in reregister) */
 191         u32 fmr_page_size;      /* page size for FMR */
 192         u32 fmr_max_pages;      /* max pages for FMR */
 193         u32 fmr_max_maps;       /* max outstanding maps for FMR */
 194         u32 fmr_map_cnt;        /* map counter for FMR */
 195         /* fw specific data */
 196         struct ipz_mrmw_handle ipz_mr_handle;   /* MR handle for h-calls */
 197         struct h_galpas galpas;
 198         /* data for userspace bridge */
 199         u32 nr_of_pages;
 200         void *pagearray;
 201 };
 202
 203 struct ehca_mw {
 204         struct ib_mw ib_mw;     /* gen2 mw, must always be first in ehca_mw */
 205         spinlock_t mwlock;
 206
 207         u8 never_bound;         /* indication MW was never bound */
 208         struct ipz_mrmw_handle ipz_mw_handle;   /* MW handle for h-calls */
 209         struct h_galpas galpas;
 210 };
 211
 212 enum ehca_mr_pgi_type {
 213         EHCA_MR_PGI_PHYS   = 1,  /* type of ehca_reg_phys_mr,
 214                                   * ehca_rereg_phys_mr,
 215                                   * ehca_reg_internal_maxmr */
 216         EHCA_MR_PGI_USER   = 2,  /* type of ehca_reg_user_mr */
 217         EHCA_MR_PGI_FMR    = 3   /* type of ehca_map_phys_fmr */
 218 };
 219
 220 struct ehca_mr_pginfo {
 221         enum ehca_mr_pgi_type type;
 222         u64 num_pages;
 223         u64 page_cnt;
 224         u64 num_4k;       /* number of 4k "page" portions */
 225         u64 page_4k_cnt;  /* counter for 4k "page" portions */
 226         u64 next_4k;      /* next 4k "page" portion in buffer/chunk/listelem */
 227
 228         /* type EHCA_MR_PGI_PHYS section */
 229         int num_phys_buf;
 230         struct ib_phys_buf *phys_buf_array;
 231         u64 next_buf;
 232
 233         /* type EHCA_MR_PGI_USER section */
 234         struct ib_umem *region;
 235         struct ib_umem_chunk *next_chunk;
 236         u64 next_nmap;
 237
 238         /* type EHCA_MR_PGI_FMR section */
 239         u64 *page_list;
 240         u64 next_listelem;
 241         /* next_4k also used within EHCA_MR_PGI_FMR */
 242 };
 243
 244 /* output parameters for MR/FMR hipz calls */
 245 struct ehca_mr_hipzout_parms {
 246         struct ipz_mrmw_handle handle;
 247         u32 lkey;
 248         u32 rkey;
 249         u64 len;
 250         u64 vaddr;
 251         u32 acl;
 252 };
 253
 254 /* output parameters for MW hipz calls */
 255 struct ehca_mw_hipzout_parms {
 256         struct ipz_mrmw_handle handle;
 257         u32 rkey;
 258 };
 259
 260 struct ehca_av {
 261         struct ib_ah ib_ah;
 262         struct ehca_ud_av av;
 263 };
 264
 265 struct ehca_ucontext {
 266         struct ib_ucontext ib_ucontext;
 267 };
 268
 269 int ehca_init_pd_cache(void);
 270 void ehca_cleanup_pd_cache(void);
 271 int ehca_init_cq_cache(void);
 272 void ehca_cleanup_cq_cache(void);
 273 int ehca_init_qp_cache(void);
 274 void ehca_cleanup_qp_cache(void);
 275 int ehca_init_av_cache(void);
 276 void ehca_cleanup_av_cache(void);
 277 int ehca_init_mrmw_cache(void);
 278 void ehca_cleanup_mrmw_cache(void);
 279
 280 extern spinlock_t ehca_qp_idr_lock;
 281 extern spinlock_t ehca_cq_idr_lock;
 282 extern spinlock_t hcall_lock;
 283 extern struct idr ehca_qp_idr;
 284 extern struct idr ehca_cq_idr;
 285
 286 extern int ehca_static_rate;
 287 extern int ehca_port_act_time;
 288 extern int ehca_use_hp_mr;
 289 extern int ehca_scaling_code;
 290
 291 struct ipzu_queue_resp {
 292         u32 qe_size;      /* queue entry size */
 293         u32 act_nr_of_sg;
 294         u32 queue_length; /* queue length allocated in bytes */
 295         u32 pagesize;
 296         u32 toggle_state;
 297         u32 dummy; /* padding for 8 byte alignment */
 298 };
 299
 300 struct ehca_create_cq_resp {
 301         u32 cq_number;
 302         u32 token;
 303         struct ipzu_queue_resp ipz_queue;
 304 };
 305
 306 struct ehca_create_qp_resp {
 307         u32 qp_num;
 308         u32 token;
 309         u32 qp_type;
 310         u32 qkey;
 311         /* qp_num assigned by ehca: sqp0/1 may have got different numbers */
 312         u32 real_qp_num;
 313         u32 dummy; /* padding for 8 byte alignment */
 314         struct ipzu_queue_resp ipz_squeue;
 315         struct ipzu_queue_resp ipz_rqueue;
 316 };
 317
 318 struct ehca_alloc_cq_parms {
 319         u32 nr_cqe;
 320         u32 act_nr_of_entries;
 321         u32 act_pages;
 322         struct ipz_eq_handle eq_handle;
 323 };
 324
 325 struct ehca_alloc_qp_parms {
 326         int servicetype;
 327         int sigtype;
 328         int daqp_ctrl;
 329         int max_send_sge;
 330         int max_recv_sge;
 331         int ud_av_l_key_ctl;
 332
 333         u16 act_nr_send_wqes;
 334         u16 act_nr_recv_wqes;
 335         u8  act_nr_recv_sges;
 336         u8  act_nr_send_sges;
 337
 338         u32 nr_rq_pages;
 339         u32 nr_sq_pages;
 340
 341         struct ipz_eq_handle ipz_eq_handle;
 342         struct ipz_pd pd;
 343 };
 344
 345 int ehca_cq_assign_qp(struct ehca_cq *cq, struct ehca_qp *qp);
 346 int ehca_cq_unassign_qp(struct ehca_cq *cq, unsigned int qp_num);
 347 struct ehca_qp* ehca_cq_get_qp(struct ehca_cq *cq, int qp_num);
 348
 349 #endif