arch/powerpc/platforms/ps3/interrupt.c

   1 /*
   2  *  PS3 interrupt routines.
   3  *
   4  *  Copyright (C) 2006 Sony Computer Entertainment Inc.
   5  *  Copyright 2006 Sony Corp.
   6  *
   7  *  This program is free software; you can redistribute it and/or modify
   8  *  it under the terms of the GNU General Public License as published by
   9  *  the Free Software Foundation; version 2 of the License.
  10  *
  11  *  This program is distributed in the hope that it will be useful,
  12  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  *  GNU General Public License for more details.
  15  *
  16  *  You should have received a copy of the GNU General Public License
  17  *  along with this program; if not, write to the Free Software
  18  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20
  21 #include <linux/kernel.h>
  22 #include <linux/module.h>
  23 #include <linux/irq.h>
  24
  25 #include <asm/machdep.h>
  26 #include <asm/udbg.h>
  27 #include <asm/ps3.h>
  28 #include <asm/lv1call.h>
  29
  30 #include "platform.h"
  31
  32 #if defined(DEBUG)
  33 #define DBG(fmt...) udbg_printf(fmt)
  34 #else
  35 #define DBG(fmt...) do{if(0)printk(fmt);}while(0)
  36 #endif
  37
  38 /**
  39  * struct ps3_bmp - a per cpu irq status and mask bitmap structure
  40  * @status: 256 bit status bitmap indexed by plug
  41  * @unused_1:
  42  * @mask: 256 bit mask bitmap indexed by plug
  43  * @unused_2:
  44  * @lock:
  45  * @ipi_debug_brk_mask:
  46  *
  47  * The HV mantains per SMT thread mappings of HV outlet to HV plug on
  48  * behalf of the guest.  These mappings are implemented as 256 bit guest
  49  * supplied bitmaps indexed by plug number.  The addresses of the bitmaps
  50  * are registered with the HV through lv1_configure_irq_state_bitmap().
  51  * The HV requires that the 512 bits of status + mask not cross a page
  52  * boundary.  PS3_BMP_MINALIGN is used to define this minimal 64 byte
  53  * alignment.
  54  *
  55  * The HV supports 256 plugs per thread, assigned as {0..255}, for a total
  56  * of 512 plugs supported on a processor.  To simplify the logic this
  57  * implementation equates HV plug value to Linux virq value, constrains each
  58  * interrupt to have a system wide unique plug number, and limits the range
  59  * of the plug values to map into the first dword of the bitmaps.  This
  60  * gives a usable range of plug values of  {NUM_ISA_INTERRUPTS..63}.  Note
  61  * that there is no constraint on how many in this set an individual thread
  62  * can acquire.
  63  */
  64
  65 #define PS3_BMP_MINALIGN 64
  66
  67 struct ps3_bmp {
  68         struct {
  69                 u64 status;
  70                 u64 unused_1[3];
  71                 u64 mask;
  72                 u64 unused_2[3];
  73         };
  74         u64 ipi_debug_brk_mask;
  75         spinlock_t lock;
  76 };
  77
  78 /**
  79  * struct ps3_private - a per cpu data structure
  80  * @bmp: ps3_bmp structure
  81  * @node: HV logical_ppe_id
  82  * @cpu: HV thread_id
  83  */
  84
  85 struct ps3_private {
  86         struct ps3_bmp bmp __attribute__ ((aligned (PS3_BMP_MINALIGN)));
  87         u64 node;
  88         unsigned int cpu;
  89 };
  90
  91 static DEFINE_PER_CPU(struct ps3_private, ps3_private);
  92
  93 int ps3_alloc_irq(enum ps3_cpu_binding cpu, unsigned long outlet,
  94         unsigned int *virq)
  95 {
  96         int result;
  97         struct ps3_private *pd;
  98
  99         /* This defines the default interrupt distribution policy. */
 100
 101         if (cpu == PS3_BINDING_CPU_ANY)
 102                 cpu = 0;
 103
 104         pd = &per_cpu(ps3_private, cpu);
 105
 106         *virq = irq_create_mapping(NULL, outlet);
 107
 108         if (*virq == NO_IRQ) {
 109                 pr_debug("%s:%d: irq_create_mapping failed: outlet %lu\n",
 110                         __func__, __LINE__, outlet);
 111                 result = -ENOMEM;
 112                 goto fail_create;
 113         }
 114
 115         /* Binds outlet to cpu + virq. */
 116
 117         result = lv1_connect_irq_plug_ext(pd->node, pd->cpu, *virq, outlet, 0);
 118
 119         if (result) {
 120                 pr_info("%s:%d: lv1_connect_irq_plug_ext failed: %s\n",
 121                 __func__, __LINE__, ps3_result(result));
 122                 result = -EPERM;
 123                 goto fail_connect;
 124         }
 125
 126         pr_debug("%s:%d: outlet %lu => cpu %u, virq %u\n", __func__, __LINE__,
 127                 outlet, cpu, *virq);
 128
 129         result = set_irq_chip_data(*virq, pd);
 130
 131         if (result) {
 132                 pr_debug("%s:%d: set_irq_chip_data failed\n",
 133                         __func__, __LINE__);
 134                 goto fail_set;
 135         }
 136
 137         return result;
 138
 139 fail_set:
 140         lv1_disconnect_irq_plug_ext(pd->node, pd->cpu, *virq);
 141 fail_connect:
 142         irq_dispose_mapping(*virq);
 143 fail_create:
 144         return result;
 145 }
 146 EXPORT_SYMBOL_GPL(ps3_alloc_irq);
 147
 148 int ps3_free_irq(unsigned int virq)
 149 {
 150         int result;
 151         const struct ps3_private *pd = get_irq_chip_data(virq);
 152
 153         pr_debug("%s:%d: node %lu, cpu %d, virq %u\n", __func__, __LINE__,
 154                 pd->node, pd->cpu, virq);
 155
 156         result = lv1_disconnect_irq_plug_ext(pd->node, pd->cpu, virq);
 157
 158         if (result)
 159                 pr_info("%s:%d: lv1_disconnect_irq_plug_ext failed: %s\n",
 160                 __func__, __LINE__, ps3_result(result));
 161
 162         set_irq_chip_data(virq, NULL);
 163         irq_dispose_mapping(virq);
 164         return result;
 165 }
 166 EXPORT_SYMBOL_GPL(ps3_free_irq);
 167
 168 /**
 169  * ps3_alloc_io_irq - Assign a virq to a system bus device.
 170  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 171  * serviced on.
 172  * @interrupt_id: The device interrupt id read from the system repository.
 173  * @virq: The assigned Linux virq.
 174  *
 175  * An io irq represents a non-virtualized device interrupt.  interrupt_id
 176  * coresponds to the interrupt number of the interrupt controller.
 177  */
 178
 179 int ps3_alloc_io_irq(enum ps3_cpu_binding cpu, unsigned int interrupt_id,
 180         unsigned int *virq)
 181 {
 182         int result;
 183         unsigned long outlet;
 184
 185         result = lv1_construct_io_irq_outlet(interrupt_id, &outlet);
 186
 187         if (result) {
 188                 pr_debug("%s:%d: lv1_construct_io_irq_outlet failed: %s\n",
 189                         __func__, __LINE__, ps3_result(result));
 190                 return result;
 191         }
 192
 193         result = ps3_alloc_irq(cpu, outlet, virq);
 194         BUG_ON(result);
 195
 196         return result;
 197 }
 198
 199 int ps3_free_io_irq(unsigned int virq)
 200 {
 201         int result;
 202
 203         result = lv1_destruct_io_irq_outlet(virq_to_hw(virq));
 204
 205         if (result)
 206                 pr_debug("%s:%d: lv1_destruct_io_irq_outlet failed: %s\n",
 207                         __func__, __LINE__, ps3_result(result));
 208
 209         ps3_free_irq(virq);
 210
 211         return result;
 212 }
 213
 214 /**
 215  * ps3_alloc_event_irq - Allocate a virq for use with a system event.
 216  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 217  * serviced on.
 218  * @virq: The assigned Linux virq.
 219  *
 220  * The virq can be used with lv1_connect_interrupt_event_receive_port() to
 221  * arrange to receive events, or with ps3_send_event_locally() to signal
 222  * events.
 223  */
 224
 225 int ps3_alloc_event_irq(enum ps3_cpu_binding cpu, unsigned int *virq)
 226 {
 227         int result;
 228         unsigned long outlet;
 229
 230         result = lv1_construct_event_receive_port(&outlet);
 231
 232         if (result) {
 233                 pr_debug("%s:%d: lv1_construct_event_receive_port failed: %s\n",
 234                         __func__, __LINE__, ps3_result(result));
 235                 *virq = NO_IRQ;
 236                 return result;
 237         }
 238
 239         result = ps3_alloc_irq(cpu, outlet, virq);
 240         BUG_ON(result);
 241
 242         return result;
 243 }
 244
 245 int ps3_free_event_irq(unsigned int virq)
 246 {
 247         int result;
 248
 249         pr_debug(" -> %s:%d\n", __func__, __LINE__);
 250
 251         result = lv1_destruct_event_receive_port(virq_to_hw(virq));
 252
 253         if (result)
 254                 pr_debug("%s:%d: lv1_destruct_event_receive_port failed: %s\n",
 255                         __func__, __LINE__, ps3_result(result));
 256
 257         ps3_free_irq(virq);
 258
 259         pr_debug(" <- %s:%d\n", __func__, __LINE__);
 260         return result;
 261 }
 262
 263 int ps3_send_event_locally(unsigned int virq)
 264 {
 265         return lv1_send_event_locally(virq_to_hw(virq));
 266 }
 267
 268 /**
 269  * ps3_connect_event_irq - Assign a virq to a system bus device.
 270  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 271  * serviced on.
 272  * @did: The HV device identifier read from the system repository.
 273  * @interrupt_id: The device interrupt id read from the system repository.
 274  * @virq: The assigned Linux virq.
 275  *
 276  * An event irq represents a virtual device interrupt.  The interrupt_id
 277  * coresponds to the software interrupt number.
 278  */
 279
 280 int ps3_connect_event_irq(enum ps3_cpu_binding cpu,
 281         const struct ps3_device_id *did, unsigned int interrupt_id,
 282         unsigned int *virq)
 283 {
 284         int result;
 285
 286         result = ps3_alloc_event_irq(cpu, virq);
 287
 288         if (result)
 289                 return result;
 290
 291         result = lv1_connect_interrupt_event_receive_port(did->bus_id,
 292                 did->dev_id, virq_to_hw(*virq), interrupt_id);
 293
 294         if (result) {
 295                 pr_debug("%s:%d: lv1_connect_interrupt_event_receive_port"
 296                         " failed: %s\n", __func__, __LINE__,
 297                         ps3_result(result));
 298                 ps3_free_event_irq(*virq);
 299                 *virq = NO_IRQ;
 300                 return result;
 301         }
 302
 303         pr_debug("%s:%d: interrupt_id %u, virq %u\n", __func__, __LINE__,
 304                 interrupt_id, *virq);
 305
 306         return 0;
 307 }
 308
 309 int ps3_disconnect_event_irq(const struct ps3_device_id *did,
 310         unsigned int interrupt_id, unsigned int virq)
 311 {
 312         int result;
 313
 314         pr_debug(" -> %s:%d: interrupt_id %u, virq %u\n", __func__, __LINE__,
 315                 interrupt_id, virq);
 316
 317         result = lv1_disconnect_interrupt_event_receive_port(did->bus_id,
 318                 did->dev_id, virq_to_hw(virq), interrupt_id);
 319
 320         if (result)
 321                 pr_debug("%s:%d: lv1_disconnect_interrupt_event_receive_port"
 322                         " failed: %s\n", __func__, __LINE__,
 323                         ps3_result(result));
 324
 325         ps3_free_event_irq(virq);
 326
 327         pr_debug(" <- %s:%d\n", __func__, __LINE__);
 328         return result;
 329 }
 330
 331 /**
 332  * ps3_alloc_vuart_irq - Configure the system virtual uart virq.
 333  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 334  * serviced on.
 335  * @virt_addr_bmp: The caller supplied virtual uart interrupt bitmap.
 336  * @virq: The assigned Linux virq.
 337  *
 338  * The system supports only a single virtual uart, so multiple calls without
 339  * freeing the interrupt will return a wrong state error.
 340  */
 341
 342 int ps3_alloc_vuart_irq(enum ps3_cpu_binding cpu, void* virt_addr_bmp,
 343         unsigned int *virq)
 344 {
 345         int result;
 346         unsigned long outlet;
 347         u64 lpar_addr;
 348
 349         BUG_ON(!is_kernel_addr((u64)virt_addr_bmp));
 350
 351         lpar_addr = ps3_mm_phys_to_lpar(__pa(virt_addr_bmp));
 352
 353         result = lv1_configure_virtual_uart_irq(lpar_addr, &outlet);
 354
 355         if (result) {
 356                 pr_debug("%s:%d: lv1_configure_virtual_uart_irq failed: %s\n",
 357                         __func__, __LINE__, ps3_result(result));
 358                 return result;
 359         }
 360
 361         result = ps3_alloc_irq(cpu, outlet, virq);
 362         BUG_ON(result);
 363
 364         return result;
 365 }
 366
 367 int ps3_free_vuart_irq(unsigned int virq)
 368 {
 369         int result;
 370
 371         result = lv1_deconfigure_virtual_uart_irq();
 372
 373         if (result) {
 374                 pr_debug("%s:%d: lv1_configure_virtual_uart_irq failed: %s\n",
 375                         __func__, __LINE__, ps3_result(result));
 376                 return result;
 377         }
 378
 379         ps3_free_irq(virq);
 380
 381         return result;
 382 }
 383
 384 /**
 385  * ps3_alloc_spe_irq - Configure an spe virq.
 386  * @cpu: enum ps3_cpu_binding indicating the cpu the interrupt should be
 387  * serviced on.
 388  * @spe_id: The spe_id returned from lv1_construct_logical_spe().
 389  * @class: The spe interrupt class {0,1,2}.
 390  * @virq: The assigned Linux virq.
 391  *
 392  */
 393
 394 int ps3_alloc_spe_irq(enum ps3_cpu_binding cpu, unsigned long spe_id,
 395         unsigned int class, unsigned int *virq)
 396 {
 397         int result;
 398         unsigned long outlet;
 399
 400         BUG_ON(class > 2);
 401
 402         result = lv1_get_spe_irq_outlet(spe_id, class, &outlet);
 403
 404         if (result) {
 405                 pr_debug("%s:%d: lv1_get_spe_irq_outlet failed: %s\n",
 406                         __func__, __LINE__, ps3_result(result));
 407                 return result;
 408         }
 409
 410         result = ps3_alloc_irq(cpu, outlet, virq);
 411         BUG_ON(result);
 412
 413         return result;
 414 }
 415
 416 int ps3_free_spe_irq(unsigned int virq)
 417 {
 418         ps3_free_irq(virq);
 419         return 0;
 420 }
 421
 422
 423 #define PS3_INVALID_OUTLET ((irq_hw_number_t)-1)
 424 #define PS3_PLUG_MAX 63
 425
 426 #if defined(DEBUG)
 427 static void _dump_64_bmp(const char *header, const u64 *p, unsigned cpu,
 428         const char* func, int line)
 429 {
 430         pr_debug("%s:%d: %s %u {%04lx_%04lx_%04lx_%04lx}\n",
 431                 func, line, header, cpu,
 432                 *p >> 48, (*p >> 32) & 0xffff, (*p >> 16) & 0xffff,
 433                 *p & 0xffff);
 434 }
 435
 436 static void __attribute__ ((unused)) _dump_256_bmp(const char *header,
 437         const u64 *p, unsigned cpu, const char* func, int line)
 438 {
 439         pr_debug("%s:%d: %s %u {%016lx:%016lx:%016lx:%016lx}\n",
 440                 func, line, header, cpu, p[0], p[1], p[2], p[3]);
 441 }
 442
 443 #define dump_bmp(_x) _dump_bmp(_x, __func__, __LINE__)
 444 static void _dump_bmp(struct ps3_private* pd, const char* func, int line)
 445 {
 446         unsigned long flags;
 447
 448         spin_lock_irqsave(&pd->bmp.lock, flags);
 449         _dump_64_bmp("stat", &pd->bmp.status, pd->cpu, func, line);
 450         _dump_64_bmp("mask", &pd->bmp.mask, pd->cpu, func, line);
 451         spin_unlock_irqrestore(&pd->bmp.lock, flags);
 452 }
 453
 454 #define dump_mask(_x) _dump_mask(_x, __func__, __LINE__)
 455 static void __attribute__ ((unused)) _dump_mask(struct ps3_private* pd,
 456         const char* func, int line)
 457 {
 458         unsigned long flags;
 459
 460         spin_lock_irqsave(&pd->bmp.lock, flags);
 461         _dump_64_bmp("mask", &pd->bmp.mask, pd->cpu, func, line);
 462         spin_unlock_irqrestore(&pd->bmp.lock, flags);
 463 }
 464 #else
 465 static void dump_bmp(struct ps3_private* pd) {};
 466 #endif /* defined(DEBUG) */
 467
 468 static void ps3_chip_mask(unsigned int virq)
 469 {
 470         struct ps3_private *pd = get_irq_chip_data(virq);
 471         u64 bit = 0x8000000000000000UL >> virq;
 472         u64 *p = &pd->bmp.mask;
 473         u64 old;
 474         unsigned long flags;
 475
 476         pr_debug("%s:%d: cpu %u, virq %d\n", __func__, __LINE__, pd->cpu, virq);
 477
 478         local_irq_save(flags);
 479         asm volatile(
 480                      "1:        ldarx %0,0,%3\n"
 481                      "andc      %0,%0,%2\n"
 482                      "stdcx.    %0,0,%3\n"
 483                      "bne-      1b"
 484                      : "=&r" (old), "+m" (*p)
 485                      : "r" (bit), "r" (p)
 486                      : "cc" );
 487
 488         lv1_did_update_interrupt_mask(pd->node, pd->cpu);
 489         local_irq_restore(flags);
 490 }
 491
 492 static void ps3_chip_unmask(unsigned int virq)
 493 {
 494         struct ps3_private *pd = get_irq_chip_data(virq);
 495         u64 bit = 0x8000000000000000UL >> virq;
 496         u64 *p = &pd->bmp.mask;
 497         u64 old;
 498         unsigned long flags;
 499
 500         pr_debug("%s:%d: cpu %u, virq %d\n", __func__, __LINE__, pd->cpu, virq);
 501
 502         local_irq_save(flags);
 503         asm volatile(
 504                      "1:        ldarx %0,0,%3\n"
 505                      "or        %0,%0,%2\n"
 506                      "stdcx.    %0,0,%3\n"
 507                      "bne-      1b"
 508                      : "=&r" (old), "+m" (*p)
 509                      : "r" (bit), "r" (p)
 510                      : "cc" );
 511
 512         lv1_did_update_interrupt_mask(pd->node, pd->cpu);
 513         local_irq_restore(flags);
 514 }
 515
 516 static void ps3_chip_eoi(unsigned int virq)
 517 {
 518         const struct ps3_private *pd = get_irq_chip_data(virq);
 519         lv1_end_of_interrupt_ext(pd->node, pd->cpu, virq);
 520 }
 521
 522 static struct irq_chip irq_chip = {
 523         .typename = "ps3",
 524         .mask = ps3_chip_mask,
 525         .unmask = ps3_chip_unmask,
 526         .eoi = ps3_chip_eoi,
 527 };
 528
 529 static void ps3_host_unmap(struct irq_host *h, unsigned int virq)
 530 {
 531         set_irq_chip_data(virq, NULL);
 532 }
 533
 534 static int ps3_host_map(struct irq_host *h, unsigned int virq,
 535         irq_hw_number_t hwirq)
 536 {
 537         pr_debug("%s:%d: hwirq %lu, virq %u\n", __func__, __LINE__, hwirq,
 538                 virq);
 539
 540         set_irq_chip_and_handler(virq, &irq_chip, handle_fasteoi_irq);
 541
 542         return 0;
 543 }
 544
 545 static struct irq_host_ops ps3_host_ops = {
 546         .map = ps3_host_map,
 547         .unmap = ps3_host_unmap,
 548 };
 549
 550 void __init ps3_register_ipi_debug_brk(unsigned int cpu, unsigned int virq)
 551 {
 552         struct ps3_private *pd = &per_cpu(ps3_private, cpu);
 553
 554         pd->bmp.ipi_debug_brk_mask = 0x8000000000000000UL >> virq;
 555
 556         pr_debug("%s:%d: cpu %u, virq %u, mask %lxh\n", __func__, __LINE__,
 557                 cpu, virq, pd->bmp.ipi_debug_brk_mask);
 558 }
 559
 560 unsigned int ps3_get_irq(void)
 561 {
 562         struct ps3_private *pd = &__get_cpu_var(ps3_private);
 563         u64 x = (pd->bmp.status & pd->bmp.mask);
 564         unsigned int plug;
 565
 566         /* check for ipi break first to stop this cpu ASAP */
 567
 568         if (x & pd->bmp.ipi_debug_brk_mask)
 569                 x &= pd->bmp.ipi_debug_brk_mask;
 570
 571         asm volatile("cntlzd %0,%1" : "=r" (plug) : "r" (x));
 572         plug &= 0x3f;
 573
 574         if (unlikely(plug) == NO_IRQ) {
 575                 pr_debug("%s:%d: no plug found: cpu %u\n", __func__, __LINE__,
 576                         pd->cpu);
 577                 dump_bmp(&per_cpu(ps3_private, 0));
 578                 dump_bmp(&per_cpu(ps3_private, 1));
 579                 return NO_IRQ;
 580         }
 581
 582 #if defined(DEBUG)
 583         if (unlikely(plug < NUM_ISA_INTERRUPTS || plug > PS3_PLUG_MAX)) {
 584                 dump_bmp(&per_cpu(ps3_private, 0));
 585                 dump_bmp(&per_cpu(ps3_private, 1));
 586                 BUG();
 587         }
 588 #endif
 589         return plug;
 590 }
 591
 592 void __init ps3_init_IRQ(void)
 593 {
 594         int result;
 595         unsigned cpu;
 596         struct irq_host *host;
 597
 598         host = irq_alloc_host(IRQ_HOST_MAP_NOMAP, 0, &ps3_host_ops,
 599                 PS3_INVALID_OUTLET);
 600         irq_set_default_host(host);
 601         irq_set_virq_count(PS3_PLUG_MAX + 1);
 602
 603         for_each_possible_cpu(cpu) {
 604                 struct ps3_private *pd = &per_cpu(ps3_private, cpu);
 605
 606                 lv1_get_logical_ppe_id(&pd->node);
 607                 pd->cpu = get_hard_smp_processor_id(cpu);
 608                 spin_lock_init(&pd->bmp.lock);
 609
 610                 pr_debug("%s:%d: node %lu, cpu %d, bmp %lxh\n", __func__,
 611                         __LINE__, pd->node, pd->cpu,
 612                         ps3_mm_phys_to_lpar(__pa(&pd->bmp)));
 613
 614                 result = lv1_configure_irq_state_bitmap(pd->node, pd->cpu,
 615                         ps3_mm_phys_to_lpar(__pa(&pd->bmp)));
 616
 617                 if (result)
 618                         pr_debug("%s:%d: lv1_configure_irq_state_bitmap failed:"
 619                                 " %s\n", __func__, __LINE__,
 620                                 ps3_result(result));
 621         }
 622
 623         ppc_md.get_irq = ps3_get_irq;
 624 }