drivers/ps3/vuart.c

   1 /*
   2  *  PS3 virtual uart
   3  *
   4  *  Copyright (C) 2006 Sony Computer Entertainment Inc.
   5  *  Copyright 2006 Sony Corp.
   6  *
   7  *  This program is free software; you can redistribute it and/or modify
   8  *  it under the terms of the GNU General Public License as published by
   9  *  the Free Software Foundation; version 2 of the License.
  10  *
  11  *  This program is distributed in the hope that it will be useful,
  12  *  but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  *  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14  *  GNU General Public License for more details.
  15  *
  16  *  You should have received a copy of the GNU General Public License
  17  *  along with this program; if not, write to the Free Software
  18  *  Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307  USA
  19  */
  20
  21 #include <linux/kernel.h>
  22 #include <linux/module.h>
  23 #include <linux/interrupt.h>
  24 #include <linux/workqueue.h>
  25 #include <asm/ps3.h>
  26
  27 #include <asm/firmware.h>
  28 #include <asm/lv1call.h>
  29 #include <asm/bitops.h>
  30
  31 #include "vuart.h"
  32
  33 MODULE_AUTHOR("Sony Corporation");
  34 MODULE_LICENSE("GPL v2");
  35 MODULE_DESCRIPTION("PS3 vuart");
  36
  37 /**
  38  * vuart - An inter-partition data link service.
  39  *  port 0: PS3 AV Settings.
  40  *  port 2: PS3 System Manager.
  41  *
  42  * The vuart provides a bi-directional byte stream data link between logical
  43  * partitions.  Its primary role is as a communications link between the guest
  44  * OS and the system policy module.  The current HV does not support any
  45  * connections other than those listed.
  46  */
  47
  48 enum {PORT_COUNT = 3,};
  49
  50 enum vuart_param {
  51         PARAM_TX_TRIGGER = 0,
  52         PARAM_RX_TRIGGER = 1,
  53         PARAM_INTERRUPT_MASK = 2,
  54         PARAM_RX_BUF_SIZE = 3, /* read only */
  55         PARAM_RX_BYTES = 4, /* read only */
  56         PARAM_TX_BUF_SIZE = 5, /* read only */
  57         PARAM_TX_BYTES = 6, /* read only */
  58         PARAM_INTERRUPT_STATUS = 7, /* read only */
  59 };
  60
  61 enum vuart_interrupt_bit {
  62         INTERRUPT_BIT_TX = 0,
  63         INTERRUPT_BIT_RX = 1,
  64         INTERRUPT_BIT_DISCONNECT = 2,
  65 };
  66
  67 enum vuart_interrupt_mask {
  68         INTERRUPT_MASK_TX = 1,
  69         INTERRUPT_MASK_RX = 2,
  70         INTERRUPT_MASK_DISCONNECT = 4,
  71 };
  72
  73 /**
  74  * struct ps3_vuart_port_priv - private vuart device data.
  75  */
  76
  77 struct ps3_vuart_port_priv {
  78         u64 interrupt_mask;
  79
  80         struct {
  81                 spinlock_t lock;
  82                 struct list_head head;
  83         } tx_list;
  84         struct {
  85                 struct ps3_vuart_work work;
  86                 unsigned long bytes_held;
  87                 spinlock_t lock;
  88                 struct list_head head;
  89         } rx_list;
  90         struct ps3_vuart_stats stats;
  91 };
  92
  93 static struct ps3_vuart_port_priv *to_port_priv(
  94         struct ps3_system_bus_device *dev)
  95 {
  96         BUG_ON(!dev);
  97         BUG_ON(!dev->driver_priv);
  98         return (struct ps3_vuart_port_priv *)dev->driver_priv;
  99 }
 100
 101 /**
 102  * struct ports_bmp - bitmap indicating ports needing service.
 103  *
 104  * A 256 bit read only bitmap indicating ports needing service.  Do not write
 105  * to these bits.  Must not cross a page boundary.
 106  */
 107
 108 struct ports_bmp {
 109         u64 status;
 110         u64 unused[3];
 111 } __attribute__ ((aligned (32)));
 112
 113 #define dump_ports_bmp(_b) _dump_ports_bmp(_b, __func__, __LINE__)
 114 static void __maybe_unused _dump_ports_bmp(
 115         const struct ports_bmp* bmp, const char* func, int line)
 116 {
 117         pr_debug("%s:%d: ports_bmp: %016lxh\n", func, line, bmp->status);
 118 }
 119
 120 #define dump_port_params(_b) _dump_port_params(_b, __func__, __LINE__)
 121 static void __maybe_unused _dump_port_params(unsigned int port_number,
 122         const char* func, int line)
 123 {
 124 #if defined(DEBUG)
 125         static const char *strings[] = {
 126                 "tx_trigger      ",
 127                 "rx_trigger      ",
 128                 "interrupt_mask  ",
 129                 "rx_buf_size     ",
 130                 "rx_bytes        ",
 131                 "tx_buf_size     ",
 132                 "tx_bytes        ",
 133                 "interrupt_status",
 134         };
 135         int result;
 136         unsigned int i;
 137         u64 value;
 138
 139         for (i = 0; i < ARRAY_SIZE(strings); i++) {
 140                 result = lv1_get_virtual_uart_param(port_number, i, &value);
 141
 142                 if (result) {
 143                         pr_debug("%s:%d: port_%u: %s failed: %s\n", func, line,
 144                                 port_number, strings[i], ps3_result(result));
 145                         continue;
 146                 }
 147                 pr_debug("%s:%d: port_%u: %s = %lxh\n",
 148                         func, line, port_number, strings[i], value);
 149         }
 150 #endif
 151 }
 152
 153 struct vuart_triggers {
 154         unsigned long rx;
 155         unsigned long tx;
 156 };
 157
 158 int ps3_vuart_get_triggers(struct ps3_system_bus_device *dev,
 159         struct vuart_triggers *trig)
 160 {
 161         int result;
 162         unsigned long size;
 163         unsigned long val;
 164
 165         result = lv1_get_virtual_uart_param(dev->port_number,
 166                 PARAM_TX_TRIGGER, &trig->tx);
 167
 168         if (result) {
 169                 dev_dbg(&dev->core, "%s:%d: tx_trigger failed: %s\n",
 170                         __func__, __LINE__, ps3_result(result));
 171                 return result;
 172         }
 173
 174         result = lv1_get_virtual_uart_param(dev->port_number,
 175                 PARAM_RX_BUF_SIZE, &size);
 176
 177         if (result) {
 178                 dev_dbg(&dev->core, "%s:%d: tx_buf_size failed: %s\n",
 179                         __func__, __LINE__, ps3_result(result));
 180                 return result;
 181         }
 182
 183         result = lv1_get_virtual_uart_param(dev->port_number,
 184                 PARAM_RX_TRIGGER, &val);
 185
 186         if (result) {
 187                 dev_dbg(&dev->core, "%s:%d: rx_trigger failed: %s\n",
 188                         __func__, __LINE__, ps3_result(result));
 189                 return result;
 190         }
 191
 192         trig->rx = size - val;
 193
 194         dev_dbg(&dev->core, "%s:%d: tx %lxh, rx %lxh\n", __func__, __LINE__,
 195                 trig->tx, trig->rx);
 196
 197         return result;
 198 }
 199
 200 int ps3_vuart_set_triggers(struct ps3_system_bus_device *dev, unsigned int tx,
 201         unsigned int rx)
 202 {
 203         int result;
 204         unsigned long size;
 205
 206         result = lv1_set_virtual_uart_param(dev->port_number,
 207                 PARAM_TX_TRIGGER, tx);
 208
 209         if (result) {
 210                 dev_dbg(&dev->core, "%s:%d: tx_trigger failed: %s\n",
 211                         __func__, __LINE__, ps3_result(result));
 212                 return result;
 213         }
 214
 215         result = lv1_get_virtual_uart_param(dev->port_number,
 216                 PARAM_RX_BUF_SIZE, &size);
 217
 218         if (result) {
 219                 dev_dbg(&dev->core, "%s:%d: tx_buf_size failed: %s\n",
 220                         __func__, __LINE__, ps3_result(result));
 221                 return result;
 222         }
 223
 224         result = lv1_set_virtual_uart_param(dev->port_number,
 225                 PARAM_RX_TRIGGER, size - rx);
 226
 227         if (result) {
 228                 dev_dbg(&dev->core, "%s:%d: rx_trigger failed: %s\n",
 229                         __func__, __LINE__, ps3_result(result));
 230                 return result;
 231         }
 232
 233         dev_dbg(&dev->core, "%s:%d: tx %xh, rx %xh\n", __func__, __LINE__,
 234                 tx, rx);
 235
 236         return result;
 237 }
 238
 239 static int ps3_vuart_get_rx_bytes_waiting(struct ps3_system_bus_device *dev,
 240         u64 *bytes_waiting)
 241 {
 242         int result;
 243
 244         result = lv1_get_virtual_uart_param(dev->port_number,
 245                 PARAM_RX_BYTES, bytes_waiting);
 246
 247         if (result)
 248                 dev_dbg(&dev->core, "%s:%d: rx_bytes failed: %s\n",
 249                         __func__, __LINE__, ps3_result(result));
 250
 251         dev_dbg(&dev->core, "%s:%d: %lxh\n", __func__, __LINE__,
 252                 *bytes_waiting);
 253         return result;
 254 }
 255
 256 /**
 257  * ps3_vuart_set_interrupt_mask - Enable/disable the port interrupt sources.
 258  * @dev: The struct ps3_system_bus_device instance.
 259  * @bmp: Logical OR of enum vuart_interrupt_mask values. A zero bit disables.
 260  */
 261
 262 static int ps3_vuart_set_interrupt_mask(struct ps3_system_bus_device *dev,
 263         unsigned long mask)
 264 {
 265         int result;
 266         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 267
 268         dev_dbg(&dev->core, "%s:%d: %lxh\n", __func__, __LINE__, mask);
 269
 270         priv->interrupt_mask = mask;
 271
 272         result = lv1_set_virtual_uart_param(dev->port_number,
 273                 PARAM_INTERRUPT_MASK, priv->interrupt_mask);
 274
 275         if (result)
 276                 dev_dbg(&dev->core, "%s:%d: interrupt_mask failed: %s\n",
 277                         __func__, __LINE__, ps3_result(result));
 278
 279         return result;
 280 }
 281
 282 static int ps3_vuart_get_interrupt_status(struct ps3_system_bus_device *dev,
 283         unsigned long *status)
 284 {
 285         int result;
 286         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 287         u64 tmp;
 288
 289         result = lv1_get_virtual_uart_param(dev->port_number,
 290                 PARAM_INTERRUPT_STATUS, &tmp);
 291
 292         if (result)
 293                 dev_dbg(&dev->core, "%s:%d: interrupt_status failed: %s\n",
 294                         __func__, __LINE__, ps3_result(result));
 295
 296         *status = tmp & priv->interrupt_mask;
 297
 298         dev_dbg(&dev->core, "%s:%d: m %lxh, s %lxh, m&s %lxh\n",
 299                 __func__, __LINE__, priv->interrupt_mask, tmp, *status);
 300
 301         return result;
 302 }
 303
 304 int ps3_vuart_enable_interrupt_tx(struct ps3_system_bus_device *dev)
 305 {
 306         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 307
 308         return (priv->interrupt_mask & INTERRUPT_MASK_TX) ? 0
 309                 : ps3_vuart_set_interrupt_mask(dev, priv->interrupt_mask
 310                 | INTERRUPT_MASK_TX);
 311 }
 312
 313 int ps3_vuart_enable_interrupt_rx(struct ps3_system_bus_device *dev)
 314 {
 315         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 316
 317         return (priv->interrupt_mask & INTERRUPT_MASK_RX) ? 0
 318                 : ps3_vuart_set_interrupt_mask(dev, priv->interrupt_mask
 319                 | INTERRUPT_MASK_RX);
 320 }
 321
 322 int ps3_vuart_enable_interrupt_disconnect(struct ps3_system_bus_device *dev)
 323 {
 324         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 325
 326         return (priv->interrupt_mask & INTERRUPT_MASK_DISCONNECT) ? 0
 327                 : ps3_vuart_set_interrupt_mask(dev, priv->interrupt_mask
 328                 | INTERRUPT_MASK_DISCONNECT);
 329 }
 330
 331 int ps3_vuart_disable_interrupt_tx(struct ps3_system_bus_device *dev)
 332 {
 333         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 334
 335         return (priv->interrupt_mask & INTERRUPT_MASK_TX)
 336                 ? ps3_vuart_set_interrupt_mask(dev, priv->interrupt_mask
 337                 & ~INTERRUPT_MASK_TX) : 0;
 338 }
 339
 340 int ps3_vuart_disable_interrupt_rx(struct ps3_system_bus_device *dev)
 341 {
 342         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 343
 344         return (priv->interrupt_mask & INTERRUPT_MASK_RX)
 345                 ? ps3_vuart_set_interrupt_mask(dev, priv->interrupt_mask
 346                 & ~INTERRUPT_MASK_RX) : 0;
 347 }
 348
 349 int ps3_vuart_disable_interrupt_disconnect(struct ps3_system_bus_device *dev)
 350 {
 351         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 352
 353         return (priv->interrupt_mask & INTERRUPT_MASK_DISCONNECT)
 354                 ? ps3_vuart_set_interrupt_mask(dev, priv->interrupt_mask
 355                 & ~INTERRUPT_MASK_DISCONNECT) : 0;
 356 }
 357
 358 /**
 359  * ps3_vuart_raw_write - Low level write helper.
 360  * @dev: The struct ps3_system_bus_device instance.
 361  *
 362  * Do not call ps3_vuart_raw_write directly, use ps3_vuart_write.
 363  */
 364
 365 static int ps3_vuart_raw_write(struct ps3_system_bus_device *dev,
 366         const void* buf, unsigned int bytes, unsigned long *bytes_written)
 367 {
 368         int result;
 369         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 370
 371         result = lv1_write_virtual_uart(dev->port_number,
 372                 ps3_mm_phys_to_lpar(__pa(buf)), bytes, bytes_written);
 373
 374         if (result) {
 375                 dev_dbg(&dev->core, "%s:%d: lv1_write_virtual_uart failed: "
 376                         "%s\n", __func__, __LINE__, ps3_result(result));
 377                 return result;
 378         }
 379
 380         priv->stats.bytes_written += *bytes_written;
 381
 382         dev_dbg(&dev->core, "%s:%d: wrote %lxh/%xh=>%lxh\n", __func__, __LINE__,
 383                 *bytes_written, bytes, priv->stats.bytes_written);
 384
 385         return result;
 386 }
 387
 388 /**
 389  * ps3_vuart_raw_read - Low level read helper.
 390  * @dev: The struct ps3_system_bus_device instance.
 391  *
 392  * Do not call ps3_vuart_raw_read directly, use ps3_vuart_read.
 393  */
 394
 395 static int ps3_vuart_raw_read(struct ps3_system_bus_device *dev, void *buf,
 396         unsigned int bytes, unsigned long *bytes_read)
 397 {
 398         int result;
 399         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 400
 401         dev_dbg(&dev->core, "%s:%d: %xh\n", __func__, __LINE__, bytes);
 402
 403         result = lv1_read_virtual_uart(dev->port_number,
 404                 ps3_mm_phys_to_lpar(__pa(buf)), bytes, bytes_read);
 405
 406         if (result) {
 407                 dev_dbg(&dev->core, "%s:%d: lv1_read_virtual_uart failed: %s\n",
 408                         __func__, __LINE__, ps3_result(result));
 409                 return result;
 410         }
 411
 412         priv->stats.bytes_read += *bytes_read;
 413
 414         dev_dbg(&dev->core, "%s:%d: read %lxh/%xh=>%lxh\n", __func__, __LINE__,
 415                 *bytes_read, bytes, priv->stats.bytes_read);
 416
 417         return result;
 418 }
 419
 420 /**
 421  * ps3_vuart_clear_rx_bytes - Discard bytes received.
 422  * @dev: The struct ps3_system_bus_device instance.
 423  * @bytes: Max byte count to discard, zero = all pending.
 424  *
 425  * Used to clear pending rx interrupt source.  Will not block.
 426  */
 427
 428 void ps3_vuart_clear_rx_bytes(struct ps3_system_bus_device *dev,
 429         unsigned int bytes)
 430 {
 431         int result;
 432         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 433         u64 bytes_waiting;
 434         void* tmp;
 435
 436         result = ps3_vuart_get_rx_bytes_waiting(dev, &bytes_waiting);
 437
 438         BUG_ON(result);
 439
 440         bytes = bytes ? min(bytes, (unsigned int)bytes_waiting) : bytes_waiting;
 441
 442         dev_dbg(&dev->core, "%s:%d: %u\n", __func__, __LINE__, bytes);
 443
 444         if (!bytes)
 445                 return;
 446
 447         /* Add some extra space for recently arrived data. */
 448
 449         bytes += 128;
 450
 451         tmp = kmalloc(bytes, GFP_KERNEL);
 452
 453         if (!tmp)
 454                 return;
 455
 456         ps3_vuart_raw_read(dev, tmp, bytes, &bytes_waiting);
 457
 458         kfree(tmp);
 459
 460         /* Don't include these bytes in the stats. */
 461
 462         priv->stats.bytes_read -= bytes_waiting;
 463 }
 464 EXPORT_SYMBOL_GPL(ps3_vuart_clear_rx_bytes);
 465
 466 /**
 467  * struct list_buffer - An element for a port device fifo buffer list.
 468  */
 469
 470 struct list_buffer {
 471         struct list_head link;
 472         const unsigned char *head;
 473         const unsigned char *tail;
 474         unsigned long dbg_number;
 475         unsigned char data[];
 476 };
 477
 478 /**
 479  * ps3_vuart_write - the entry point for writing data to a port
 480  * @dev: The struct ps3_system_bus_device instance.
 481  *
 482  * If the port is idle on entry as much of the incoming data is written to
 483  * the port as the port will accept.  Otherwise a list buffer is created
 484  * and any remaning incoming data is copied to that buffer.  The buffer is
 485  * then enqueued for transmision via the transmit interrupt.
 486  */
 487
 488 int ps3_vuart_write(struct ps3_system_bus_device *dev, const void *buf,
 489         unsigned int bytes)
 490 {
 491         static unsigned long dbg_number;
 492         int result;
 493         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 494         unsigned long flags;
 495         struct list_buffer *lb;
 496
 497         dev_dbg(&dev->core, "%s:%d: %u(%xh) bytes\n", __func__, __LINE__,
 498                 bytes, bytes);
 499
 500         spin_lock_irqsave(&priv->tx_list.lock, flags);
 501
 502         if (list_empty(&priv->tx_list.head)) {
 503                 unsigned long bytes_written;
 504
 505                 result = ps3_vuart_raw_write(dev, buf, bytes, &bytes_written);
 506
 507                 spin_unlock_irqrestore(&priv->tx_list.lock, flags);
 508
 509                 if (result) {
 510                         dev_dbg(&dev->core,
 511                                 "%s:%d: ps3_vuart_raw_write failed\n",
 512                                 __func__, __LINE__);
 513                         return result;
 514                 }
 515
 516                 if (bytes_written == bytes) {
 517                         dev_dbg(&dev->core, "%s:%d: wrote %xh bytes\n",
 518                                 __func__, __LINE__, bytes);
 519                         return 0;
 520                 }
 521
 522                 bytes -= bytes_written;
 523                 buf += bytes_written;
 524         } else
 525                 spin_unlock_irqrestore(&priv->tx_list.lock, flags);
 526
 527         lb = kmalloc(sizeof(struct list_buffer) + bytes, GFP_KERNEL);
 528
 529         if (!lb) {
 530                 return -ENOMEM;
 531         }
 532
 533         memcpy(lb->data, buf, bytes);
 534         lb->head = lb->data;
 535         lb->tail = lb->data + bytes;
 536         lb->dbg_number = ++dbg_number;
 537
 538         spin_lock_irqsave(&priv->tx_list.lock, flags);
 539         list_add_tail(&lb->link, &priv->tx_list.head);
 540         ps3_vuart_enable_interrupt_tx(dev);
 541         spin_unlock_irqrestore(&priv->tx_list.lock, flags);
 542
 543         dev_dbg(&dev->core, "%s:%d: queued buf_%lu, %xh bytes\n",
 544                 __func__, __LINE__, lb->dbg_number, bytes);
 545
 546         return 0;
 547 }
 548 EXPORT_SYMBOL_GPL(ps3_vuart_write);
 549
 550 /**
 551  * ps3_vuart_queue_rx_bytes - Queue waiting bytes into the buffer list.
 552  * @dev: The struct ps3_system_bus_device instance.
 553  * @bytes_queued: Number of bytes queued to the buffer list.
 554  *
 555  * Must be called with priv->rx_list.lock held.
 556  */
 557
 558 static int ps3_vuart_queue_rx_bytes(struct ps3_system_bus_device *dev,
 559         u64 *bytes_queued)
 560 {
 561         static unsigned long dbg_number;
 562         int result;
 563         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 564         struct list_buffer *lb;
 565         u64 bytes;
 566
 567         *bytes_queued = 0;
 568
 569         result = ps3_vuart_get_rx_bytes_waiting(dev, &bytes);
 570         BUG_ON(result);
 571
 572         if (result)
 573                 return -EIO;
 574
 575         if (!bytes)
 576                 return 0;
 577
 578         /* Add some extra space for recently arrived data. */
 579
 580         bytes += 128;
 581
 582         lb = kmalloc(sizeof(struct list_buffer) + bytes, GFP_ATOMIC);
 583
 584         if (!lb)
 585                 return -ENOMEM;
 586
 587         ps3_vuart_raw_read(dev, lb->data, bytes, &bytes);
 588
 589         lb->head = lb->data;
 590         lb->tail = lb->data + bytes;
 591         lb->dbg_number = ++dbg_number;
 592
 593         list_add_tail(&lb->link, &priv->rx_list.head);
 594         priv->rx_list.bytes_held += bytes;
 595
 596         dev_dbg(&dev->core, "%s:%d: buf_%lu: queued %lxh bytes\n",
 597                 __func__, __LINE__, lb->dbg_number, bytes);
 598
 599         *bytes_queued = bytes;
 600
 601         return 0;
 602 }
 603
 604 /**
 605  * ps3_vuart_read - The entry point for reading data from a port.
 606  *
 607  * Queue data waiting at the port, and if enough bytes to satisfy the request
 608  * are held in the buffer list those bytes are dequeued and copied to the
 609  * caller's buffer.  Emptied list buffers are retiered.  If the request cannot
 610  * be statified by bytes held in the list buffers -EAGAIN is returned.
 611  */
 612
 613 int ps3_vuart_read(struct ps3_system_bus_device *dev, void *buf,
 614         unsigned int bytes)
 615 {
 616         int result;
 617         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 618         unsigned long flags;
 619         struct list_buffer *lb, *n;
 620         unsigned long bytes_read;
 621
 622         dev_dbg(&dev->core, "%s:%d: %u(%xh) bytes\n", __func__, __LINE__,
 623                 bytes, bytes);
 624
 625         spin_lock_irqsave(&priv->rx_list.lock, flags);
 626
 627         /* Queue rx bytes here for polled reads. */
 628
 629         while (priv->rx_list.bytes_held < bytes) {
 630                 u64 tmp;
 631
 632                 result = ps3_vuart_queue_rx_bytes(dev, &tmp);
 633                 if (result || !tmp) {
 634                         dev_dbg(&dev->core, "%s:%d: starved for %lxh bytes\n",
 635                                 __func__, __LINE__,
 636                                 bytes - priv->rx_list.bytes_held);
 637                         spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 638                         return -EAGAIN;
 639                 }
 640         }
 641
 642         list_for_each_entry_safe(lb, n, &priv->rx_list.head, link) {
 643                 bytes_read = min((unsigned int)(lb->tail - lb->head), bytes);
 644
 645                 memcpy(buf, lb->head, bytes_read);
 646                 buf += bytes_read;
 647                 bytes -= bytes_read;
 648                 priv->rx_list.bytes_held -= bytes_read;
 649
 650                 if (bytes_read < lb->tail - lb->head) {
 651                         lb->head += bytes_read;
 652                         dev_dbg(&dev->core, "%s:%d: buf_%lu: dequeued %lxh "
 653                                 "bytes\n", __func__, __LINE__, lb->dbg_number,
 654                                 bytes_read);
 655                         spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 656                         return 0;
 657                 }
 658
 659                 dev_dbg(&dev->core, "%s:%d: buf_%lu: free, dequeued %lxh "
 660                         "bytes\n", __func__, __LINE__, lb->dbg_number,
 661                         bytes_read);
 662
 663                 list_del(&lb->link);
 664                 kfree(lb);
 665         }
 666
 667         spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 668         return 0;
 669 }
 670 EXPORT_SYMBOL_GPL(ps3_vuart_read);
 671
 672 /**
 673  * ps3_vuart_work - Asynchronous read handler.
 674  */
 675
 676 static void ps3_vuart_work(struct work_struct *work)
 677 {
 678         struct ps3_system_bus_device *dev =
 679                 ps3_vuart_work_to_system_bus_dev(work);
 680         struct ps3_vuart_port_driver *drv =
 681                 ps3_system_bus_dev_to_vuart_drv(dev);
 682
 683         BUG_ON(!drv);
 684         drv->work(dev);
 685 }
 686
 687 int ps3_vuart_read_async(struct ps3_system_bus_device *dev, unsigned int bytes)
 688 {
 689         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 690         unsigned long flags;
 691
 692         if (priv->rx_list.work.trigger) {
 693                 dev_dbg(&dev->core, "%s:%d: warning, multiple calls\n",
 694                         __func__, __LINE__);
 695                 return -EAGAIN;
 696         }
 697
 698         BUG_ON(!bytes);
 699
 700         PREPARE_WORK(&priv->rx_list.work.work, ps3_vuart_work);
 701
 702         spin_lock_irqsave(&priv->rx_list.lock, flags);
 703         if (priv->rx_list.bytes_held >= bytes) {
 704                 dev_dbg(&dev->core, "%s:%d: schedule_work %xh bytes\n",
 705                         __func__, __LINE__, bytes);
 706                 schedule_work(&priv->rx_list.work.work);
 707                 spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 708                 return 0;
 709         }
 710
 711         priv->rx_list.work.trigger = bytes;
 712         spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 713
 714         dev_dbg(&dev->core, "%s:%d: waiting for %u(%xh) bytes\n", __func__,
 715                 __LINE__, bytes, bytes);
 716
 717         return 0;
 718 }
 719 EXPORT_SYMBOL_GPL(ps3_vuart_read_async);
 720
 721 void ps3_vuart_cancel_async(struct ps3_system_bus_device *dev)
 722 {
 723         to_port_priv(dev)->rx_list.work.trigger = 0;
 724 }
 725 EXPORT_SYMBOL_GPL(ps3_vuart_cancel_async);
 726
 727 /**
 728  * ps3_vuart_handle_interrupt_tx - third stage transmit interrupt handler
 729  *
 730  * Services the transmit interrupt for the port.  Writes as much data from the
 731  * buffer list as the port will accept.  Retires any emptied list buffers and
 732  * adjusts the final list buffer state for a partial write.
 733  */
 734
 735 static int ps3_vuart_handle_interrupt_tx(struct ps3_system_bus_device *dev)
 736 {
 737         int result = 0;
 738         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 739         unsigned long flags;
 740         struct list_buffer *lb, *n;
 741         unsigned long bytes_total = 0;
 742
 743         dev_dbg(&dev->core, "%s:%d\n", __func__, __LINE__);
 744
 745         spin_lock_irqsave(&priv->tx_list.lock, flags);
 746
 747         list_for_each_entry_safe(lb, n, &priv->tx_list.head, link) {
 748
 749                 unsigned long bytes_written;
 750
 751                 result = ps3_vuart_raw_write(dev, lb->head, lb->tail - lb->head,
 752                         &bytes_written);
 753
 754                 if (result) {
 755                         dev_dbg(&dev->core,
 756                                 "%s:%d: ps3_vuart_raw_write failed\n",
 757                                 __func__, __LINE__);
 758                         break;
 759                 }
 760
 761                 bytes_total += bytes_written;
 762
 763                 if (bytes_written < lb->tail - lb->head) {
 764                         lb->head += bytes_written;
 765                         dev_dbg(&dev->core,
 766                                 "%s:%d cleared buf_%lu, %lxh bytes\n",
 767                                 __func__, __LINE__, lb->dbg_number,
 768                                 bytes_written);
 769                         goto port_full;
 770                 }
 771
 772                 dev_dbg(&dev->core, "%s:%d free buf_%lu\n", __func__, __LINE__,
 773                         lb->dbg_number);
 774
 775                 list_del(&lb->link);
 776                 kfree(lb);
 777         }
 778
 779         ps3_vuart_disable_interrupt_tx(dev);
 780 port_full:
 781         spin_unlock_irqrestore(&priv->tx_list.lock, flags);
 782         dev_dbg(&dev->core, "%s:%d wrote %lxh bytes total\n",
 783                 __func__, __LINE__, bytes_total);
 784         return result;
 785 }
 786
 787 /**
 788  * ps3_vuart_handle_interrupt_rx - third stage receive interrupt handler
 789  *
 790  * Services the receive interrupt for the port.  Creates a list buffer and
 791  * copies all waiting port data to that buffer and enqueues the buffer in the
 792  * buffer list.  Buffer list data is dequeued via ps3_vuart_read.
 793  */
 794
 795 static int ps3_vuart_handle_interrupt_rx(struct ps3_system_bus_device *dev)
 796 {
 797         int result;
 798         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 799         unsigned long flags;
 800         u64 bytes;
 801
 802         dev_dbg(&dev->core, "%s:%d\n", __func__, __LINE__);
 803
 804         spin_lock_irqsave(&priv->rx_list.lock, flags);
 805         result = ps3_vuart_queue_rx_bytes(dev, &bytes);
 806
 807         if (result) {
 808                 spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 809                 return result;
 810         }
 811
 812         if (priv->rx_list.work.trigger && priv->rx_list.bytes_held
 813                 >= priv->rx_list.work.trigger) {
 814                 dev_dbg(&dev->core, "%s:%d: schedule_work %lxh bytes\n",
 815                         __func__, __LINE__, priv->rx_list.work.trigger);
 816                 priv->rx_list.work.trigger = 0;
 817                 schedule_work(&priv->rx_list.work.work);
 818         }
 819
 820         spin_unlock_irqrestore(&priv->rx_list.lock, flags);
 821         return result;
 822 }
 823
 824 static int ps3_vuart_handle_interrupt_disconnect(
 825         struct ps3_system_bus_device *dev)
 826 {
 827         dev_dbg(&dev->core, "%s:%d\n", __func__, __LINE__);
 828         BUG_ON("no support");
 829         return -1;
 830 }
 831
 832 /**
 833  * ps3_vuart_handle_port_interrupt - second stage interrupt handler
 834  *
 835  * Services any pending interrupt types for the port.  Passes control to the
 836  * third stage type specific interrupt handler.  Returns control to the first
 837  * stage handler after one iteration.
 838  */
 839
 840 static int ps3_vuart_handle_port_interrupt(struct ps3_system_bus_device *dev)
 841 {
 842         int result;
 843         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
 844         unsigned long status;
 845
 846         result = ps3_vuart_get_interrupt_status(dev, &status);
 847
 848         if (result)
 849                 return result;
 850
 851         dev_dbg(&dev->core, "%s:%d: status: %lxh\n", __func__, __LINE__,
 852                 status);
 853
 854         if (status & INTERRUPT_MASK_DISCONNECT) {
 855                 priv->stats.disconnect_interrupts++;
 856                 result = ps3_vuart_handle_interrupt_disconnect(dev);
 857                 if (result)
 858                         ps3_vuart_disable_interrupt_disconnect(dev);
 859         }
 860
 861         if (status & INTERRUPT_MASK_TX) {
 862                 priv->stats.tx_interrupts++;
 863                 result = ps3_vuart_handle_interrupt_tx(dev);
 864                 if (result)
 865                         ps3_vuart_disable_interrupt_tx(dev);
 866         }
 867
 868         if (status & INTERRUPT_MASK_RX) {
 869                 priv->stats.rx_interrupts++;
 870                 result = ps3_vuart_handle_interrupt_rx(dev);
 871                 if (result)
 872                         ps3_vuart_disable_interrupt_rx(dev);
 873         }
 874
 875         return 0;
 876 }
 877
 878 struct vuart_bus_priv {
 879         struct ports_bmp *bmp;
 880         unsigned int virq;
 881         struct semaphore probe_mutex;
 882         int use_count;
 883         struct ps3_system_bus_device *devices[PORT_COUNT];
 884 } static vuart_bus_priv;
 885
 886 /**
 887  * ps3_vuart_irq_handler - first stage interrupt handler
 888  *
 889  * Loops finding any interrupting port and its associated instance data.
 890  * Passes control to the second stage port specific interrupt handler.  Loops
 891  * until all outstanding interrupts are serviced.
 892  */
 893
 894 static irqreturn_t ps3_vuart_irq_handler(int irq, void *_private)
 895 {
 896         struct vuart_bus_priv *bus_priv = _private;
 897
 898         BUG_ON(!bus_priv);
 899
 900         while (1) {
 901                 unsigned int port;
 902
 903                 dump_ports_bmp(bus_priv->bmp);
 904
 905                 port = (BITS_PER_LONG - 1) - __ilog2(bus_priv->bmp->status);
 906
 907                 if (port == BITS_PER_LONG)
 908                         break;
 909
 910                 BUG_ON(port >= PORT_COUNT);
 911                 BUG_ON(!bus_priv->devices[port]);
 912
 913                 ps3_vuart_handle_port_interrupt(bus_priv->devices[port]);
 914         }
 915
 916         return IRQ_HANDLED;
 917 }
 918
 919 static int ps3_vuart_bus_interrupt_get(void)
 920 {
 921         int result;
 922
 923         pr_debug(" -> %s:%d\n", __func__, __LINE__);
 924
 925         vuart_bus_priv.use_count++;
 926
 927         BUG_ON(vuart_bus_priv.use_count > 2);
 928
 929         if (vuart_bus_priv.use_count != 1) {
 930                 return 0;
 931         }
 932
 933         BUG_ON(vuart_bus_priv.bmp);
 934
 935         vuart_bus_priv.bmp = kzalloc(sizeof(struct ports_bmp), GFP_KERNEL);
 936
 937         if (!vuart_bus_priv.bmp) {
 938                 pr_debug("%s:%d: kzalloc failed.\n", __func__, __LINE__);
 939                 result = -ENOMEM;
 940                 goto fail_bmp_malloc;
 941         }
 942
 943         result = ps3_vuart_irq_setup(PS3_BINDING_CPU_ANY, vuart_bus_priv.bmp,
 944                 &vuart_bus_priv.virq);
 945
 946         if (result) {
 947                 pr_debug("%s:%d: ps3_vuart_irq_setup failed (%d)\n",
 948                         __func__, __LINE__, result);
 949                 result = -EPERM;
 950                 goto fail_alloc_irq;
 951         }
 952
 953         result = request_irq(vuart_bus_priv.virq, ps3_vuart_irq_handler,
 954                 IRQF_DISABLED, "vuart", &vuart_bus_priv);
 955
 956         if (result) {
 957                 pr_debug("%s:%d: request_irq failed (%d)\n",
 958                         __func__, __LINE__, result);
 959                 goto fail_request_irq;
 960         }
 961
 962         pr_debug(" <- %s:%d: ok\n", __func__, __LINE__);
 963         return result;
 964
 965 fail_request_irq:
 966         ps3_vuart_irq_destroy(vuart_bus_priv.virq);
 967         vuart_bus_priv.virq = NO_IRQ;
 968 fail_alloc_irq:
 969         kfree(vuart_bus_priv.bmp);
 970         vuart_bus_priv.bmp = NULL;
 971 fail_bmp_malloc:
 972         vuart_bus_priv.use_count--;
 973         pr_debug(" <- %s:%d: failed\n", __func__, __LINE__);
 974         return result;
 975 }
 976
 977 static int ps3_vuart_bus_interrupt_put(void)
 978 {
 979         pr_debug(" -> %s:%d\n", __func__, __LINE__);
 980
 981         vuart_bus_priv.use_count--;
 982
 983         BUG_ON(vuart_bus_priv.use_count < 0);
 984
 985         if (vuart_bus_priv.use_count != 0)
 986                 return 0;
 987
 988         free_irq(vuart_bus_priv.virq, &vuart_bus_priv);
 989
 990         ps3_vuart_irq_destroy(vuart_bus_priv.virq);
 991         vuart_bus_priv.virq = NO_IRQ;
 992
 993         kfree(vuart_bus_priv.bmp);
 994         vuart_bus_priv.bmp = NULL;
 995
 996         pr_debug(" <- %s:%d\n", __func__, __LINE__);
 997         return 0;
 998 }
 999
1000 static int ps3_vuart_probe(struct ps3_system_bus_device *dev)
1001 {
1002         int result;
1003         struct ps3_vuart_port_driver *drv;
1004         struct ps3_vuart_port_priv *priv = NULL;
1005
1006         dev_dbg(&dev->core, "%s:%d\n", __func__, __LINE__);
1007
1008         drv = ps3_system_bus_dev_to_vuart_drv(dev);
1009
1010         dev_dbg(&dev->core, "%s:%d: (%s)\n", __func__, __LINE__,
1011                 drv->core.core.name);
1012
1013         BUG_ON(!drv);
1014
1015         if (dev->port_number >= PORT_COUNT) {
1016                 BUG();
1017                 return -EINVAL;
1018         }
1019
1020         down(&vuart_bus_priv.probe_mutex);
1021
1022         result = ps3_vuart_bus_interrupt_get();
1023
1024         if (result)
1025                 goto fail_setup_interrupt;
1026
1027         if (vuart_bus_priv.devices[dev->port_number]) {
1028                 dev_dbg(&dev->core, "%s:%d: port busy (%d)\n", __func__,
1029                         __LINE__, dev->port_number);
1030                 result = -EBUSY;
1031                 goto fail_busy;
1032         }
1033
1034         vuart_bus_priv.devices[dev->port_number] = dev;
1035
1036         /* Setup dev->driver_priv. */
1037
1038         dev->driver_priv = kzalloc(sizeof(struct ps3_vuart_port_priv),
1039                 GFP_KERNEL);
1040
1041         if (!dev->driver_priv) {
1042                 result = -ENOMEM;
1043                 goto fail_dev_malloc;
1044         }
1045
1046         priv = to_port_priv(dev);
1047
1048         INIT_LIST_HEAD(&priv->tx_list.head);
1049         spin_lock_init(&priv->tx_list.lock);
1050
1051         INIT_LIST_HEAD(&priv->rx_list.head);
1052         spin_lock_init(&priv->rx_list.lock);
1053
1054         INIT_WORK(&priv->rx_list.work.work, NULL);
1055         priv->rx_list.work.trigger = 0;
1056         priv->rx_list.work.dev = dev;
1057
1058         /* clear stale pending interrupts */
1059
1060         ps3_vuart_clear_rx_bytes(dev, 0);
1061
1062         ps3_vuart_set_interrupt_mask(dev, INTERRUPT_MASK_RX);
1063
1064         ps3_vuart_set_triggers(dev, 1, 1);
1065
1066         if (drv->probe)
1067                 result = drv->probe(dev);
1068         else {
1069                 result = 0;
1070                 dev_info(&dev->core, "%s:%d: no probe method\n", __func__,
1071                         __LINE__);
1072         }
1073
1074         if (result) {
1075                 dev_dbg(&dev->core, "%s:%d: drv->probe failed\n",
1076                         __func__, __LINE__);
1077                 down(&vuart_bus_priv.probe_mutex);
1078                 goto fail_probe;
1079         }
1080
1081         up(&vuart_bus_priv.probe_mutex);
1082
1083         return result;
1084
1085 fail_probe:
1086         ps3_vuart_set_interrupt_mask(dev, 0);
1087         kfree(dev->driver_priv);
1088         dev->driver_priv = NULL;
1089 fail_dev_malloc:
1090         vuart_bus_priv.devices[dev->port_number] = NULL;
1091 fail_busy:
1092         ps3_vuart_bus_interrupt_put();
1093 fail_setup_interrupt:
1094         up(&vuart_bus_priv.probe_mutex);
1095         dev_dbg(&dev->core, "%s:%d: failed\n", __func__, __LINE__);
1096         return result;
1097 }
1098
1099 /**
1100  * ps3_vuart_cleanup - common cleanup helper.
1101  * @dev: The struct ps3_system_bus_device instance.
1102  *
1103  * Cleans interrupts and HV resources.  Must be called with
1104  * vuart_bus_priv.probe_mutex held.  Used by ps3_vuart_remove and
1105  * ps3_vuart_shutdown.  After this call, polled reading will still work.
1106  */
1107
1108 static int ps3_vuart_cleanup(struct ps3_system_bus_device *dev)
1109 {
1110         dev_dbg(&dev->core, "%s:%d\n", __func__, __LINE__);
1111
1112         ps3_vuart_cancel_async(dev);
1113         ps3_vuart_set_interrupt_mask(dev, 0);
1114         ps3_vuart_bus_interrupt_put();
1115         return 0;
1116 }
1117
1118 /**
1119  * ps3_vuart_remove - Completely clean the device instance.
1120  * @dev: The struct ps3_system_bus_device instance.
1121  *
1122  * Cleans all memory, interrupts and HV resources.  After this call the
1123  * device can no longer be used.
1124  */
1125
1126 static int ps3_vuart_remove(struct ps3_system_bus_device *dev)
1127 {
1128         struct ps3_vuart_port_priv *priv = to_port_priv(dev);
1129         struct ps3_vuart_port_driver *drv;
1130
1131         BUG_ON(!dev);
1132
1133         down(&vuart_bus_priv.probe_mutex);
1134
1135         dev_dbg(&dev->core, " -> %s:%d: match_id %d\n", __func__, __LINE__,
1136                 dev->match_id);
1137
1138         if (!dev->core.driver) {
1139                 dev_dbg(&dev->core, "%s:%d: no driver bound\n", __func__,
1140                         __LINE__);
1141                 up(&vuart_bus_priv.probe_mutex);
1142                 return 0;
1143         }
1144
1145         drv = ps3_system_bus_dev_to_vuart_drv(dev);
1146
1147         BUG_ON(!drv);
1148
1149         if (drv->remove) {
1150                 drv->remove(dev);
1151         } else {
1152                 dev_dbg(&dev->core, "%s:%d: no remove method\n", __func__,
1153                 __LINE__);
1154                 BUG();
1155         }
1156
1157         ps3_vuart_cleanup(dev);
1158
1159         vuart_bus_priv.devices[dev->port_number] = NULL;
1160         kfree(priv);
1161         priv = NULL;
1162
1163         dev_dbg(&dev->core, " <- %s:%d\n", __func__, __LINE__);
1164         up(&vuart_bus_priv.probe_mutex);
1165         return 0;
1166 }
1167
1168 /**
1169  * ps3_vuart_shutdown - Cleans interrupts and HV resources.
1170  * @dev: The struct ps3_system_bus_device instance.
1171  *
1172  * Cleans interrupts and HV resources.  After this call the
1173  * device can still be used in polling mode.  This behavior required
1174  * by sys-manager to be able to complete the device power operation
1175  * sequence.
1176  */
1177
1178 static int ps3_vuart_shutdown(struct ps3_system_bus_device *dev)
1179 {
1180         struct ps3_vuart_port_driver *drv;
1181
1182         BUG_ON(!dev);
1183
1184         down(&vuart_bus_priv.probe_mutex);
1185
1186         dev_dbg(&dev->core, " -> %s:%d: match_id %d\n", __func__, __LINE__,
1187                 dev->match_id);
1188
1189         if (!dev->core.driver) {
1190                 dev_dbg(&dev->core, "%s:%d: no driver bound\n", __func__,
1191                         __LINE__);
1192                 up(&vuart_bus_priv.probe_mutex);
1193                 return 0;
1194         }
1195
1196         drv = ps3_system_bus_dev_to_vuart_drv(dev);
1197
1198         BUG_ON(!drv);
1199
1200         if (drv->shutdown)
1201                 drv->shutdown(dev);
1202         else if (drv->remove) {
1203                 dev_dbg(&dev->core, "%s:%d: no shutdown, calling remove\n",
1204                         __func__, __LINE__);
1205                 drv->remove(dev);
1206         } else {
1207                 dev_dbg(&dev->core, "%s:%d: no shutdown method\n", __func__,
1208                         __LINE__);
1209                 BUG();
1210         }
1211
1212         ps3_vuart_cleanup(dev);
1213
1214         dev_dbg(&dev->core, " <- %s:%d\n", __func__, __LINE__);
1215
1216         up(&vuart_bus_priv.probe_mutex);
1217         return 0;
1218 }
1219
1220 static int __init ps3_vuart_bus_init(void)
1221 {
1222         pr_debug("%s:%d:\n", __func__, __LINE__);
1223
1224         if (!firmware_has_feature(FW_FEATURE_PS3_LV1))
1225                 return -ENODEV;
1226
1227         init_MUTEX(&vuart_bus_priv.probe_mutex);
1228
1229         return 0;
1230 }
1231
1232 static void __exit ps3_vuart_bus_exit(void)
1233 {
1234         pr_debug("%s:%d:\n", __func__, __LINE__);
1235 }
1236
1237 core_initcall(ps3_vuart_bus_init);
1238 module_exit(ps3_vuart_bus_exit);
1239
1240 /**
1241  * ps3_vuart_port_driver_register - Add a vuart port device driver.
1242  */
1243
1244 int ps3_vuart_port_driver_register(struct ps3_vuart_port_driver *drv)
1245 {
1246         int result;
1247
1248         pr_debug("%s:%d: (%s)\n", __func__, __LINE__, drv->core.core.name);
1249
1250         BUG_ON(!drv->core.match_id);
1251         BUG_ON(!drv->core.core.name);
1252
1253         drv->core.probe = ps3_vuart_probe;
1254         drv->core.remove = ps3_vuart_remove;
1255         drv->core.shutdown = ps3_vuart_shutdown;
1256
1257         result = ps3_system_bus_driver_register(&drv->core);
1258         return result;
1259 }
1260 EXPORT_SYMBOL_GPL(ps3_vuart_port_driver_register);
1261
1262 /**
1263  * ps3_vuart_port_driver_unregister - Remove a vuart port device driver.
1264  */
1265
1266 void ps3_vuart_port_driver_unregister(struct ps3_vuart_port_driver *drv)
1267 {
1268         pr_debug("%s:%d: (%s)\n", __func__, __LINE__, drv->core.core.name);
1269         ps3_system_bus_driver_unregister(&drv->core);
1270 }
1271 EXPORT_SYMBOL_GPL(ps3_vuart_port_driver_unregister);