drivers/pci/probe.c

   1 /*
   2  * probe.c - PCI detection and setup code
   3  */
   4
   5 #include <linux/kernel.h>
   6 #include <linux/delay.h>
   7 #include <linux/init.h>
   8 #include <linux/pci.h>
   9 #include <linux/slab.h>
  10 #include <linux/module.h>
  11 #include <linux/cpumask.h>
  12 #include <linux/pci-aspm.h>
  13 #include "pci.h"
  14
  15 #define CARDBUS_LATENCY_TIMER   176     /* secondary latency timer */
  16 #define CARDBUS_RESERVE_BUSNR   3
  17
  18 /* Ugh.  Need to stop exporting this to modules. */
  19 LIST_HEAD(pci_root_buses);
  20 EXPORT_SYMBOL(pci_root_buses);
  21
  22
  23 static int find_anything(struct device *dev, void *data)
  24 {
  25         return 1;
  26 }
  27
  28 /*
  29  * Some device drivers need know if pci is initiated.
  30  * Basically, we think pci is not initiated when there
  31  * is no device to be found on the pci_bus_type.
  32  */
  33 int no_pci_devices(void)
  34 {
  35         struct device *dev;
  36         int no_devices;
  37
  38         dev = bus_find_device(&pci_bus_type, NULL, NULL, find_anything);
  39         no_devices = (dev == NULL);
  40         put_device(dev);
  41         return no_devices;
  42 }
  43 EXPORT_SYMBOL(no_pci_devices);
  44
  45 #ifdef HAVE_PCI_LEGACY
  46 /**
  47  * pci_create_legacy_files - create legacy I/O port and memory files
  48  * @b: bus to create files under
  49  *
  50  * Some platforms allow access to legacy I/O port and ISA memory space on
  51  * a per-bus basis.  This routine creates the files and ties them into
  52  * their associated read, write and mmap files from pci-sysfs.c
  53  *
  54  * On error unwind, but don't propogate the error to the caller
  55  * as it is ok to set up the PCI bus without these files.
  56  */
  57 static void pci_create_legacy_files(struct pci_bus *b)
  58 {
  59         int error;
  60
  61         b->legacy_io = kzalloc(sizeof(struct bin_attribute) * 2,
  62                                GFP_ATOMIC);
  63         if (!b->legacy_io)
  64                 goto kzalloc_err;
  65
  66         b->legacy_io->attr.name = "legacy_io";
  67         b->legacy_io->size = 0xffff;
  68         b->legacy_io->attr.mode = S_IRUSR | S_IWUSR;
  69         b->legacy_io->read = pci_read_legacy_io;
  70         b->legacy_io->write = pci_write_legacy_io;
  71         error = device_create_bin_file(&b->dev, b->legacy_io);
  72         if (error)
  73                 goto legacy_io_err;
  74
  75         /* Allocated above after the legacy_io struct */
  76         b->legacy_mem = b->legacy_io + 1;
  77         b->legacy_mem->attr.name = "legacy_mem";
  78         b->legacy_mem->size = 1024*1024;
  79         b->legacy_mem->attr.mode = S_IRUSR | S_IWUSR;
  80         b->legacy_mem->mmap = pci_mmap_legacy_mem;
  81         error = device_create_bin_file(&b->dev, b->legacy_mem);
  82         if (error)
  83                 goto legacy_mem_err;
  84
  85         return;
  86
  87 legacy_mem_err:
  88         device_remove_bin_file(&b->dev, b->legacy_io);
  89 legacy_io_err:
  90         kfree(b->legacy_io);
  91         b->legacy_io = NULL;
  92 kzalloc_err:
  93         printk(KERN_WARNING "pci: warning: could not create legacy I/O port "
  94                "and ISA memory resources to sysfs\n");
  95         return;
  96 }
  97
  98 void pci_remove_legacy_files(struct pci_bus *b)
  99 {
 100         if (b->legacy_io) {
 101                 device_remove_bin_file(&b->dev, b->legacy_io);
 102                 device_remove_bin_file(&b->dev, b->legacy_mem);
 103                 kfree(b->legacy_io); /* both are allocated here */
 104         }
 105 }
 106 #else /* !HAVE_PCI_LEGACY */
 107 static inline void pci_create_legacy_files(struct pci_bus *bus) { return; }
 108 void pci_remove_legacy_files(struct pci_bus *bus) { return; }
 109 #endif /* HAVE_PCI_LEGACY */
 110
 111 /*
 112  * PCI Bus Class Devices
 113  */
 114 static ssize_t pci_bus_show_cpuaffinity(struct device *dev,
 115                                         int type,
 116                                         struct device_attribute *attr,
 117                                         char *buf)
 118 {
 119         int ret;
 120         cpumask_t cpumask;
 121
 122         cpumask = pcibus_to_cpumask(to_pci_bus(dev));
 123         ret = type?
 124                 cpulist_scnprintf(buf, PAGE_SIZE-2, cpumask):
 125                 cpumask_scnprintf(buf, PAGE_SIZE-2, cpumask);
 126         buf[ret++] = '\n';
 127         buf[ret] = '\0';
 128         return ret;
 129 }
 130
 131 static ssize_t inline pci_bus_show_cpumaskaffinity(struct device *dev,
 132                                         struct device_attribute *attr,
 133                                         char *buf)
 134 {
 135         return pci_bus_show_cpuaffinity(dev, 0, attr, buf);
 136 }
 137
 138 static ssize_t inline pci_bus_show_cpulistaffinity(struct device *dev,
 139                                         struct device_attribute *attr,
 140                                         char *buf)
 141 {
 142         return pci_bus_show_cpuaffinity(dev, 1, attr, buf);
 143 }
 144
 145 DEVICE_ATTR(cpuaffinity,     S_IRUGO, pci_bus_show_cpumaskaffinity, NULL);
 146 DEVICE_ATTR(cpulistaffinity, S_IRUGO, pci_bus_show_cpulistaffinity, NULL);
 147
 148 /*
 149  * PCI Bus Class
 150  */
 151 static void release_pcibus_dev(struct device *dev)
 152 {
 153         struct pci_bus *pci_bus = to_pci_bus(dev);
 154
 155         if (pci_bus->bridge)
 156                 put_device(pci_bus->bridge);
 157         kfree(pci_bus);
 158 }
 159
 160 static struct class pcibus_class = {
 161         .name           = "pci_bus",
 162         .dev_release    = &release_pcibus_dev,
 163 };
 164
 165 static int __init pcibus_class_init(void)
 166 {
 167         return class_register(&pcibus_class);
 168 }
 169 postcore_initcall(pcibus_class_init);
 170
 171 /*
 172  * Translate the low bits of the PCI base
 173  * to the resource type
 174  */
 175 static inline unsigned int pci_calc_resource_flags(unsigned int flags)
 176 {
 177         if (flags & PCI_BASE_ADDRESS_SPACE_IO)
 178                 return IORESOURCE_IO;
 179
 180         if (flags & PCI_BASE_ADDRESS_MEM_PREFETCH)
 181                 return IORESOURCE_MEM | IORESOURCE_PREFETCH;
 182
 183         return IORESOURCE_MEM;
 184 }
 185
 186 static u64 pci_size(u64 base, u64 maxbase, u64 mask)
 187 {
 188         u64 size = mask & maxbase;      /* Find the significant bits */
 189         if (!size)
 190                 return 0;
 191
 192         /* Get the lowest of them to find the decode size, and
 193            from that the extent.  */
 194         size = (size & ~(size-1)) - 1;
 195
 196         /* base == maxbase can be valid only if the BAR has
 197            already been programmed with all 1s.  */
 198         if (base == maxbase && ((base | size) & mask) != mask)
 199                 return 0;
 200
 201         return size;
 202 }
 203
 204 enum pci_bar_type {
 205         pci_bar_unknown,        /* Standard PCI BAR probe */
 206         pci_bar_io,             /* An io port BAR */
 207         pci_bar_mem32,          /* A 32-bit memory BAR */
 208         pci_bar_mem64,          /* A 64-bit memory BAR */
 209 };
 210
 211 static inline enum pci_bar_type decode_bar(struct resource *res, u32 bar)
 212 {
 213         if ((bar & PCI_BASE_ADDRESS_SPACE) == PCI_BASE_ADDRESS_SPACE_IO) {
 214                 res->flags = bar & ~PCI_BASE_ADDRESS_IO_MASK;
 215                 return pci_bar_io;
 216         }
 217
 218         res->flags = bar & ~PCI_BASE_ADDRESS_MEM_MASK;
 219
 220         if (res->flags == PCI_BASE_ADDRESS_MEM_TYPE_64)
 221                 return pci_bar_mem64;
 222         return pci_bar_mem32;
 223 }
 224
 225 /*
 226  * If the type is not unknown, we assume that the lowest bit is 'enable'.
 227  * Returns 1 if the BAR was 64-bit and 0 if it was 32-bit.
 228  */
 229 static int __pci_read_base(struct pci_dev *dev, enum pci_bar_type type,
 230                         struct resource *res, unsigned int pos)
 231 {
 232         u32 l, sz, mask;
 233
 234         mask = type ? ~PCI_ROM_ADDRESS_ENABLE : ~0;
 235
 236         res->name = pci_name(dev);
 237
 238         pci_read_config_dword(dev, pos, &l);
 239         pci_write_config_dword(dev, pos, mask);
 240         pci_read_config_dword(dev, pos, &sz);
 241         pci_write_config_dword(dev, pos, l);
 242
 243         /*
 244          * All bits set in sz means the device isn't working properly.
 245          * If the BAR isn't implemented, all bits must be 0.  If it's a
 246          * memory BAR or a ROM, bit 0 must be clear; if it's an io BAR, bit
 247          * 1 must be clear.
 248          */
 249         if (!sz || sz == 0xffffffff)
 250                 goto fail;
 251
 252         /*
 253          * I don't know how l can have all bits set.  Copied from old code.
 254          * Maybe it fixes a bug on some ancient platform.
 255          */
 256         if (l == 0xffffffff)
 257                 l = 0;
 258
 259         if (type == pci_bar_unknown) {
 260                 type = decode_bar(res, l);
 261                 res->flags |= pci_calc_resource_flags(l) | IORESOURCE_SIZEALIGN;
 262                 if (type == pci_bar_io) {
 263                         l &= PCI_BASE_ADDRESS_IO_MASK;
 264                         mask = PCI_BASE_ADDRESS_IO_MASK & 0xffff;
 265                 } else {
 266                         l &= PCI_BASE_ADDRESS_MEM_MASK;
 267                         mask = (u32)PCI_BASE_ADDRESS_MEM_MASK;
 268                 }
 269         } else {
 270                 res->flags |= (l & IORESOURCE_ROM_ENABLE);
 271                 l &= PCI_ROM_ADDRESS_MASK;
 272                 mask = (u32)PCI_ROM_ADDRESS_MASK;
 273         }
 274
 275         if (type == pci_bar_mem64) {
 276                 u64 l64 = l;
 277                 u64 sz64 = sz;
 278                 u64 mask64 = mask | (u64)~0 << 32;
 279
 280                 pci_read_config_dword(dev, pos + 4, &l);
 281                 pci_write_config_dword(dev, pos + 4, ~0);
 282                 pci_read_config_dword(dev, pos + 4, &sz);
 283                 pci_write_config_dword(dev, pos + 4, l);
 284
 285                 l64 |= ((u64)l << 32);
 286                 sz64 |= ((u64)sz << 32);
 287
 288                 sz64 = pci_size(l64, sz64, mask64);
 289
 290                 if (!sz64)
 291                         goto fail;
 292
 293                 if ((sizeof(resource_size_t) < 8) && (sz64 > 0x100000000ULL)) {
 294                         dev_err(&dev->dev, "can't handle 64-bit BAR\n");
 295                         goto fail;
 296                 } else if ((sizeof(resource_size_t) < 8) && l) {
 297                         /* Address above 32-bit boundary; disable the BAR */
 298                         pci_write_config_dword(dev, pos, 0);
 299                         pci_write_config_dword(dev, pos + 4, 0);
 300                         res->start = 0;
 301                         res->end = sz64;
 302                 } else {
 303                         res->start = l64;
 304                         res->end = l64 + sz64;
 305                         printk(KERN_DEBUG "PCI: %s reg %x 64bit mmio: %pR\n",
 306                                 pci_name(dev), pos, res);
 307                 }
 308         } else {
 309                 sz = pci_size(l, sz, mask);
 310
 311                 if (!sz)
 312                         goto fail;
 313
 314                 res->start = l;
 315                 res->end = l + sz;
 316                 printk(KERN_DEBUG "PCI: %s reg %x %s: %pR\n",
 317                        pci_name(dev), pos,
 318                        (res->flags & IORESOURCE_IO) ? "io port":"32bit mmio",
 319                        res);
 320         }
 321
 322  out:
 323         return (type == pci_bar_mem64) ? 1 : 0;
 324  fail:
 325         res->flags = 0;
 326         goto out;
 327 }
 328
 329 static void pci_read_bases(struct pci_dev *dev, unsigned int howmany, int rom)
 330 {
 331         unsigned int pos, reg;
 332
 333         for (pos = 0; pos < howmany; pos++) {
 334                 struct resource *res = &dev->resource[pos];
 335                 reg = PCI_BASE_ADDRESS_0 + (pos << 2);
 336                 pos += __pci_read_base(dev, pci_bar_unknown, res, reg);
 337         }
 338
 339         if (rom) {
 340                 struct resource *res = &dev->resource[PCI_ROM_RESOURCE];
 341                 dev->rom_base_reg = rom;
 342                 res->flags = IORESOURCE_MEM | IORESOURCE_PREFETCH |
 343                                 IORESOURCE_READONLY | IORESOURCE_CACHEABLE |
 344                                 IORESOURCE_SIZEALIGN;
 345                 __pci_read_base(dev, pci_bar_mem32, res, rom);
 346         }
 347 }
 348
 349 void __devinit pci_read_bridge_bases(struct pci_bus *child)
 350 {
 351         struct pci_dev *dev = child->self;
 352         u8 io_base_lo, io_limit_lo;
 353         u16 mem_base_lo, mem_limit_lo;
 354         unsigned long base, limit;
 355         struct resource *res;
 356         int i;
 357
 358         if (!dev)               /* It's a host bus, nothing to read */
 359                 return;
 360
 361         if (dev->transparent) {
 362                 dev_info(&dev->dev, "transparent bridge\n");
 363                 for(i = 3; i < PCI_BUS_NUM_RESOURCES; i++)
 364                         child->resource[i] = child->parent->resource[i - 3];
 365         }
 366
 367         for(i=0; i<3; i++)
 368                 child->resource[i] = &dev->resource[PCI_BRIDGE_RESOURCES+i];
 369
 370         res = child->resource[0];
 371         pci_read_config_byte(dev, PCI_IO_BASE, &io_base_lo);
 372         pci_read_config_byte(dev, PCI_IO_LIMIT, &io_limit_lo);
 373         base = (io_base_lo & PCI_IO_RANGE_MASK) << 8;
 374         limit = (io_limit_lo & PCI_IO_RANGE_MASK) << 8;
 375
 376         if ((io_base_lo & PCI_IO_RANGE_TYPE_MASK) == PCI_IO_RANGE_TYPE_32) {
 377                 u16 io_base_hi, io_limit_hi;
 378                 pci_read_config_word(dev, PCI_IO_BASE_UPPER16, &io_base_hi);
 379                 pci_read_config_word(dev, PCI_IO_LIMIT_UPPER16, &io_limit_hi);
 380                 base |= (io_base_hi << 16);
 381                 limit |= (io_limit_hi << 16);
 382         }
 383
 384         if (base <= limit) {
 385                 res->flags = (io_base_lo & PCI_IO_RANGE_TYPE_MASK) | IORESOURCE_IO;
 386                 if (!res->start)
 387                         res->start = base;
 388                 if (!res->end)
 389                         res->end = limit + 0xfff;
 390                 printk(KERN_DEBUG "PCI: bridge %s io port: %pR\n",
 391                        pci_name(dev), res);
 392         }
 393
 394         res = child->resource[1];
 395         pci_read_config_word(dev, PCI_MEMORY_BASE, &mem_base_lo);
 396         pci_read_config_word(dev, PCI_MEMORY_LIMIT, &mem_limit_lo);
 397         base = (mem_base_lo & PCI_MEMORY_RANGE_MASK) << 16;
 398         limit = (mem_limit_lo & PCI_MEMORY_RANGE_MASK) << 16;
 399         if (base <= limit) {
 400                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM;
 401                 res->start = base;
 402                 res->end = limit + 0xfffff;
 403                 printk(KERN_DEBUG "PCI: bridge %s 32bit mmio: %pR\n",
 404                        pci_name(dev), res);
 405         }
 406
 407         res = child->resource[2];
 408         pci_read_config_word(dev, PCI_PREF_MEMORY_BASE, &mem_base_lo);
 409         pci_read_config_word(dev, PCI_PREF_MEMORY_LIMIT, &mem_limit_lo);
 410         base = (mem_base_lo & PCI_PREF_RANGE_MASK) << 16;
 411         limit = (mem_limit_lo & PCI_PREF_RANGE_MASK) << 16;
 412
 413         if ((mem_base_lo & PCI_PREF_RANGE_TYPE_MASK) == PCI_PREF_RANGE_TYPE_64) {
 414                 u32 mem_base_hi, mem_limit_hi;
 415                 pci_read_config_dword(dev, PCI_PREF_BASE_UPPER32, &mem_base_hi);
 416                 pci_read_config_dword(dev, PCI_PREF_LIMIT_UPPER32, &mem_limit_hi);
 417
 418                 /*
 419                  * Some bridges set the base > limit by default, and some
 420                  * (broken) BIOSes do not initialize them.  If we find
 421                  * this, just assume they are not being used.
 422                  */
 423                 if (mem_base_hi <= mem_limit_hi) {
 424 #if BITS_PER_LONG == 64
 425                         base |= ((long) mem_base_hi) << 32;
 426                         limit |= ((long) mem_limit_hi) << 32;
 427 #else
 428                         if (mem_base_hi || mem_limit_hi) {
 429                                 dev_err(&dev->dev, "can't handle 64-bit "
 430                                         "address space for bridge\n");
 431                                 return;
 432                         }
 433 #endif
 434                 }
 435         }
 436         if (base <= limit) {
 437                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM | IORESOURCE_PREFETCH;
 438                 res->start = base;
 439                 res->end = limit + 0xfffff;
 440                 printk(KERN_DEBUG "PCI: bridge %s %sbit mmio pref: %pR\n",
 441                        pci_name(dev),
 442                        (res->flags & PCI_PREF_RANGE_TYPE_64) ? "64":"32", res);
 443         }
 444 }
 445
 446 static struct pci_bus * pci_alloc_bus(void)
 447 {
 448         struct pci_bus *b;
 449
 450         b = kzalloc(sizeof(*b), GFP_KERNEL);
 451         if (b) {
 452                 INIT_LIST_HEAD(&b->node);
 453                 INIT_LIST_HEAD(&b->children);
 454                 INIT_LIST_HEAD(&b->devices);
 455                 INIT_LIST_HEAD(&b->slots);
 456         }
 457         return b;
 458 }
 459
 460 static struct pci_bus *pci_alloc_child_bus(struct pci_bus *parent,
 461                                            struct pci_dev *bridge, int busnr)
 462 {
 463         struct pci_bus *child;
 464         int i;
 465
 466         /*
 467          * Allocate a new bus, and inherit stuff from the parent..
 468          */
 469         child = pci_alloc_bus();
 470         if (!child)
 471                 return NULL;
 472
 473         child->self = bridge;
 474         child->parent = parent;
 475         child->ops = parent->ops;
 476         child->sysdata = parent->sysdata;
 477         child->bus_flags = parent->bus_flags;
 478         child->bridge = get_device(&bridge->dev);
 479
 480         /* initialize some portions of the bus device, but don't register it
 481          * now as the parent is not properly set up yet.  This device will get
 482          * registered later in pci_bus_add_devices()
 483          */
 484         child->dev.class = &pcibus_class;
 485         sprintf(child->dev.bus_id, "%04x:%02x", pci_domain_nr(child), busnr);
 486
 487         /*
 488          * Set up the primary, secondary and subordinate
 489          * bus numbers.
 490          */
 491         child->number = child->secondary = busnr;
 492         child->primary = parent->secondary;
 493         child->subordinate = 0xff;
 494
 495         /* Set up default resource pointers and names.. */
 496         for (i = 0; i < 4; i++) {
 497                 child->resource[i] = &bridge->resource[PCI_BRIDGE_RESOURCES+i];
 498                 child->resource[i]->name = child->name;
 499         }
 500         bridge->subordinate = child;
 501
 502         return child;
 503 }
 504
 505 struct pci_bus *__ref pci_add_new_bus(struct pci_bus *parent, struct pci_dev *dev, int busnr)
 506 {
 507         struct pci_bus *child;
 508
 509         child = pci_alloc_child_bus(parent, dev, busnr);
 510         if (child) {
 511                 down_write(&pci_bus_sem);
 512                 list_add_tail(&child->node, &parent->children);
 513                 up_write(&pci_bus_sem);
 514         }
 515         return child;
 516 }
 517
 518 static void pci_fixup_parent_subordinate_busnr(struct pci_bus *child, int max)
 519 {
 520         struct pci_bus *parent = child->parent;
 521
 522         /* Attempts to fix that up are really dangerous unless
 523            we're going to re-assign all bus numbers. */
 524         if (!pcibios_assign_all_busses())
 525                 return;
 526
 527         while (parent->parent && parent->subordinate < max) {
 528                 parent->subordinate = max;
 529                 pci_write_config_byte(parent->self, PCI_SUBORDINATE_BUS, max);
 530                 parent = parent->parent;
 531         }
 532 }
 533
 534 /*
 535  * If it's a bridge, configure it and scan the bus behind it.
 536  * For CardBus bridges, we don't scan behind as the devices will
 537  * be handled by the bridge driver itself.
 538  *
 539  * We need to process bridges in two passes -- first we scan those
 540  * already configured by the BIOS and after we are done with all of
 541  * them, we proceed to assigning numbers to the remaining buses in
 542  * order to avoid overlaps between old and new bus numbers.
 543  */
 544 int __devinit pci_scan_bridge(struct pci_bus *bus, struct pci_dev *dev, int max, int pass)
 545 {
 546         struct pci_bus *child;
 547         int is_cardbus = (dev->hdr_type == PCI_HEADER_TYPE_CARDBUS);
 548         u32 buses, i, j = 0;
 549         u16 bctl;
 550
 551         pci_read_config_dword(dev, PCI_PRIMARY_BUS, &buses);
 552
 553         dev_dbg(&dev->dev, "scanning behind bridge, config %06x, pass %d\n",
 554                 buses & 0xffffff, pass);
 555
 556         /* Disable MasterAbortMode during probing to avoid reporting
 557            of bus errors (in some architectures) */
 558         pci_read_config_word(dev, PCI_BRIDGE_CONTROL, &bctl);
 559         pci_write_config_word(dev, PCI_BRIDGE_CONTROL,
 560                               bctl & ~PCI_BRIDGE_CTL_MASTER_ABORT);
 561
 562         if ((buses & 0xffff00) && !pcibios_assign_all_busses() && !is_cardbus) {
 563                 unsigned int cmax, busnr;
 564                 /*
 565                  * Bus already configured by firmware, process it in the first
 566                  * pass and just note the configuration.
 567                  */
 568                 if (pass)
 569                         goto out;
 570                 busnr = (buses >> 8) & 0xFF;
 571
 572                 /*
 573                  * If we already got to this bus through a different bridge,
 574                  * ignore it.  This can happen with the i450NX chipset.
 575                  */
 576                 if (pci_find_bus(pci_domain_nr(bus), busnr)) {
 577                         dev_info(&dev->dev, "bus %04x:%02x already known\n",
 578                                  pci_domain_nr(bus), busnr);
 579                         goto out;
 580                 }
 581
 582                 child = pci_add_new_bus(bus, dev, busnr);
 583                 if (!child)
 584                         goto out;
 585                 child->primary = buses & 0xFF;
 586                 child->subordinate = (buses >> 16) & 0xFF;
 587                 child->bridge_ctl = bctl;
 588
 589                 cmax = pci_scan_child_bus(child);
 590                 if (cmax > max)
 591                         max = cmax;
 592                 if (child->subordinate > max)
 593                         max = child->subordinate;
 594         } else {
 595                 /*
 596                  * We need to assign a number to this bus which we always
 597                  * do in the second pass.
 598                  */
 599                 if (!pass) {
 600                         if (pcibios_assign_all_busses())
 601                                 /* Temporarily disable forwarding of the
 602                                    configuration cycles on all bridges in
 603                                    this bus segment to avoid possible
 604                                    conflicts in the second pass between two
 605                                    bridges programmed with overlapping
 606                                    bus ranges. */
 607                                 pci_write_config_dword(dev, PCI_PRIMARY_BUS,
 608                                                        buses & ~0xffffff);
 609                         goto out;
 610                 }
 611
 612                 /* Clear errors */
 613                 pci_write_config_word(dev, PCI_STATUS, 0xffff);
 614
 615                 /* Prevent assigning a bus number that already exists.
 616                  * This can happen when a bridge is hot-plugged */
 617                 if (pci_find_bus(pci_domain_nr(bus), max+1))
 618                         goto out;
 619                 child = pci_add_new_bus(bus, dev, ++max);
 620                 buses = (buses & 0xff000000)
 621                       | ((unsigned int)(child->primary)     <<  0)
 622                       | ((unsigned int)(child->secondary)   <<  8)
 623                       | ((unsigned int)(child->subordinate) << 16);
 624
 625                 /*
 626                  * yenta.c forces a secondary latency timer of 176.
 627                  * Copy that behaviour here.
 628                  */
 629                 if (is_cardbus) {
 630                         buses &= ~0xff000000;
 631                         buses |= CARDBUS_LATENCY_TIMER << 24;
 632                 }
 633
 634                 /*
 635                  * We need to blast all three values with a single write.
 636                  */
 637                 pci_write_config_dword(dev, PCI_PRIMARY_BUS, buses);
 638
 639                 if (!is_cardbus) {
 640                         child->bridge_ctl = bctl;
 641                         /*
 642                          * Adjust subordinate busnr in parent buses.
 643                          * We do this before scanning for children because
 644                          * some devices may not be detected if the bios
 645                          * was lazy.
 646                          */
 647                         pci_fixup_parent_subordinate_busnr(child, max);
 648                         /* Now we can scan all subordinate buses... */
 649                         max = pci_scan_child_bus(child);
 650                         /*
 651                          * now fix it up again since we have found
 652                          * the real value of max.
 653                          */
 654                         pci_fixup_parent_subordinate_busnr(child, max);
 655                 } else {
 656                         /*
 657                          * For CardBus bridges, we leave 4 bus numbers
 658                          * as cards with a PCI-to-PCI bridge can be
 659                          * inserted later.
 660                          */
 661                         for (i=0; i<CARDBUS_RESERVE_BUSNR; i++) {
 662                                 struct pci_bus *parent = bus;
 663                                 if (pci_find_bus(pci_domain_nr(bus),
 664                                                         max+i+1))
 665                                         break;
 666                                 while (parent->parent) {
 667                                         if ((!pcibios_assign_all_busses()) &&
 668                                             (parent->subordinate > max) &&
 669                                             (parent->subordinate <= max+i)) {
 670                                                 j = 1;
 671                                         }
 672                                         parent = parent->parent;
 673                                 }
 674                                 if (j) {
 675                                         /*
 676                                          * Often, there are two cardbus bridges
 677                                          * -- try to leave one valid bus number
 678                                          * for each one.
 679                                          */
 680                                         i /= 2;
 681                                         break;
 682                                 }
 683                         }
 684                         max += i;
 685                         pci_fixup_parent_subordinate_busnr(child, max);
 686                 }
 687                 /*
 688                  * Set the subordinate bus number to its real value.
 689                  */
 690                 child->subordinate = max;
 691                 pci_write_config_byte(dev, PCI_SUBORDINATE_BUS, max);
 692         }
 693
 694         sprintf(child->name,
 695                 (is_cardbus ? "PCI CardBus %04x:%02x" : "PCI Bus %04x:%02x"),
 696                 pci_domain_nr(bus), child->number);
 697
 698         /* Has only triggered on CardBus, fixup is in yenta_socket */
 699         while (bus->parent) {
 700                 if ((child->subordinate > bus->subordinate) ||
 701                     (child->number > bus->subordinate) ||
 702                     (child->number < bus->number) ||
 703                     (child->subordinate < bus->number)) {
 704                         pr_debug("PCI: Bus #%02x (-#%02x) is %s "
 705                                 "hidden behind%s bridge #%02x (-#%02x)\n",
 706                                 child->number, child->subordinate,
 707                                 (bus->number > child->subordinate &&
 708                                  bus->subordinate < child->number) ?
 709                                         "wholly" : "partially",
 710                                 bus->self->transparent ? " transparent" : "",
 711                                 bus->number, bus->subordinate);
 712                 }
 713                 bus = bus->parent;
 714         }
 715
 716 out:
 717         pci_write_config_word(dev, PCI_BRIDGE_CONTROL, bctl);
 718
 719         return max;
 720 }
 721
 722 /*
 723  * Read interrupt line and base address registers.
 724  * The architecture-dependent code can tweak these, of course.
 725  */
 726 static void pci_read_irq(struct pci_dev *dev)
 727 {
 728         unsigned char irq;
 729
 730         pci_read_config_byte(dev, PCI_INTERRUPT_PIN, &irq);
 731         dev->pin = irq;
 732         if (irq)
 733                 pci_read_config_byte(dev, PCI_INTERRUPT_LINE, &irq);
 734         dev->irq = irq;
 735 }
 736
 737 #define LEGACY_IO_RESOURCE      (IORESOURCE_IO | IORESOURCE_PCI_FIXED)
 738
 739 /**
 740  * pci_setup_device - fill in class and map information of a device
 741  * @dev: the device structure to fill
 742  *
 743  * Initialize the device structure with information about the device's
 744  * vendor,class,memory and IO-space addresses,IRQ lines etc.
 745  * Called at initialisation of the PCI subsystem and by CardBus services.
 746  * Returns 0 on success and -1 if unknown type of device (not normal, bridge
 747  * or CardBus).
 748  */
 749 static int pci_setup_device(struct pci_dev * dev)
 750 {
 751         u32 class;
 752
 753         dev_set_name(&dev->dev, "%04x:%02x:%02x.%d", pci_domain_nr(dev->bus),
 754                      dev->bus->number, PCI_SLOT(dev->devfn),
 755                      PCI_FUNC(dev->devfn));
 756
 757         pci_read_config_dword(dev, PCI_CLASS_REVISION, &class);
 758         dev->revision = class & 0xff;
 759         class >>= 8;                                /* upper 3 bytes */
 760         dev->class = class;
 761         class >>= 8;
 762
 763         dev_dbg(&dev->dev, "found [%04x:%04x] class %06x header type %02x\n",
 764                  dev->vendor, dev->device, class, dev->hdr_type);
 765
 766         /* "Unknown power state" */
 767         dev->current_state = PCI_UNKNOWN;
 768
 769         /* Early fixups, before probing the BARs */
 770         pci_fixup_device(pci_fixup_early, dev);
 771         class = dev->class >> 8;
 772
 773         switch (dev->hdr_type) {                    /* header type */
 774         case PCI_HEADER_TYPE_NORMAL:                /* standard header */
 775                 if (class == PCI_CLASS_BRIDGE_PCI)
 776                         goto bad;
 777                 pci_read_irq(dev);
 778                 pci_read_bases(dev, 6, PCI_ROM_ADDRESS);
 779                 pci_read_config_word(dev, PCI_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 780                 pci_read_config_word(dev, PCI_SUBSYSTEM_ID, &dev->subsystem_device);
 781
 782                 /*
 783                  *      Do the ugly legacy mode stuff here rather than broken chip
 784                  *      quirk code. Legacy mode ATA controllers have fixed
 785                  *      addresses. These are not always echoed in BAR0-3, and
 786                  *      BAR0-3 in a few cases contain junk!
 787                  */
 788                 if (class == PCI_CLASS_STORAGE_IDE) {
 789                         u8 progif;
 790                         pci_read_config_byte(dev, PCI_CLASS_PROG, &progif);
 791                         if ((progif & 1) == 0) {
 792                                 dev->resource[0].start = 0x1F0;
 793                                 dev->resource[0].end = 0x1F7;
 794                                 dev->resource[0].flags = LEGACY_IO_RESOURCE;
 795                                 dev->resource[1].start = 0x3F6;
 796                                 dev->resource[1].end = 0x3F6;
 797                                 dev->resource[1].flags = LEGACY_IO_RESOURCE;
 798                         }
 799                         if ((progif & 4) == 0) {
 800                                 dev->resource[2].start = 0x170;
 801                                 dev->resource[2].end = 0x177;
 802                                 dev->resource[2].flags = LEGACY_IO_RESOURCE;
 803                                 dev->resource[3].start = 0x376;
 804                                 dev->resource[3].end = 0x376;
 805                                 dev->resource[3].flags = LEGACY_IO_RESOURCE;
 806                         }
 807                 }
 808                 break;
 809
 810         case PCI_HEADER_TYPE_BRIDGE:                /* bridge header */
 811                 if (class != PCI_CLASS_BRIDGE_PCI)
 812                         goto bad;
 813                 /* The PCI-to-PCI bridge spec requires that subtractive
 814                    decoding (i.e. transparent) bridge must have programming
 815                    interface code of 0x01. */
 816                 pci_read_irq(dev);
 817                 dev->transparent = ((dev->class & 0xff) == 1);
 818                 pci_read_bases(dev, 2, PCI_ROM_ADDRESS1);
 819                 break;
 820
 821         case PCI_HEADER_TYPE_CARDBUS:               /* CardBus bridge header */
 822                 if (class != PCI_CLASS_BRIDGE_CARDBUS)
 823                         goto bad;
 824                 pci_read_irq(dev);
 825                 pci_read_bases(dev, 1, 0);
 826                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 827                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_ID, &dev->subsystem_device);
 828                 break;
 829
 830         default:                                    /* unknown header */
 831                 dev_err(&dev->dev, "unknown header type %02x, "
 832                         "ignoring device\n", dev->hdr_type);
 833                 return -1;
 834
 835         bad:
 836                 dev_err(&dev->dev, "ignoring class %02x (doesn't match header "
 837                         "type %02x)\n", class, dev->hdr_type);
 838                 dev->class = PCI_CLASS_NOT_DEFINED;
 839         }
 840
 841         /* We found a fine healthy device, go go go... */
 842         return 0;
 843 }
 844
 845 /**
 846  * pci_release_dev - free a pci device structure when all users of it are finished.
 847  * @dev: device that's been disconnected
 848  *
 849  * Will be called only by the device core when all users of this pci device are
 850  * done.
 851  */
 852 static void pci_release_dev(struct device *dev)
 853 {
 854         struct pci_dev *pci_dev;
 855
 856         pci_dev = to_pci_dev(dev);
 857         pci_vpd_release(pci_dev);
 858         kfree(pci_dev);
 859 }
 860
 861 static void set_pcie_port_type(struct pci_dev *pdev)
 862 {
 863         int pos;
 864         u16 reg16;
 865
 866         pos = pci_find_capability(pdev, PCI_CAP_ID_EXP);
 867         if (!pos)
 868                 return;
 869         pdev->is_pcie = 1;
 870         pci_read_config_word(pdev, pos + PCI_EXP_FLAGS, &reg16);
 871         pdev->pcie_type = (reg16 & PCI_EXP_FLAGS_TYPE) >> 4;
 872 }
 873
 874 /**
 875  * pci_cfg_space_size - get the configuration space size of the PCI device.
 876  * @dev: PCI device
 877  *
 878  * Regular PCI devices have 256 bytes, but PCI-X 2 and PCI Express devices
 879  * have 4096 bytes.  Even if the device is capable, that doesn't mean we can
 880  * access it.  Maybe we don't have a way to generate extended config space
 881  * accesses, or the device is behind a reverse Express bridge.  So we try
 882  * reading the dword at 0x100 which must either be 0 or a valid extended
 883  * capability header.
 884  */
 885 int pci_cfg_space_size_ext(struct pci_dev *dev)
 886 {
 887         u32 status;
 888         int pos = PCI_CFG_SPACE_SIZE;
 889
 890         if (pci_read_config_dword(dev, pos, &status) != PCIBIOS_SUCCESSFUL)
 891                 goto fail;
 892         if (status == 0xffffffff)
 893                 goto fail;
 894
 895         return PCI_CFG_SPACE_EXP_SIZE;
 896
 897  fail:
 898         return PCI_CFG_SPACE_SIZE;
 899 }
 900
 901 int pci_cfg_space_size(struct pci_dev *dev)
 902 {
 903         int pos;
 904         u32 status;
 905
 906         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
 907         if (!pos) {
 908                 pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
 909                 if (!pos)
 910                         goto fail;
 911
 912                 pci_read_config_dword(dev, pos + PCI_X_STATUS, &status);
 913                 if (!(status & (PCI_X_STATUS_266MHZ | PCI_X_STATUS_533MHZ)))
 914                         goto fail;
 915         }
 916
 917         return pci_cfg_space_size_ext(dev);
 918
 919  fail:
 920         return PCI_CFG_SPACE_SIZE;
 921 }
 922
 923 static void pci_release_bus_bridge_dev(struct device *dev)
 924 {
 925         kfree(dev);
 926 }
 927
 928 struct pci_dev *alloc_pci_dev(void)
 929 {
 930         struct pci_dev *dev;
 931
 932         dev = kzalloc(sizeof(struct pci_dev), GFP_KERNEL);
 933         if (!dev)
 934                 return NULL;
 935
 936         INIT_LIST_HEAD(&dev->bus_list);
 937
 938         pci_msi_init_pci_dev(dev);
 939
 940         return dev;
 941 }
 942 EXPORT_SYMBOL(alloc_pci_dev);
 943
 944 /*
 945  * Read the config data for a PCI device, sanity-check it
 946  * and fill in the dev structure...
 947  */
 948 static struct pci_dev *pci_scan_device(struct pci_bus *bus, int devfn)
 949 {
 950         struct pci_dev *dev;
 951         struct pci_slot *slot;
 952         u32 l;
 953         u8 hdr_type;
 954         int delay = 1;
 955
 956         if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 957                 return NULL;
 958
 959         /* some broken boards return 0 or ~0 if a slot is empty: */
 960         if (l == 0xffffffff || l == 0x00000000 ||
 961             l == 0x0000ffff || l == 0xffff0000)
 962                 return NULL;
 963
 964         /* Configuration request Retry Status */
 965         while (l == 0xffff0001) {
 966                 msleep(delay);
 967                 delay *= 2;
 968                 if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 969                         return NULL;
 970                 /* Card hasn't responded in 60 seconds?  Must be stuck. */
 971                 if (delay > 60 * 1000) {
 972                         printk(KERN_WARNING "pci %04x:%02x:%02x.%d: not "
 973                                         "responding\n", pci_domain_nr(bus),
 974                                         bus->number, PCI_SLOT(devfn),
 975                                         PCI_FUNC(devfn));
 976                         return NULL;
 977                 }
 978         }
 979
 980         if (pci_bus_read_config_byte(bus, devfn, PCI_HEADER_TYPE, &hdr_type))
 981                 return NULL;
 982
 983         dev = alloc_pci_dev();
 984         if (!dev)
 985                 return NULL;
 986
 987         dev->bus = bus;
 988         dev->sysdata = bus->sysdata;
 989         dev->dev.parent = bus->bridge;
 990         dev->dev.bus = &pci_bus_type;
 991         dev->devfn = devfn;
 992         dev->hdr_type = hdr_type & 0x7f;
 993         dev->multifunction = !!(hdr_type & 0x80);
 994         dev->vendor = l & 0xffff;
 995         dev->device = (l >> 16) & 0xffff;
 996         dev->cfg_size = pci_cfg_space_size(dev);
 997         dev->error_state = pci_channel_io_normal;
 998         set_pcie_port_type(dev);
 999
1000         list_for_each_entry(slot, &bus->slots, list)
1001                 if (PCI_SLOT(devfn) == slot->number)
1002                         dev->slot = slot;
1003
1004         /* Assume 32-bit PCI; let 64-bit PCI cards (which are far rarer)
1005            set this higher, assuming the system even supports it.  */
1006         dev->dma_mask = 0xffffffff;
1007         if (pci_setup_device(dev) < 0) {
1008                 kfree(dev);
1009                 return NULL;
1010         }
1011
1012         pci_vpd_pci22_init(dev);
1013
1014         return dev;
1015 }
1016
1017 void pci_device_add(struct pci_dev *dev, struct pci_bus *bus)
1018 {
1019         device_initialize(&dev->dev);
1020         dev->dev.release = pci_release_dev;
1021         pci_dev_get(dev);
1022
1023         dev->dev.dma_mask = &dev->dma_mask;
1024         dev->dev.dma_parms = &dev->dma_parms;
1025         dev->dev.coherent_dma_mask = 0xffffffffull;
1026
1027         pci_set_dma_max_seg_size(dev, 65536);
1028         pci_set_dma_seg_boundary(dev, 0xffffffff);
1029
1030         /* Fix up broken headers */
1031         pci_fixup_device(pci_fixup_header, dev);
1032
1033         /* Initialize power management of the device */
1034         pci_pm_init(dev);
1035
1036         /*
1037          * Add the device to our list of discovered devices
1038          * and the bus list for fixup functions, etc.
1039          */
1040         down_write(&pci_bus_sem);
1041         list_add_tail(&dev->bus_list, &bus->devices);
1042         up_write(&pci_bus_sem);
1043 }
1044
1045 struct pci_dev *__ref pci_scan_single_device(struct pci_bus *bus, int devfn)
1046 {
1047         struct pci_dev *dev;
1048
1049         dev = pci_scan_device(bus, devfn);
1050         if (!dev)
1051                 return NULL;
1052
1053         pci_device_add(dev, bus);
1054
1055         return dev;
1056 }
1057 EXPORT_SYMBOL(pci_scan_single_device);
1058
1059 /**
1060  * pci_scan_slot - scan a PCI slot on a bus for devices.
1061  * @bus: PCI bus to scan
1062  * @devfn: slot number to scan (must have zero function.)
1063  *
1064  * Scan a PCI slot on the specified PCI bus for devices, adding
1065  * discovered devices to the @bus->devices list.  New devices
1066  * will not have is_added set.
1067  */
1068 int pci_scan_slot(struct pci_bus *bus, int devfn)
1069 {
1070         int func, nr = 0;
1071         int scan_all_fns;
1072
1073         scan_all_fns = pcibios_scan_all_fns(bus, devfn);
1074
1075         for (func = 0; func < 8; func++, devfn++) {
1076                 struct pci_dev *dev;
1077
1078                 dev = pci_scan_single_device(bus, devfn);
1079                 if (dev) {
1080                         nr++;
1081
1082                         /*
1083                          * If this is a single function device,
1084                          * don't scan past the first function.
1085                          */
1086                         if (!dev->multifunction) {
1087                                 if (func > 0) {
1088                                         dev->multifunction = 1;
1089                                 } else {
1090                                         break;
1091                                 }
1092                         }
1093                 } else {
1094                         if (func == 0 && !scan_all_fns)
1095                                 break;
1096                 }
1097         }
1098
1099         /* only one slot has pcie device */
1100         if (bus->self && nr)
1101                 pcie_aspm_init_link_state(bus->self);
1102
1103         return nr;
1104 }
1105
1106 unsigned int __devinit pci_scan_child_bus(struct pci_bus *bus)
1107 {
1108         unsigned int devfn, pass, max = bus->secondary;
1109         struct pci_dev *dev;
1110
1111         pr_debug("PCI: Scanning bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1112
1113         /* Go find them, Rover! */
1114         for (devfn = 0; devfn < 0x100; devfn += 8)
1115                 pci_scan_slot(bus, devfn);
1116
1117         /*
1118          * After performing arch-dependent fixup of the bus, look behind
1119          * all PCI-to-PCI bridges on this bus.
1120          */
1121         pr_debug("PCI: Fixups for bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1122         pcibios_fixup_bus(bus);
1123         for (pass=0; pass < 2; pass++)
1124                 list_for_each_entry(dev, &bus->devices, bus_list) {
1125                         if (dev->hdr_type == PCI_HEADER_TYPE_BRIDGE ||
1126                             dev->hdr_type == PCI_HEADER_TYPE_CARDBUS)
1127                                 max = pci_scan_bridge(bus, dev, max, pass);
1128                 }
1129
1130         /*
1131          * We've scanned the bus and so we know all about what's on
1132          * the other side of any bridges that may be on this bus plus
1133          * any devices.
1134          *
1135          * Return how far we've got finding sub-buses.
1136          */
1137         pr_debug("PCI: Bus scan for %04x:%02x returning with max=%02x\n",
1138                 pci_domain_nr(bus), bus->number, max);
1139         return max;
1140 }
1141
1142 void __attribute__((weak)) set_pci_bus_resources_arch_default(struct pci_bus *b)
1143 {
1144 }
1145
1146 struct pci_bus * pci_create_bus(struct device *parent,
1147                 int bus, struct pci_ops *ops, void *sysdata)
1148 {
1149         int error;
1150         struct pci_bus *b;
1151         struct device *dev;
1152
1153         b = pci_alloc_bus();
1154         if (!b)
1155                 return NULL;
1156
1157         dev = kmalloc(sizeof(*dev), GFP_KERNEL);
1158         if (!dev){
1159                 kfree(b);
1160                 return NULL;
1161         }
1162
1163         b->sysdata = sysdata;
1164         b->ops = ops;
1165
1166         if (pci_find_bus(pci_domain_nr(b), bus)) {
1167                 /* If we already got to this bus through a different bridge, ignore it */
1168                 pr_debug("PCI: Bus %04x:%02x already known\n", pci_domain_nr(b), bus);
1169                 goto err_out;
1170         }
1171
1172         down_write(&pci_bus_sem);
1173         list_add_tail(&b->node, &pci_root_buses);
1174         up_write(&pci_bus_sem);
1175
1176         memset(dev, 0, sizeof(*dev));
1177         dev->parent = parent;
1178         dev->release = pci_release_bus_bridge_dev;
1179         sprintf(dev->bus_id, "pci%04x:%02x", pci_domain_nr(b), bus);
1180         error = device_register(dev);
1181         if (error)
1182                 goto dev_reg_err;
1183         b->bridge = get_device(dev);
1184
1185         if (!parent)
1186                 set_dev_node(b->bridge, pcibus_to_node(b));
1187
1188         b->dev.class = &pcibus_class;
1189         b->dev.parent = b->bridge;
1190         sprintf(b->dev.bus_id, "%04x:%02x", pci_domain_nr(b), bus);
1191         error = device_register(&b->dev);
1192         if (error)
1193                 goto class_dev_reg_err;
1194         error = device_create_file(&b->dev, &dev_attr_cpuaffinity);
1195         if (error)
1196                 goto dev_create_file_err;
1197
1198         /* Create legacy_io and legacy_mem files for this bus */
1199         pci_create_legacy_files(b);
1200
1201         b->number = b->secondary = bus;
1202         b->resource[0] = &ioport_resource;
1203         b->resource[1] = &iomem_resource;
1204
1205         set_pci_bus_resources_arch_default(b);
1206
1207         return b;
1208
1209 dev_create_file_err:
1210         device_unregister(&b->dev);
1211 class_dev_reg_err:
1212         device_unregister(dev);
1213 dev_reg_err:
1214         down_write(&pci_bus_sem);
1215         list_del(&b->node);
1216         up_write(&pci_bus_sem);
1217 err_out:
1218         kfree(dev);
1219         kfree(b);
1220         return NULL;
1221 }
1222
1223 struct pci_bus * __devinit pci_scan_bus_parented(struct device *parent,
1224                 int bus, struct pci_ops *ops, void *sysdata)
1225 {
1226         struct pci_bus *b;
1227
1228         b = pci_create_bus(parent, bus, ops, sysdata);
1229         if (b)
1230                 b->subordinate = pci_scan_child_bus(b);
1231         return b;
1232 }
1233 EXPORT_SYMBOL(pci_scan_bus_parented);
1234
1235 #ifdef CONFIG_HOTPLUG
1236 EXPORT_SYMBOL(pci_add_new_bus);
1237 EXPORT_SYMBOL(pci_scan_slot);
1238 EXPORT_SYMBOL(pci_scan_bridge);
1239 EXPORT_SYMBOL_GPL(pci_scan_child_bus);
1240 #endif
1241
1242 static int __init pci_sort_bf_cmp(const struct device *d_a, const struct device *d_b)
1243 {
1244         const struct pci_dev *a = to_pci_dev(d_a);
1245         const struct pci_dev *b = to_pci_dev(d_b);
1246
1247         if      (pci_domain_nr(a->bus) < pci_domain_nr(b->bus)) return -1;
1248         else if (pci_domain_nr(a->bus) > pci_domain_nr(b->bus)) return  1;
1249
1250         if      (a->bus->number < b->bus->number) return -1;
1251         else if (a->bus->number > b->bus->number) return  1;
1252
1253         if      (a->devfn < b->devfn) return -1;
1254         else if (a->devfn > b->devfn) return  1;
1255
1256         return 0;
1257 }
1258
1259 void __init pci_sort_breadthfirst(void)
1260 {
1261         bus_sort_breadthfirst(&pci_bus_type, &pci_sort_bf_cmp);
1262 }