drivers/pci/probe.c

   1 /*
   2  * probe.c - PCI detection and setup code
   3  */
   4
   5 #include <linux/kernel.h>
   6 #include <linux/delay.h>
   7 #include <linux/init.h>
   8 #include <linux/pci.h>
   9 #include <linux/slab.h>
  10 #include <linux/module.h>
  11 #include <linux/cpumask.h>
  12 #include <linux/pci-aspm.h>
  13 #include "pci.h"
  14
  15 #define CARDBUS_LATENCY_TIMER   176     /* secondary latency timer */
  16 #define CARDBUS_RESERVE_BUSNR   3
  17
  18 /* Ugh.  Need to stop exporting this to modules. */
  19 LIST_HEAD(pci_root_buses);
  20 EXPORT_SYMBOL(pci_root_buses);
  21
  22
  23 static int find_anything(struct device *dev, void *data)
  24 {
  25         return 1;
  26 }
  27
  28 /*
  29  * Some device drivers need know if pci is initiated.
  30  * Basically, we think pci is not initiated when there
  31  * is no device to be found on the pci_bus_type.
  32  */
  33 int no_pci_devices(void)
  34 {
  35         struct device *dev;
  36         int no_devices;
  37
  38         dev = bus_find_device(&pci_bus_type, NULL, NULL, find_anything);
  39         no_devices = (dev == NULL);
  40         put_device(dev);
  41         return no_devices;
  42 }
  43 EXPORT_SYMBOL(no_pci_devices);
  44
  45 #ifdef HAVE_PCI_LEGACY
  46 /**
  47  * pci_create_legacy_files - create legacy I/O port and memory files
  48  * @b: bus to create files under
  49  *
  50  * Some platforms allow access to legacy I/O port and ISA memory space on
  51  * a per-bus basis.  This routine creates the files and ties them into
  52  * their associated read, write and mmap files from pci-sysfs.c
  53  *
  54  * On error unwind, but don't propogate the error to the caller
  55  * as it is ok to set up the PCI bus without these files.
  56  */
  57 static void pci_create_legacy_files(struct pci_bus *b)
  58 {
  59         int error;
  60
  61         b->legacy_io = kzalloc(sizeof(struct bin_attribute) * 2,
  62                                GFP_ATOMIC);
  63         if (!b->legacy_io)
  64                 goto kzalloc_err;
  65
  66         b->legacy_io->attr.name = "legacy_io";
  67         b->legacy_io->size = 0xffff;
  68         b->legacy_io->attr.mode = S_IRUSR | S_IWUSR;
  69         b->legacy_io->read = pci_read_legacy_io;
  70         b->legacy_io->write = pci_write_legacy_io;
  71         error = device_create_bin_file(&b->dev, b->legacy_io);
  72         if (error)
  73                 goto legacy_io_err;
  74
  75         /* Allocated above after the legacy_io struct */
  76         b->legacy_mem = b->legacy_io + 1;
  77         b->legacy_mem->attr.name = "legacy_mem";
  78         b->legacy_mem->size = 1024*1024;
  79         b->legacy_mem->attr.mode = S_IRUSR | S_IWUSR;
  80         b->legacy_mem->mmap = pci_mmap_legacy_mem;
  81         error = device_create_bin_file(&b->dev, b->legacy_mem);
  82         if (error)
  83                 goto legacy_mem_err;
  84
  85         return;
  86
  87 legacy_mem_err:
  88         device_remove_bin_file(&b->dev, b->legacy_io);
  89 legacy_io_err:
  90         kfree(b->legacy_io);
  91         b->legacy_io = NULL;
  92 kzalloc_err:
  93         printk(KERN_WARNING "pci: warning: could not create legacy I/O port "
  94                "and ISA memory resources to sysfs\n");
  95         return;
  96 }
  97
  98 void pci_remove_legacy_files(struct pci_bus *b)
  99 {
 100         if (b->legacy_io) {
 101                 device_remove_bin_file(&b->dev, b->legacy_io);
 102                 device_remove_bin_file(&b->dev, b->legacy_mem);
 103                 kfree(b->legacy_io); /* both are allocated here */
 104         }
 105 }
 106 #else /* !HAVE_PCI_LEGACY */
 107 static inline void pci_create_legacy_files(struct pci_bus *bus) { return; }
 108 void pci_remove_legacy_files(struct pci_bus *bus) { return; }
 109 #endif /* HAVE_PCI_LEGACY */
 110
 111 /*
 112  * PCI Bus Class Devices
 113  */
 114 static ssize_t pci_bus_show_cpuaffinity(struct device *dev,
 115                                         int type,
 116                                         struct device_attribute *attr,
 117                                         char *buf)
 118 {
 119         int ret;
 120         cpumask_t cpumask;
 121
 122         cpumask = pcibus_to_cpumask(to_pci_bus(dev));
 123         ret = type?
 124                 cpulist_scnprintf(buf, PAGE_SIZE-2, cpumask):
 125                 cpumask_scnprintf(buf, PAGE_SIZE-2, cpumask);
 126         buf[ret++] = '\n';
 127         buf[ret] = '\0';
 128         return ret;
 129 }
 130
 131 static ssize_t inline pci_bus_show_cpumaskaffinity(struct device *dev,
 132                                         struct device_attribute *attr,
 133                                         char *buf)
 134 {
 135         return pci_bus_show_cpuaffinity(dev, 0, attr, buf);
 136 }
 137
 138 static ssize_t inline pci_bus_show_cpulistaffinity(struct device *dev,
 139                                         struct device_attribute *attr,
 140                                         char *buf)
 141 {
 142         return pci_bus_show_cpuaffinity(dev, 1, attr, buf);
 143 }
 144
 145 DEVICE_ATTR(cpuaffinity,     S_IRUGO, pci_bus_show_cpumaskaffinity, NULL);
 146 DEVICE_ATTR(cpulistaffinity, S_IRUGO, pci_bus_show_cpulistaffinity, NULL);
 147
 148 /*
 149  * PCI Bus Class
 150  */
 151 static void release_pcibus_dev(struct device *dev)
 152 {
 153         struct pci_bus *pci_bus = to_pci_bus(dev);
 154
 155         if (pci_bus->bridge)
 156                 put_device(pci_bus->bridge);
 157         kfree(pci_bus);
 158 }
 159
 160 static struct class pcibus_class = {
 161         .name           = "pci_bus",
 162         .dev_release    = &release_pcibus_dev,
 163 };
 164
 165 static int __init pcibus_class_init(void)
 166 {
 167         return class_register(&pcibus_class);
 168 }
 169 postcore_initcall(pcibus_class_init);
 170
 171 /*
 172  * Translate the low bits of the PCI base
 173  * to the resource type
 174  */
 175 static inline unsigned int pci_calc_resource_flags(unsigned int flags)
 176 {
 177         if (flags & PCI_BASE_ADDRESS_SPACE_IO)
 178                 return IORESOURCE_IO;
 179
 180         if (flags & PCI_BASE_ADDRESS_MEM_PREFETCH)
 181                 return IORESOURCE_MEM | IORESOURCE_PREFETCH;
 182
 183         return IORESOURCE_MEM;
 184 }
 185
 186 static u64 pci_size(u64 base, u64 maxbase, u64 mask)
 187 {
 188         u64 size = mask & maxbase;      /* Find the significant bits */
 189         if (!size)
 190                 return 0;
 191
 192         /* Get the lowest of them to find the decode size, and
 193            from that the extent.  */
 194         size = (size & ~(size-1)) - 1;
 195
 196         /* base == maxbase can be valid only if the BAR has
 197            already been programmed with all 1s.  */
 198         if (base == maxbase && ((base | size) & mask) != mask)
 199                 return 0;
 200
 201         return size;
 202 }
 203
 204 enum pci_bar_type {
 205         pci_bar_unknown,        /* Standard PCI BAR probe */
 206         pci_bar_io,             /* An io port BAR */
 207         pci_bar_mem32,          /* A 32-bit memory BAR */
 208         pci_bar_mem64,          /* A 64-bit memory BAR */
 209 };
 210
 211 static inline enum pci_bar_type decode_bar(struct resource *res, u32 bar)
 212 {
 213         if ((bar & PCI_BASE_ADDRESS_SPACE) == PCI_BASE_ADDRESS_SPACE_IO) {
 214                 res->flags = bar & ~PCI_BASE_ADDRESS_IO_MASK;
 215                 return pci_bar_io;
 216         }
 217
 218         res->flags = bar & ~PCI_BASE_ADDRESS_MEM_MASK;
 219
 220         if (res->flags & PCI_BASE_ADDRESS_MEM_TYPE_64)
 221                 return pci_bar_mem64;
 222         return pci_bar_mem32;
 223 }
 224
 225 /*
 226  * If the type is not unknown, we assume that the lowest bit is 'enable'.
 227  * Returns 1 if the BAR was 64-bit and 0 if it was 32-bit.
 228  */
 229 static int __pci_read_base(struct pci_dev *dev, enum pci_bar_type type,
 230                         struct resource *res, unsigned int pos)
 231 {
 232         u32 l, sz, mask;
 233
 234         mask = type ? ~PCI_ROM_ADDRESS_ENABLE : ~0;
 235
 236         res->name = pci_name(dev);
 237
 238         pci_read_config_dword(dev, pos, &l);
 239         pci_write_config_dword(dev, pos, mask);
 240         pci_read_config_dword(dev, pos, &sz);
 241         pci_write_config_dword(dev, pos, l);
 242
 243         /*
 244          * All bits set in sz means the device isn't working properly.
 245          * If the BAR isn't implemented, all bits must be 0.  If it's a
 246          * memory BAR or a ROM, bit 0 must be clear; if it's an io BAR, bit
 247          * 1 must be clear.
 248          */
 249         if (!sz || sz == 0xffffffff)
 250                 goto fail;
 251
 252         /*
 253          * I don't know how l can have all bits set.  Copied from old code.
 254          * Maybe it fixes a bug on some ancient platform.
 255          */
 256         if (l == 0xffffffff)
 257                 l = 0;
 258
 259         if (type == pci_bar_unknown) {
 260                 type = decode_bar(res, l);
 261                 res->flags |= pci_calc_resource_flags(l) | IORESOURCE_SIZEALIGN;
 262                 if (type == pci_bar_io) {
 263                         l &= PCI_BASE_ADDRESS_IO_MASK;
 264                         mask = PCI_BASE_ADDRESS_IO_MASK & 0xffff;
 265                 } else {
 266                         l &= PCI_BASE_ADDRESS_MEM_MASK;
 267                         mask = (u32)PCI_BASE_ADDRESS_MEM_MASK;
 268                 }
 269         } else {
 270                 res->flags |= (l & IORESOURCE_ROM_ENABLE);
 271                 l &= PCI_ROM_ADDRESS_MASK;
 272                 mask = (u32)PCI_ROM_ADDRESS_MASK;
 273         }
 274
 275         if (type == pci_bar_mem64) {
 276                 u64 l64 = l;
 277                 u64 sz64 = sz;
 278                 u64 mask64 = mask | (u64)~0 << 32;
 279
 280                 pci_read_config_dword(dev, pos + 4, &l);
 281                 pci_write_config_dword(dev, pos + 4, ~0);
 282                 pci_read_config_dword(dev, pos + 4, &sz);
 283                 pci_write_config_dword(dev, pos + 4, l);
 284
 285                 l64 |= ((u64)l << 32);
 286                 sz64 |= ((u64)sz << 32);
 287
 288                 sz64 = pci_size(l64, sz64, mask64);
 289
 290                 if (!sz64)
 291                         goto fail;
 292
 293                 if ((sizeof(resource_size_t) < 8) && (sz64 > 0x100000000ULL)) {
 294                         dev_err(&dev->dev, "can't handle 64-bit BAR\n");
 295                         goto fail;
 296                 } else if ((sizeof(resource_size_t) < 8) && l) {
 297                         /* Address above 32-bit boundary; disable the BAR */
 298                         pci_write_config_dword(dev, pos, 0);
 299                         pci_write_config_dword(dev, pos + 4, 0);
 300                         res->start = 0;
 301                         res->end = sz64;
 302                 } else {
 303                         res->start = l64;
 304                         res->end = l64 + sz64;
 305                         printk(KERN_DEBUG "PCI: %s reg %x 64bit mmio: %pR\n",
 306                                 pci_name(dev), pos, res);
 307                 }
 308         } else {
 309                 sz = pci_size(l, sz, mask);
 310
 311                 if (!sz)
 312                         goto fail;
 313
 314                 res->start = l;
 315                 res->end = l + sz;
 316                 printk(KERN_DEBUG "PCI: %s reg %x %s: %pR\n",
 317                        pci_name(dev), pos,
 318                        (res->flags & IORESOURCE_IO) ? "io port":"32bit mmio",
 319                        res);
 320         }
 321
 322  out:
 323         return (type == pci_bar_mem64) ? 1 : 0;
 324  fail:
 325         res->flags = 0;
 326         goto out;
 327 }
 328
 329 static void pci_read_bases(struct pci_dev *dev, unsigned int howmany, int rom)
 330 {
 331         unsigned int pos, reg;
 332
 333         for (pos = 0; pos < howmany; pos++) {
 334                 struct resource *res = &dev->resource[pos];
 335                 reg = PCI_BASE_ADDRESS_0 + (pos << 2);
 336                 pos += __pci_read_base(dev, pci_bar_unknown, res, reg);
 337         }
 338
 339         if (rom) {
 340                 struct resource *res = &dev->resource[PCI_ROM_RESOURCE];
 341                 dev->rom_base_reg = rom;
 342                 res->flags = IORESOURCE_MEM | IORESOURCE_PREFETCH |
 343                                 IORESOURCE_READONLY | IORESOURCE_CACHEABLE |
 344                                 IORESOURCE_SIZEALIGN;
 345                 __pci_read_base(dev, pci_bar_mem32, res, rom);
 346         }
 347 }
 348
 349 void __devinit pci_read_bridge_bases(struct pci_bus *child)
 350 {
 351         struct pci_dev *dev = child->self;
 352         u8 io_base_lo, io_limit_lo;
 353         u16 mem_base_lo, mem_limit_lo;
 354         unsigned long base, limit;
 355         struct resource *res;
 356         int i;
 357
 358         if (!dev)               /* It's a host bus, nothing to read */
 359                 return;
 360
 361         if (dev->transparent) {
 362                 dev_info(&dev->dev, "transparent bridge\n");
 363                 for(i = 3; i < PCI_BUS_NUM_RESOURCES; i++)
 364                         child->resource[i] = child->parent->resource[i - 3];
 365         }
 366
 367         for(i=0; i<3; i++)
 368                 child->resource[i] = &dev->resource[PCI_BRIDGE_RESOURCES+i];
 369
 370         res = child->resource[0];
 371         pci_read_config_byte(dev, PCI_IO_BASE, &io_base_lo);
 372         pci_read_config_byte(dev, PCI_IO_LIMIT, &io_limit_lo);
 373         base = (io_base_lo & PCI_IO_RANGE_MASK) << 8;
 374         limit = (io_limit_lo & PCI_IO_RANGE_MASK) << 8;
 375
 376         if ((io_base_lo & PCI_IO_RANGE_TYPE_MASK) == PCI_IO_RANGE_TYPE_32) {
 377                 u16 io_base_hi, io_limit_hi;
 378                 pci_read_config_word(dev, PCI_IO_BASE_UPPER16, &io_base_hi);
 379                 pci_read_config_word(dev, PCI_IO_LIMIT_UPPER16, &io_limit_hi);
 380                 base |= (io_base_hi << 16);
 381                 limit |= (io_limit_hi << 16);
 382         }
 383
 384         if (base <= limit) {
 385                 res->flags = (io_base_lo & PCI_IO_RANGE_TYPE_MASK) | IORESOURCE_IO;
 386                 if (!res->start)
 387                         res->start = base;
 388                 if (!res->end)
 389                         res->end = limit + 0xfff;
 390                 printk(KERN_DEBUG "PCI: bridge %s io port: %pR\n",
 391                        pci_name(dev), res);
 392         }
 393
 394         res = child->resource[1];
 395         pci_read_config_word(dev, PCI_MEMORY_BASE, &mem_base_lo);
 396         pci_read_config_word(dev, PCI_MEMORY_LIMIT, &mem_limit_lo);
 397         base = (mem_base_lo & PCI_MEMORY_RANGE_MASK) << 16;
 398         limit = (mem_limit_lo & PCI_MEMORY_RANGE_MASK) << 16;
 399         if (base <= limit) {
 400                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM;
 401                 res->start = base;
 402                 res->end = limit + 0xfffff;
 403                 printk(KERN_DEBUG "PCI: bridge %s 32bit mmio: %pR\n",
 404                        pci_name(dev), res);
 405         }
 406
 407         res = child->resource[2];
 408         pci_read_config_word(dev, PCI_PREF_MEMORY_BASE, &mem_base_lo);
 409         pci_read_config_word(dev, PCI_PREF_MEMORY_LIMIT, &mem_limit_lo);
 410         base = (mem_base_lo & PCI_PREF_RANGE_MASK) << 16;
 411         limit = (mem_limit_lo & PCI_PREF_RANGE_MASK) << 16;
 412
 413         if ((mem_base_lo & PCI_PREF_RANGE_TYPE_MASK) == PCI_PREF_RANGE_TYPE_64) {
 414                 u32 mem_base_hi, mem_limit_hi;
 415                 pci_read_config_dword(dev, PCI_PREF_BASE_UPPER32, &mem_base_hi);
 416                 pci_read_config_dword(dev, PCI_PREF_LIMIT_UPPER32, &mem_limit_hi);
 417
 418                 /*
 419                  * Some bridges set the base > limit by default, and some
 420                  * (broken) BIOSes do not initialize them.  If we find
 421                  * this, just assume they are not being used.
 422                  */
 423                 if (mem_base_hi <= mem_limit_hi) {
 424 #if BITS_PER_LONG == 64
 425                         base |= ((long) mem_base_hi) << 32;
 426                         limit |= ((long) mem_limit_hi) << 32;
 427 #else
 428                         if (mem_base_hi || mem_limit_hi) {
 429                                 dev_err(&dev->dev, "can't handle 64-bit "
 430                                         "address space for bridge\n");
 431                                 return;
 432                         }
 433 #endif
 434                 }
 435         }
 436         if (base <= limit) {
 437                 res->flags = (mem_base_lo & PCI_MEMORY_RANGE_TYPE_MASK) | IORESOURCE_MEM | IORESOURCE_PREFETCH;
 438                 res->start = base;
 439                 res->end = limit + 0xfffff;
 440                 printk(KERN_DEBUG "PCI: bridge %s %sbit mmio pref: %pR\n",
 441                        pci_name(dev),
 442                        (res->flags & PCI_PREF_RANGE_TYPE_64) ? "64":"32", res);
 443         }
 444 }
 445
 446 static struct pci_bus * pci_alloc_bus(void)
 447 {
 448         struct pci_bus *b;
 449
 450         b = kzalloc(sizeof(*b), GFP_KERNEL);
 451         if (b) {
 452                 INIT_LIST_HEAD(&b->node);
 453                 INIT_LIST_HEAD(&b->children);
 454                 INIT_LIST_HEAD(&b->devices);
 455                 INIT_LIST_HEAD(&b->slots);
 456         }
 457         return b;
 458 }
 459
 460 static struct pci_bus *pci_alloc_child_bus(struct pci_bus *parent,
 461                                            struct pci_dev *bridge, int busnr)
 462 {
 463         struct pci_bus *child;
 464         int i;
 465
 466         /*
 467          * Allocate a new bus, and inherit stuff from the parent..
 468          */
 469         child = pci_alloc_bus();
 470         if (!child)
 471                 return NULL;
 472
 473         child->self = bridge;
 474         child->parent = parent;
 475         child->ops = parent->ops;
 476         child->sysdata = parent->sysdata;
 477         child->bus_flags = parent->bus_flags;
 478         child->bridge = get_device(&bridge->dev);
 479
 480         /* initialize some portions of the bus device, but don't register it
 481          * now as the parent is not properly set up yet.  This device will get
 482          * registered later in pci_bus_add_devices()
 483          */
 484         child->dev.class = &pcibus_class;
 485         sprintf(child->dev.bus_id, "%04x:%02x", pci_domain_nr(child), busnr);
 486
 487         /*
 488          * Set up the primary, secondary and subordinate
 489          * bus numbers.
 490          */
 491         child->number = child->secondary = busnr;
 492         child->primary = parent->secondary;
 493         child->subordinate = 0xff;
 494
 495         /* Set up default resource pointers and names.. */
 496         for (i = 0; i < 4; i++) {
 497                 child->resource[i] = &bridge->resource[PCI_BRIDGE_RESOURCES+i];
 498                 child->resource[i]->name = child->name;
 499         }
 500         bridge->subordinate = child;
 501
 502         return child;
 503 }
 504
 505 struct pci_bus *__ref pci_add_new_bus(struct pci_bus *parent, struct pci_dev *dev, int busnr)
 506 {
 507         struct pci_bus *child;
 508
 509         child = pci_alloc_child_bus(parent, dev, busnr);
 510         if (child) {
 511                 down_write(&pci_bus_sem);
 512                 list_add_tail(&child->node, &parent->children);
 513                 up_write(&pci_bus_sem);
 514         }
 515         return child;
 516 }
 517
 518 static void pci_fixup_parent_subordinate_busnr(struct pci_bus *child, int max)
 519 {
 520         struct pci_bus *parent = child->parent;
 521
 522         /* Attempts to fix that up are really dangerous unless
 523            we're going to re-assign all bus numbers. */
 524         if (!pcibios_assign_all_busses())
 525                 return;
 526
 527         while (parent->parent && parent->subordinate < max) {
 528                 parent->subordinate = max;
 529                 pci_write_config_byte(parent->self, PCI_SUBORDINATE_BUS, max);
 530                 parent = parent->parent;
 531         }
 532 }
 533
 534 /*
 535  * If it's a bridge, configure it and scan the bus behind it.
 536  * For CardBus bridges, we don't scan behind as the devices will
 537  * be handled by the bridge driver itself.
 538  *
 539  * We need to process bridges in two passes -- first we scan those
 540  * already configured by the BIOS and after we are done with all of
 541  * them, we proceed to assigning numbers to the remaining buses in
 542  * order to avoid overlaps between old and new bus numbers.
 543  */
 544 int __devinit pci_scan_bridge(struct pci_bus *bus, struct pci_dev *dev, int max, int pass)
 545 {
 546         struct pci_bus *child;
 547         int is_cardbus = (dev->hdr_type == PCI_HEADER_TYPE_CARDBUS);
 548         u32 buses, i, j = 0;
 549         u16 bctl;
 550
 551         pci_read_config_dword(dev, PCI_PRIMARY_BUS, &buses);
 552
 553         dev_dbg(&dev->dev, "scanning behind bridge, config %06x, pass %d\n",
 554                 buses & 0xffffff, pass);
 555
 556         /* Disable MasterAbortMode during probing to avoid reporting
 557            of bus errors (in some architectures) */
 558         pci_read_config_word(dev, PCI_BRIDGE_CONTROL, &bctl);
 559         pci_write_config_word(dev, PCI_BRIDGE_CONTROL,
 560                               bctl & ~PCI_BRIDGE_CTL_MASTER_ABORT);
 561
 562         if ((buses & 0xffff00) && !pcibios_assign_all_busses() && !is_cardbus) {
 563                 unsigned int cmax, busnr;
 564                 /*
 565                  * Bus already configured by firmware, process it in the first
 566                  * pass and just note the configuration.
 567                  */
 568                 if (pass)
 569                         goto out;
 570                 busnr = (buses >> 8) & 0xFF;
 571
 572                 /*
 573                  * If we already got to this bus through a different bridge,
 574                  * ignore it.  This can happen with the i450NX chipset.
 575                  */
 576                 if (pci_find_bus(pci_domain_nr(bus), busnr)) {
 577                         dev_info(&dev->dev, "bus %04x:%02x already known\n",
 578                                  pci_domain_nr(bus), busnr);
 579                         goto out;
 580                 }
 581
 582                 child = pci_add_new_bus(bus, dev, busnr);
 583                 if (!child)
 584                         goto out;
 585                 child->primary = buses & 0xFF;
 586                 child->subordinate = (buses >> 16) & 0xFF;
 587                 child->bridge_ctl = bctl;
 588
 589                 cmax = pci_scan_child_bus(child);
 590                 if (cmax > max)
 591                         max = cmax;
 592                 if (child->subordinate > max)
 593                         max = child->subordinate;
 594         } else {
 595                 /*
 596                  * We need to assign a number to this bus which we always
 597                  * do in the second pass.
 598                  */
 599                 if (!pass) {
 600                         if (pcibios_assign_all_busses())
 601                                 /* Temporarily disable forwarding of the
 602                                    configuration cycles on all bridges in
 603                                    this bus segment to avoid possible
 604                                    conflicts in the second pass between two
 605                                    bridges programmed with overlapping
 606                                    bus ranges. */
 607                                 pci_write_config_dword(dev, PCI_PRIMARY_BUS,
 608                                                        buses & ~0xffffff);
 609                         goto out;
 610                 }
 611
 612                 /* Clear errors */
 613                 pci_write_config_word(dev, PCI_STATUS, 0xffff);
 614
 615                 /* Prevent assigning a bus number that already exists.
 616                  * This can happen when a bridge is hot-plugged */
 617                 if (pci_find_bus(pci_domain_nr(bus), max+1))
 618                         goto out;
 619                 child = pci_add_new_bus(bus, dev, ++max);
 620                 buses = (buses & 0xff000000)
 621                       | ((unsigned int)(child->primary)     <<  0)
 622                       | ((unsigned int)(child->secondary)   <<  8)
 623                       | ((unsigned int)(child->subordinate) << 16);
 624
 625                 /*
 626                  * yenta.c forces a secondary latency timer of 176.
 627                  * Copy that behaviour here.
 628                  */
 629                 if (is_cardbus) {
 630                         buses &= ~0xff000000;
 631                         buses |= CARDBUS_LATENCY_TIMER << 24;
 632                 }
 633
 634                 /*
 635                  * We need to blast all three values with a single write.
 636                  */
 637                 pci_write_config_dword(dev, PCI_PRIMARY_BUS, buses);
 638
 639                 if (!is_cardbus) {
 640                         child->bridge_ctl = bctl;
 641                         /*
 642                          * Adjust subordinate busnr in parent buses.
 643                          * We do this before scanning for children because
 644                          * some devices may not be detected if the bios
 645                          * was lazy.
 646                          */
 647                         pci_fixup_parent_subordinate_busnr(child, max);
 648                         /* Now we can scan all subordinate buses... */
 649                         max = pci_scan_child_bus(child);
 650                         /*
 651                          * now fix it up again since we have found
 652                          * the real value of max.
 653                          */
 654                         pci_fixup_parent_subordinate_busnr(child, max);
 655                 } else {
 656                         /*
 657                          * For CardBus bridges, we leave 4 bus numbers
 658                          * as cards with a PCI-to-PCI bridge can be
 659                          * inserted later.
 660                          */
 661                         for (i=0; i<CARDBUS_RESERVE_BUSNR; i++) {
 662                                 struct pci_bus *parent = bus;
 663                                 if (pci_find_bus(pci_domain_nr(bus),
 664                                                         max+i+1))
 665                                         break;
 666                                 while (parent->parent) {
 667                                         if ((!pcibios_assign_all_busses()) &&
 668                                             (parent->subordinate > max) &&
 669                                             (parent->subordinate <= max+i)) {
 670                                                 j = 1;
 671                                         }
 672                                         parent = parent->parent;
 673                                 }
 674                                 if (j) {
 675                                         /*
 676                                          * Often, there are two cardbus bridges
 677                                          * -- try to leave one valid bus number
 678                                          * for each one.
 679                                          */
 680                                         i /= 2;
 681                                         break;
 682                                 }
 683                         }
 684                         max += i;
 685                         pci_fixup_parent_subordinate_busnr(child, max);
 686                 }
 687                 /*
 688                  * Set the subordinate bus number to its real value.
 689                  */
 690                 child->subordinate = max;
 691                 pci_write_config_byte(dev, PCI_SUBORDINATE_BUS, max);
 692         }
 693
 694         sprintf(child->name,
 695                 (is_cardbus ? "PCI CardBus %04x:%02x" : "PCI Bus %04x:%02x"),
 696                 pci_domain_nr(bus), child->number);
 697
 698         /* Has only triggered on CardBus, fixup is in yenta_socket */
 699         while (bus->parent) {
 700                 if ((child->subordinate > bus->subordinate) ||
 701                     (child->number > bus->subordinate) ||
 702                     (child->number < bus->number) ||
 703                     (child->subordinate < bus->number)) {
 704                         pr_debug("PCI: Bus #%02x (-#%02x) is %s "
 705                                 "hidden behind%s bridge #%02x (-#%02x)\n",
 706                                 child->number, child->subordinate,
 707                                 (bus->number > child->subordinate &&
 708                                  bus->subordinate < child->number) ?
 709                                         "wholly" : "partially",
 710                                 bus->self->transparent ? " transparent" : "",
 711                                 bus->number, bus->subordinate);
 712                 }
 713                 bus = bus->parent;
 714         }
 715
 716 out:
 717         pci_write_config_word(dev, PCI_BRIDGE_CONTROL, bctl);
 718
 719         return max;
 720 }
 721
 722 /*
 723  * Read interrupt line and base address registers.
 724  * The architecture-dependent code can tweak these, of course.
 725  */
 726 static void pci_read_irq(struct pci_dev *dev)
 727 {
 728         unsigned char irq;
 729
 730         pci_read_config_byte(dev, PCI_INTERRUPT_PIN, &irq);
 731         dev->pin = irq;
 732         if (irq)
 733                 pci_read_config_byte(dev, PCI_INTERRUPT_LINE, &irq);
 734         dev->irq = irq;
 735 }
 736
 737 #define LEGACY_IO_RESOURCE      (IORESOURCE_IO | IORESOURCE_PCI_FIXED)
 738
 739 /**
 740  * pci_setup_device - fill in class and map information of a device
 741  * @dev: the device structure to fill
 742  *
 743  * Initialize the device structure with information about the device's
 744  * vendor,class,memory and IO-space addresses,IRQ lines etc.
 745  * Called at initialisation of the PCI subsystem and by CardBus services.
 746  * Returns 0 on success and -1 if unknown type of device (not normal, bridge
 747  * or CardBus).
 748  */
 749 static int pci_setup_device(struct pci_dev * dev)
 750 {
 751         u32 class;
 752
 753         dev_set_name(&dev->dev, "%04x:%02x:%02x.%d", pci_domain_nr(dev->bus),
 754                      dev->bus->number, PCI_SLOT(dev->devfn),
 755                      PCI_FUNC(dev->devfn));
 756
 757         pci_read_config_dword(dev, PCI_CLASS_REVISION, &class);
 758         dev->revision = class & 0xff;
 759         class >>= 8;                                /* upper 3 bytes */
 760         dev->class = class;
 761         class >>= 8;
 762
 763         dev_dbg(&dev->dev, "found [%04x:%04x] class %06x header type %02x\n",
 764                  dev->vendor, dev->device, class, dev->hdr_type);
 765
 766         /* "Unknown power state" */
 767         dev->current_state = PCI_UNKNOWN;
 768
 769         /* Early fixups, before probing the BARs */
 770         pci_fixup_device(pci_fixup_early, dev);
 771         class = dev->class >> 8;
 772
 773         switch (dev->hdr_type) {                    /* header type */
 774         case PCI_HEADER_TYPE_NORMAL:                /* standard header */
 775                 if (class == PCI_CLASS_BRIDGE_PCI)
 776                         goto bad;
 777                 pci_read_irq(dev);
 778                 pci_read_bases(dev, 6, PCI_ROM_ADDRESS);
 779                 pci_read_config_word(dev, PCI_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 780                 pci_read_config_word(dev, PCI_SUBSYSTEM_ID, &dev->subsystem_device);
 781
 782                 /*
 783                  *      Do the ugly legacy mode stuff here rather than broken chip
 784                  *      quirk code. Legacy mode ATA controllers have fixed
 785                  *      addresses. These are not always echoed in BAR0-3, and
 786                  *      BAR0-3 in a few cases contain junk!
 787                  */
 788                 if (class == PCI_CLASS_STORAGE_IDE) {
 789                         u8 progif;
 790                         pci_read_config_byte(dev, PCI_CLASS_PROG, &progif);
 791                         if ((progif & 1) == 0) {
 792                                 dev->resource[0].start = 0x1F0;
 793                                 dev->resource[0].end = 0x1F7;
 794                                 dev->resource[0].flags = LEGACY_IO_RESOURCE;
 795                                 dev->resource[1].start = 0x3F6;
 796                                 dev->resource[1].end = 0x3F6;
 797                                 dev->resource[1].flags = LEGACY_IO_RESOURCE;
 798                         }
 799                         if ((progif & 4) == 0) {
 800                                 dev->resource[2].start = 0x170;
 801                                 dev->resource[2].end = 0x177;
 802                                 dev->resource[2].flags = LEGACY_IO_RESOURCE;
 803                                 dev->resource[3].start = 0x376;
 804                                 dev->resource[3].end = 0x376;
 805                                 dev->resource[3].flags = LEGACY_IO_RESOURCE;
 806                         }
 807                 }
 808                 break;
 809
 810         case PCI_HEADER_TYPE_BRIDGE:                /* bridge header */
 811                 if (class != PCI_CLASS_BRIDGE_PCI)
 812                         goto bad;
 813                 /* The PCI-to-PCI bridge spec requires that subtractive
 814                    decoding (i.e. transparent) bridge must have programming
 815                    interface code of 0x01. */
 816                 pci_read_irq(dev);
 817                 dev->transparent = ((dev->class & 0xff) == 1);
 818                 pci_read_bases(dev, 2, PCI_ROM_ADDRESS1);
 819                 break;
 820
 821         case PCI_HEADER_TYPE_CARDBUS:               /* CardBus bridge header */
 822                 if (class != PCI_CLASS_BRIDGE_CARDBUS)
 823                         goto bad;
 824                 pci_read_irq(dev);
 825                 pci_read_bases(dev, 1, 0);
 826                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_VENDOR_ID, &dev->subsystem_vendor);
 827                 pci_read_config_word(dev, PCI_CB_SUBSYSTEM_ID, &dev->subsystem_device);
 828                 break;
 829
 830         default:                                    /* unknown header */
 831                 dev_err(&dev->dev, "unknown header type %02x, "
 832                         "ignoring device\n", dev->hdr_type);
 833                 return -1;
 834
 835         bad:
 836                 dev_err(&dev->dev, "ignoring class %02x (doesn't match header "
 837                         "type %02x)\n", class, dev->hdr_type);
 838                 dev->class = PCI_CLASS_NOT_DEFINED;
 839         }
 840
 841         /* We found a fine healthy device, go go go... */
 842         return 0;
 843 }
 844
 845 static void pci_release_capabilities(struct pci_dev *dev)
 846 {
 847         pci_vpd_release(dev);
 848 }
 849
 850 /**
 851  * pci_release_dev - free a pci device structure when all users of it are finished.
 852  * @dev: device that's been disconnected
 853  *
 854  * Will be called only by the device core when all users of this pci device are
 855  * done.
 856  */
 857 static void pci_release_dev(struct device *dev)
 858 {
 859         struct pci_dev *pci_dev;
 860
 861         pci_dev = to_pci_dev(dev);
 862         pci_release_capabilities(pci_dev);
 863         kfree(pci_dev);
 864 }
 865
 866 static void set_pcie_port_type(struct pci_dev *pdev)
 867 {
 868         int pos;
 869         u16 reg16;
 870
 871         pos = pci_find_capability(pdev, PCI_CAP_ID_EXP);
 872         if (!pos)
 873                 return;
 874         pdev->is_pcie = 1;
 875         pci_read_config_word(pdev, pos + PCI_EXP_FLAGS, &reg16);
 876         pdev->pcie_type = (reg16 & PCI_EXP_FLAGS_TYPE) >> 4;
 877 }
 878
 879 /**
 880  * pci_cfg_space_size - get the configuration space size of the PCI device.
 881  * @dev: PCI device
 882  *
 883  * Regular PCI devices have 256 bytes, but PCI-X 2 and PCI Express devices
 884  * have 4096 bytes.  Even if the device is capable, that doesn't mean we can
 885  * access it.  Maybe we don't have a way to generate extended config space
 886  * accesses, or the device is behind a reverse Express bridge.  So we try
 887  * reading the dword at 0x100 which must either be 0 or a valid extended
 888  * capability header.
 889  */
 890 int pci_cfg_space_size_ext(struct pci_dev *dev)
 891 {
 892         u32 status;
 893         int pos = PCI_CFG_SPACE_SIZE;
 894
 895         if (pci_read_config_dword(dev, pos, &status) != PCIBIOS_SUCCESSFUL)
 896                 goto fail;
 897         if (status == 0xffffffff)
 898                 goto fail;
 899
 900         return PCI_CFG_SPACE_EXP_SIZE;
 901
 902  fail:
 903         return PCI_CFG_SPACE_SIZE;
 904 }
 905
 906 int pci_cfg_space_size(struct pci_dev *dev)
 907 {
 908         int pos;
 909         u32 status;
 910
 911         pos = pci_find_capability(dev, PCI_CAP_ID_EXP);
 912         if (!pos) {
 913                 pos = pci_find_capability(dev, PCI_CAP_ID_PCIX);
 914                 if (!pos)
 915                         goto fail;
 916
 917                 pci_read_config_dword(dev, pos + PCI_X_STATUS, &status);
 918                 if (!(status & (PCI_X_STATUS_266MHZ | PCI_X_STATUS_533MHZ)))
 919                         goto fail;
 920         }
 921
 922         return pci_cfg_space_size_ext(dev);
 923
 924  fail:
 925         return PCI_CFG_SPACE_SIZE;
 926 }
 927
 928 static void pci_release_bus_bridge_dev(struct device *dev)
 929 {
 930         kfree(dev);
 931 }
 932
 933 struct pci_dev *alloc_pci_dev(void)
 934 {
 935         struct pci_dev *dev;
 936
 937         dev = kzalloc(sizeof(struct pci_dev), GFP_KERNEL);
 938         if (!dev)
 939                 return NULL;
 940
 941         INIT_LIST_HEAD(&dev->bus_list);
 942
 943         return dev;
 944 }
 945 EXPORT_SYMBOL(alloc_pci_dev);
 946
 947 /*
 948  * Read the config data for a PCI device, sanity-check it
 949  * and fill in the dev structure...
 950  */
 951 static struct pci_dev *pci_scan_device(struct pci_bus *bus, int devfn)
 952 {
 953         struct pci_dev *dev;
 954         struct pci_slot *slot;
 955         u32 l;
 956         u8 hdr_type;
 957         int delay = 1;
 958
 959         if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 960                 return NULL;
 961
 962         /* some broken boards return 0 or ~0 if a slot is empty: */
 963         if (l == 0xffffffff || l == 0x00000000 ||
 964             l == 0x0000ffff || l == 0xffff0000)
 965                 return NULL;
 966
 967         /* Configuration request Retry Status */
 968         while (l == 0xffff0001) {
 969                 msleep(delay);
 970                 delay *= 2;
 971                 if (pci_bus_read_config_dword(bus, devfn, PCI_VENDOR_ID, &l))
 972                         return NULL;
 973                 /* Card hasn't responded in 60 seconds?  Must be stuck. */
 974                 if (delay > 60 * 1000) {
 975                         printk(KERN_WARNING "pci %04x:%02x:%02x.%d: not "
 976                                         "responding\n", pci_domain_nr(bus),
 977                                         bus->number, PCI_SLOT(devfn),
 978                                         PCI_FUNC(devfn));
 979                         return NULL;
 980                 }
 981         }
 982
 983         if (pci_bus_read_config_byte(bus, devfn, PCI_HEADER_TYPE, &hdr_type))
 984                 return NULL;
 985
 986         dev = alloc_pci_dev();
 987         if (!dev)
 988                 return NULL;
 989
 990         dev->bus = bus;
 991         dev->sysdata = bus->sysdata;
 992         dev->dev.parent = bus->bridge;
 993         dev->dev.bus = &pci_bus_type;
 994         dev->devfn = devfn;
 995         dev->hdr_type = hdr_type & 0x7f;
 996         dev->multifunction = !!(hdr_type & 0x80);
 997         dev->vendor = l & 0xffff;
 998         dev->device = (l >> 16) & 0xffff;
 999         dev->cfg_size = pci_cfg_space_size(dev);
1000         dev->error_state = pci_channel_io_normal;
1001         set_pcie_port_type(dev);
1002
1003         list_for_each_entry(slot, &bus->slots, list)
1004                 if (PCI_SLOT(devfn) == slot->number)
1005                         dev->slot = slot;
1006
1007         /* Assume 32-bit PCI; let 64-bit PCI cards (which are far rarer)
1008            set this higher, assuming the system even supports it.  */
1009         dev->dma_mask = 0xffffffff;
1010         if (pci_setup_device(dev) < 0) {
1011                 kfree(dev);
1012                 return NULL;
1013         }
1014
1015         return dev;
1016 }
1017
1018 static void pci_init_capabilities(struct pci_dev *dev)
1019 {
1020         /* MSI/MSI-X list */
1021         pci_msi_init_pci_dev(dev);
1022
1023         /* Power Management */
1024         pci_pm_init(dev);
1025
1026         /* Vital Product Data */
1027         pci_vpd_pci22_init(dev);
1028 }
1029
1030 void pci_device_add(struct pci_dev *dev, struct pci_bus *bus)
1031 {
1032         device_initialize(&dev->dev);
1033         dev->dev.release = pci_release_dev;
1034         pci_dev_get(dev);
1035
1036         dev->dev.dma_mask = &dev->dma_mask;
1037         dev->dev.dma_parms = &dev->dma_parms;
1038         dev->dev.coherent_dma_mask = 0xffffffffull;
1039
1040         pci_set_dma_max_seg_size(dev, 65536);
1041         pci_set_dma_seg_boundary(dev, 0xffffffff);
1042
1043         /* Fix up broken headers */
1044         pci_fixup_device(pci_fixup_header, dev);
1045
1046         /* Initialize various capabilities */
1047         pci_init_capabilities(dev);
1048
1049         /*
1050          * Add the device to our list of discovered devices
1051          * and the bus list for fixup functions, etc.
1052          */
1053         down_write(&pci_bus_sem);
1054         list_add_tail(&dev->bus_list, &bus->devices);
1055         up_write(&pci_bus_sem);
1056 }
1057
1058 struct pci_dev *__ref pci_scan_single_device(struct pci_bus *bus, int devfn)
1059 {
1060         struct pci_dev *dev;
1061
1062         dev = pci_scan_device(bus, devfn);
1063         if (!dev)
1064                 return NULL;
1065
1066         pci_device_add(dev, bus);
1067
1068         return dev;
1069 }
1070 EXPORT_SYMBOL(pci_scan_single_device);
1071
1072 /**
1073  * pci_scan_slot - scan a PCI slot on a bus for devices.
1074  * @bus: PCI bus to scan
1075  * @devfn: slot number to scan (must have zero function.)
1076  *
1077  * Scan a PCI slot on the specified PCI bus for devices, adding
1078  * discovered devices to the @bus->devices list.  New devices
1079  * will not have is_added set.
1080  */
1081 int pci_scan_slot(struct pci_bus *bus, int devfn)
1082 {
1083         int func, nr = 0;
1084         int scan_all_fns;
1085
1086         scan_all_fns = pcibios_scan_all_fns(bus, devfn);
1087
1088         for (func = 0; func < 8; func++, devfn++) {
1089                 struct pci_dev *dev;
1090
1091                 dev = pci_scan_single_device(bus, devfn);
1092                 if (dev) {
1093                         nr++;
1094
1095                         /*
1096                          * If this is a single function device,
1097                          * don't scan past the first function.
1098                          */
1099                         if (!dev->multifunction) {
1100                                 if (func > 0) {
1101                                         dev->multifunction = 1;
1102                                 } else {
1103                                         break;
1104                                 }
1105                         }
1106                 } else {
1107                         if (func == 0 && !scan_all_fns)
1108                                 break;
1109                 }
1110         }
1111
1112         /* only one slot has pcie device */
1113         if (bus->self && nr)
1114                 pcie_aspm_init_link_state(bus->self);
1115
1116         return nr;
1117 }
1118
1119 unsigned int __devinit pci_scan_child_bus(struct pci_bus *bus)
1120 {
1121         unsigned int devfn, pass, max = bus->secondary;
1122         struct pci_dev *dev;
1123
1124         pr_debug("PCI: Scanning bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1125
1126         /* Go find them, Rover! */
1127         for (devfn = 0; devfn < 0x100; devfn += 8)
1128                 pci_scan_slot(bus, devfn);
1129
1130         /*
1131          * After performing arch-dependent fixup of the bus, look behind
1132          * all PCI-to-PCI bridges on this bus.
1133          */
1134         pr_debug("PCI: Fixups for bus %04x:%02x\n", pci_domain_nr(bus), bus->number);
1135         pcibios_fixup_bus(bus);
1136         for (pass=0; pass < 2; pass++)
1137                 list_for_each_entry(dev, &bus->devices, bus_list) {
1138                         if (dev->hdr_type == PCI_HEADER_TYPE_BRIDGE ||
1139                             dev->hdr_type == PCI_HEADER_TYPE_CARDBUS)
1140                                 max = pci_scan_bridge(bus, dev, max, pass);
1141                 }
1142
1143         /*
1144          * We've scanned the bus and so we know all about what's on
1145          * the other side of any bridges that may be on this bus plus
1146          * any devices.
1147          *
1148          * Return how far we've got finding sub-buses.
1149          */
1150         pr_debug("PCI: Bus scan for %04x:%02x returning with max=%02x\n",
1151                 pci_domain_nr(bus), bus->number, max);
1152         return max;
1153 }
1154
1155 void __attribute__((weak)) set_pci_bus_resources_arch_default(struct pci_bus *b)
1156 {
1157 }
1158
1159 struct pci_bus * pci_create_bus(struct device *parent,
1160                 int bus, struct pci_ops *ops, void *sysdata)
1161 {
1162         int error;
1163         struct pci_bus *b;
1164         struct device *dev;
1165
1166         b = pci_alloc_bus();
1167         if (!b)
1168                 return NULL;
1169
1170         dev = kmalloc(sizeof(*dev), GFP_KERNEL);
1171         if (!dev){
1172                 kfree(b);
1173                 return NULL;
1174         }
1175
1176         b->sysdata = sysdata;
1177         b->ops = ops;
1178
1179         if (pci_find_bus(pci_domain_nr(b), bus)) {
1180                 /* If we already got to this bus through a different bridge, ignore it */
1181                 pr_debug("PCI: Bus %04x:%02x already known\n", pci_domain_nr(b), bus);
1182                 goto err_out;
1183         }
1184
1185         down_write(&pci_bus_sem);
1186         list_add_tail(&b->node, &pci_root_buses);
1187         up_write(&pci_bus_sem);
1188
1189         memset(dev, 0, sizeof(*dev));
1190         dev->parent = parent;
1191         dev->release = pci_release_bus_bridge_dev;
1192         sprintf(dev->bus_id, "pci%04x:%02x", pci_domain_nr(b), bus);
1193         error = device_register(dev);
1194         if (error)
1195                 goto dev_reg_err;
1196         b->bridge = get_device(dev);
1197
1198         if (!parent)
1199                 set_dev_node(b->bridge, pcibus_to_node(b));
1200
1201         b->dev.class = &pcibus_class;
1202         b->dev.parent = b->bridge;
1203         sprintf(b->dev.bus_id, "%04x:%02x", pci_domain_nr(b), bus);
1204         error = device_register(&b->dev);
1205         if (error)
1206                 goto class_dev_reg_err;
1207         error = device_create_file(&b->dev, &dev_attr_cpuaffinity);
1208         if (error)
1209                 goto dev_create_file_err;
1210
1211         /* Create legacy_io and legacy_mem files for this bus */
1212         pci_create_legacy_files(b);
1213
1214         b->number = b->secondary = bus;
1215         b->resource[0] = &ioport_resource;
1216         b->resource[1] = &iomem_resource;
1217
1218         set_pci_bus_resources_arch_default(b);
1219
1220         return b;
1221
1222 dev_create_file_err:
1223         device_unregister(&b->dev);
1224 class_dev_reg_err:
1225         device_unregister(dev);
1226 dev_reg_err:
1227         down_write(&pci_bus_sem);
1228         list_del(&b->node);
1229         up_write(&pci_bus_sem);
1230 err_out:
1231         kfree(dev);
1232         kfree(b);
1233         return NULL;
1234 }
1235
1236 struct pci_bus * __devinit pci_scan_bus_parented(struct device *parent,
1237                 int bus, struct pci_ops *ops, void *sysdata)
1238 {
1239         struct pci_bus *b;
1240
1241         b = pci_create_bus(parent, bus, ops, sysdata);
1242         if (b)
1243                 b->subordinate = pci_scan_child_bus(b);
1244         return b;
1245 }
1246 EXPORT_SYMBOL(pci_scan_bus_parented);
1247
1248 #ifdef CONFIG_HOTPLUG
1249 EXPORT_SYMBOL(pci_add_new_bus);
1250 EXPORT_SYMBOL(pci_scan_slot);
1251 EXPORT_SYMBOL(pci_scan_bridge);
1252 EXPORT_SYMBOL_GPL(pci_scan_child_bus);
1253 #endif
1254
1255 static int __init pci_sort_bf_cmp(const struct device *d_a, const struct device *d_b)
1256 {
1257         const struct pci_dev *a = to_pci_dev(d_a);
1258         const struct pci_dev *b = to_pci_dev(d_b);
1259
1260         if      (pci_domain_nr(a->bus) < pci_domain_nr(b->bus)) return -1;
1261         else if (pci_domain_nr(a->bus) > pci_domain_nr(b->bus)) return  1;
1262
1263         if      (a->bus->number < b->bus->number) return -1;
1264         else if (a->bus->number > b->bus->number) return  1;
1265
1266         if      (a->devfn < b->devfn) return -1;
1267         else if (a->devfn > b->devfn) return  1;
1268
1269         return 0;
1270 }
1271
1272 void __init pci_sort_breadthfirst(void)
1273 {
1274         bus_sort_breadthfirst(&pci_bus_type, &pci_sort_bf_cmp);
1275 }