arch/x86/kernel/pci-nommu.c

   1 /* Fallback functions when the main IOMMU code is not compiled in. This
   2    code is roughly equivalent to i386. */
   3 #include <linux/mm.h>
   4 #include <linux/init.h>
   5 #include <linux/pci.h>
   6 #include <linux/string.h>
   7 #include <linux/dma-mapping.h>
   8 #include <linux/scatterlist.h>
   9
  10 #include <asm/iommu.h>
  11 #include <asm/processor.h>
  12 #include <asm/dma.h>
  13
  14 static int
  15 check_addr(char *name, struct device *hwdev, dma_addr_t bus, size_t size)
  16 {
  17         if (hwdev && bus + size > *hwdev->dma_mask) {
  18                 if (*hwdev->dma_mask >= DMA_32BIT_MASK)
  19                         printk(KERN_ERR
  20                             "nommu_%s: overflow %Lx+%zu of device mask %Lx\n",
  21                                 name, (long long)bus, size,
  22                                 (long long)*hwdev->dma_mask);
  23                 return 0;
  24         }
  25         return 1;
  26 }
  27
  28 static dma_addr_t
  29 nommu_map_single(struct device *hwdev, phys_addr_t paddr, size_t size,
  30                int direction)
  31 {
  32         dma_addr_t bus = paddr;
  33         WARN_ON(size == 0);
  34         if (!check_addr("map_single", hwdev, bus, size))
  35                                 return bad_dma_address;
  36         flush_write_buffers();
  37         return bus;
  38 }
  39
  40
  41 /* Map a set of buffers described by scatterlist in streaming
  42  * mode for DMA.  This is the scatter-gather version of the
  43  * above pci_map_single interface.  Here the scatter gather list
  44  * elements are each tagged with the appropriate dma address
  45  * and length.  They are obtained via sg_dma_{address,length}(SG).
  46  *
  47  * NOTE: An implementation may be able to use a smaller number of
  48  *       DMA address/length pairs than there are SG table elements.
  49  *       (for example via virtual mapping capabilities)
  50  *       The routine returns the number of addr/length pairs actually
  51  *       used, at most nents.
  52  *
  53  * Device ownership issues as mentioned above for pci_map_single are
  54  * the same here.
  55  */
  56 static int nommu_map_sg(struct device *hwdev, struct scatterlist *sg,
  57                int nents, int direction)
  58 {
  59         struct scatterlist *s;
  60         int i;
  61
  62         WARN_ON(nents == 0 || sg[0].length == 0);
  63
  64         for_each_sg(sg, s, nents, i) {
  65                 BUG_ON(!sg_page(s));
  66                 s->dma_address = sg_phys(s);
  67                 if (!check_addr("map_sg", hwdev, s->dma_address, s->length))
  68                         return 0;
  69                 s->dma_length = s->length;
  70         }
  71         flush_write_buffers();
  72         return nents;
  73 }
  74
  75 static void *
  76 nommu_alloc_coherent(struct device *hwdev, size_t size,
  77                      dma_addr_t *dma_addr, gfp_t gfp)
  78 {
  79         unsigned long dma_mask;
  80         int node;
  81         struct page *page;
  82
  83         if (hwdev->dma_mask == NULL)
  84                 return NULL;
  85
  86         gfp &= ~(__GFP_DMA | __GFP_HIGHMEM | __GFP_DMA32);
  87         gfp |= __GFP_ZERO;
  88
  89         dma_mask = hwdev->coherent_dma_mask;
  90         if (!dma_mask)
  91                 dma_mask = *(hwdev->dma_mask);
  92
  93         if (dma_mask < DMA_24BIT_MASK)
  94                 return NULL;
  95
  96         node = dev_to_node(hwdev);
  97
  98 #ifdef CONFIG_X86_64
  99         if (dma_mask <= DMA_32BIT_MASK)
 100                 gfp |= GFP_DMA32;
 101 #endif
 102
 103         /* No alloc-free penalty for ISA devices */
 104         if (dma_mask == DMA_24BIT_MASK)
 105                 gfp |= GFP_DMA;
 106
 107 again:
 108         page = alloc_pages_node(node, gfp, get_order(size));
 109         if (!page)
 110                 return NULL;
 111
 112         if ((page_to_phys(page) + size > dma_mask) && !(gfp & GFP_DMA)) {
 113                 free_pages((unsigned long)page_address(page), get_order(size));
 114                 gfp |= GFP_DMA;
 115                 goto again;
 116         }
 117
 118         *dma_addr = page_to_phys(page);
 119         if (check_addr("alloc_coherent", hwdev, *dma_addr, size)) {
 120                 flush_write_buffers();
 121                 return page_address(page);
 122         }
 123
 124         free_pages((unsigned long)page_address(page), get_order(size));
 125
 126         return NULL;
 127 }
 128
 129 static void nommu_free_coherent(struct device *dev, size_t size, void *vaddr,
 130                                 dma_addr_t dma_addr)
 131 {
 132         free_pages((unsigned long)vaddr, get_order(size));
 133 }
 134
 135 struct dma_mapping_ops nommu_dma_ops = {
 136         .alloc_coherent = nommu_alloc_coherent,
 137         .free_coherent = nommu_free_coherent,
 138         .map_single = nommu_map_single,
 139         .map_sg = nommu_map_sg,
 140         .is_phys = 1,
 141 };
 142
 143 void __init no_iommu_init(void)
 144 {
 145         if (dma_ops)
 146                 return;
 147
 148         force_iommu = 0; /* no HW IOMMU */
 149         dma_ops = &nommu_dma_ops;
 150 }