Speed up your database inserts with Django ORM's bulk_create()
In this short video I show you a 36X speed up of inserting one million+ rows into a database using Django's ORM.
The refactoring is quite simple. Instead of doing Model.objects.create in a loop, we build up the objects in a list and use Django ORM's bulk_create() operation to do it in one go.
Docs: "This method inserts the provided list of objects into the database in an efficient manner (generally only 1 query, no matter how many objects there are), and returns created objects as a list, in the same order as provided."
By the way, since Django 4.1 there is also an asynchronous version of this - abulk_create() - but I could not just "plug that in" without getting a "coroutine ... was never awaited" warning, nor am I fully up2speed yet with Django's new async capabilities (link below), hence to be continued ...
Links:
- Code: https://github.com/bbelderbos/django-n-plus-one-demo/pull/1
- Django ORM docs: https://docs.djangoproject.com/en/4.2/ref/models/querysets/#bulk-create
- Check out our video on how to write a Django command: https://www.youtube.com/watch?v=E5BYROPiy60
- Django Asynchronous support: https://docs.djangoproject.com/en/4.2/topics/async/
Stay tuned for another video about the N+1 query performance problem in Django and how to fix it.
---
Learn more about Pybites / what we do: https://pybit.es
Get our weekly developer / mindset emails: https://pybit.es/friends/
Join our Slack community: https://pybit.es/community/
And last but not least, we appreciate any feedback to make our YouTube content better ?
https://form.jotform.com/230941798741062 ?
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Speed up your database inserts with Django ORM's bulk_create()», вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.