Memory Efficient Dataframes from MASSIVE SQL Queries!!! #python #datascience #pandas #sql #coding смотреть онлайн
Have you ever wondered how to create memory-efficient pandas dataframes with python? In this short I demonstrate just how easy it is by using panda's chunksize argument.
Here is the source code:
# Libraries
import pandas as pd
import sqlalchemy
from sqlalchemy import create_engine
# Creating SQL Alchemy engine object
engine = create_engine('postgresql://postgres:youtube@localhost:5432/eSports.val')
# Initiailizing connection to database
conn = engine.connect()
# SQL query as a string to pass into pd.read_sql function
sql = "SELECT * FROM players"
# Demonstrating individual chunks
for chunk in pd.read_sql_query(sql, conn, chunksize=1000):
print(chunk)
# Function to query in chunks and concat results into a final dataframe
def chunkDF(sql, conn, chunksize):
df = pd.read_sql_query(sql, conn, chunksize = chunksize)
final_df = pd.concat(df)
final_df.reset_index(drop=True, inplace=True)
return final_df
# Passing the results of the function to a dataframe
df = chunkDF(sql, conn, 100)
Что делает видео по-настоящему запоминающимся? Наверное, та самая атмосфера, которая заставляет забыть о времени. Когда вы заходите на RUVIDEO, чтобы посмотреть онлайн «Memory Efficient Dataframes from MASSIVE SQL Queries!!! #python #datascience #pandas #sql #coding» бесплатно и без регистрации, вы рассчитываете на нечто большее, чем просто загрузку плеера. И мы это понимаем. Контент такого уровня заслуживает того, чтобы его смотрели в HD 1080, без дрожания картинки и бесконечного буферизации.
Честно говоря, Rutube сегодня — это кладезь уникальных находок, которые часто теряются в общем шуме. Мы же вытаскиваем на поверхность самое интересное. Будь то динамичный экшн, глубокий разбор темы от любимого автора или просто уютное видео для настроения — всё это доступно здесь бесплатно и без лишних формальностей. Никаких «заполните анкету, чтобы продолжить». Только вы, ваш экран и качественный поток.
Если вас зацепило это видео, не забудьте взглянуть на похожие материалы в блоке справа. Мы откалибровали наши алгоритмы так, чтобы они подбирали контент не просто «по тегам», а по настроению и смыслу. Ведь в конечном итоге, онлайн-кинотеатр — это не склад файлов, а место, где каждый вечер можно найти свою историю. Приятного вам отдыха на RUVIDEO!
Видео взято из открытых источников Rutube. Если вы правообладатель, обратитесь к первоисточнику.