Los datos sobre más de un millón de permisos de construcción (registros en dos conjuntos de datos) del Departamento de Edificios de San Francisco le permiten analizar no solo la actividad de construcción en la ciudad , sino también examinar críticamente las últimas tendencias e historia del desarrollo de la industria de la construcción en los últimos 40 años , durante el período comprendido entre 1980 a 2019.
Los datos abiertos brindan la oportunidad de explorar los principales factores que influyeron y afectarán el desarrollo de la industria de la construcción. en la ciudad, dividiéndolos en "externos" (auges y crisis económicas) e "internos" (la influencia de las vacaciones y los ciclos estacionales-anuales).
Contenido
Datos abiertos y una revisión de los parámetros iniciales
Actividad de construcción anual en San Francisco
Expectativa y realidad en la elaboración del costo estimado
Actividad de construcción dependiendo de la temporada del año
Monto total de inversiones en bienes raíces en San Francisco
En qué áreas han invertido durante los últimos 40 años
Costo promedio estimado de aplicación por distrito de la ciudad
Estadísticas sobre solicitudes totales por mes y día
El futuro de la industria de la construcción de San Francisco
Datos abiertos y resumen de los parámetros iniciales.
Esta no es una traducción del artículo. Escribo en LinkedIn y para no crear gráficos en varios idiomas, todos los gráficos están en inglés. Enlace al Cuaderno Jupyter con datos y gráficos (para aquellos que están registrados en Kaggle - por favor ponga más Cuaderno - Gracias).
Enlace a la versión en inglés: Los altibajos de la industria de la construcción de San Francisco. Tendencias e historia de la construcción.
Datos sobre permisos de construcción para la ciudad de San Francisco - tomados del portal de datos abiertos - data.sfgov.org . El portal tiene varios conjuntos de datos sobre el tema de la construcción. Dos de estos conjuntos de datos almacenan y actualizan datos sobre permisos emitidos para la construcción o reparación de instalaciones en la ciudad:
- Permisos de construcción para el período 1980-2013 (850 mil registros)
- Permisos de construcción después de 2013 (280,000 registros, datos descargados y actualizados semanalmente)
Estos conjuntos de datos contienen información sobre los permisos de construcción emitidos, con diversas características del objeto para el que se expide el permiso. El número total de registros (permisos) recibidos en el período 1980-2019 es de 1.137.695 permisos .
Los principales parámetros de este conjunto de datos que se utilizaron para el análisis:
- permit_creation_date - fecha de creación de la aplicación (de hecho, el día a partir del cual comienzan los trabajos de construcción)
- Desctripción : descripción de la aplicación (dos o tres palabras clave que describen el objeto de construcción (trabajo) para el que se creó el permiso)
- estimated_cost - estimado (estimado) coste de las obras de construcción
- revision_cost - costo revisado (costo de trabajo después de la revaluación, aumento o disminución en el volumen original de la aplicación)
- uso_existente : tipo de vivienda (casa de una, dos familias, apartamentos, oficinas, producción, etc.)
- código postal, ubicación : código postal y coordenadas del objeto
Actividad anual de construcción en San Francisco
En el gráfico a continuación, los datos sobre los parámetros estimado de costo y costo revisado se presentan como una distribución del costo total de trabajo por mes.
data_cost_m = data_cost.groupby(pd.Grouper(freq='M')).sum()Para reducir las "emisiones" mensuales, los datos mensuales se agrupan por año. El gráfico de la cantidad de dinero invertido a lo largo de los años ha recibido una forma de análisis más lógica y susceptible de análisis.
data_cost_y = data_cost.groupby(pd.Grouper(freq='Y')).sum()
Según el movimiento anual de la suma de valores (todos los permisos para el año) en objetos urbanos , los factores económicos son claramente visibles que, desde 1980 hasta 2019, influyeron en el número y el valor de los proyectos de construcción o, en otras palabras, en las inversiones en bienes raíces en San Francisco.
El número de permisos de construcción (el número de obras de construcción o el número de inversiones) en los últimos 40 años ha estado estrechamente asociado con la actividad económica en Silicon Valley.
El primer pico de la actividad de construcción se asoció con el bombo electrónico a mediados de los 80 en el valle. La consiguiente recesión de la electrónica y la banca en 1985 dejó el mercado inmobiliario regional en declive del que no se recuperó durante casi una década.
Después de eso, dos veces más (en 1993-2000 y 2009-2016), antes de que la burbuja Dotcom colapsase y el auge tecnológico de los últimos años, la industria de la construcción de San Francisco experimentara un crecimiento parabólico de varios miles por ciento .
Al eliminar los picos y recesiones intermedias y dejar los valores mínimos y máximos en cada ciclo económico, se puede ver la cantidad de grandes fluctuaciones del mercado que han afectado a la industria en los últimos 40 años.
El mayor aumento en la inversión en construcción se produjo durante el auge de las puntocom, cuando de 1993 a 2001, se invirtieron $ 10 mil millones en reparaciones y construcción, o alrededor de $ 1 mil millones al año. Si cuenta en metros cuadrados (el costo de 1 m² en 1995 - $ 3000), esto es aproximadamente 350,000 m2 por año durante 10 años, a partir de 1993.
El crecimiento de las inversiones totales anuales para este período ascendió a 1215%.
Las empresas que alquilaron equipos de construcción durante este período fueron similares a las empresas que vendieron palas durante la fiebre del oro (en la misma región a mediados del siglo XIX). Solo en lugar de palas: en la década de 2000 ya había grúas y bombas de hormigón para las empresas de construcción recién formadas que querían ganar dinero con el auge de la construcción.
Después de cada una de las muchas crisis que ha experimentado la industria de la construcción a lo largo de los años, en los próximos dos años posteriores a la crisis, las inversiones (la cantidad de solicitudes de permisos) en construcción cayeron al menos un 50% cada vez .
Las mayores crisis en la industria de la construcción de San Francisco ocurrieron en los años 90. Donde, con una frecuencia de 5 años, la industria cayó (-85% entre 1983-1986), luego volvió a subir (+ 895% entre 1988-1992), permaneciendo en términos anuales en 1981, 1986, 1988, 1993 - al mismo nivel.
Después de 1993, todas las recesiones posteriores en la industria de la construcción no superaron el 50%. Pero la crisis económica que se aproxima (debido a COVID-19) puede crear una crisis récord en la industria de la construcción en el período 2017-2021, cuya caída ya para el período 2017-2019 es más del 60% en total.
El crecimiento de la población en San Francisco durante el período 1980-1993 también mostró un crecimiento casi exponencial. La fortaleza económica y la energía innovadora de Silicon Valley fueron una base sólida sobre la cual se construyó la hipérbole de la Nueva Economía, el Renacimiento Americano y el punto com. Fue el epicentro de la nueva economía. Pero en contraste con el crecimiento de la inversión inmobiliaria, después del pico de las puntocom, la población realmente alcanzó una meseta.
Si antes del pico de punto-coms en 2001, desde 1950 el crecimiento anual de la población ha sido de aproximadamente 1% por año. Luego, después del colapso de la burbuja, la afluencia de una nueva población se ha ralentizado y desde 2001 ha sido solo del 0.2 por ciento anual.
En 2019 (por primera vez desde 1950), la dinámica de crecimiento mostró una salida de la población (-0.21% o 7000 personas) de la ciudad de San Francisco.
Expectativa y realidad en la preparación del costo estimado.
En los conjuntos de datos utilizados, los datos sobre el costo de los permisos para un objeto de construcción se dividen en:
- costo estimado inicial (costo estimado )
- costo de trabajo después de la revaluación ( costo_revisado )
Durante el auge, el objetivo principal de la revaluación es aumentar el costo inicial, cuando el inversor (cliente de la construcción) muestra un apetito después del inicio de la construcción.
Durante la crisis, intentan no exceder el costo estimado, y las estimaciones iniciales prácticamente no experimentan ningún cambio (excepto el terremoto de 1989).
En el gráfico trazado sobre la diferencia entre el costo revalorizado y el estimado (costo_revisado - costo_estimado), puede observar que:
La cantidad del aumento de valor cuando se reevalúa el volumen de los trabajos de construcción, depende directamente de los ciclos del auge económico
data_spread = data_cost.assign(spread = (data_cost.revised_cost-data_cost.estimated_cost))
Durante los períodos de rápido crecimiento económico, los clientes (inversores) gastan sus fondos de manera bastante generosa, aumentando sus solicitudes después del inicio del trabajo.
El cliente (inversionista), sintiendo su confianza financiera, le pide al contratista o arquitecto de la construcción que amplíe el permiso de construcción ya emitido. Esto puede ser una decisión para aumentar la longitud inicial de la piscina o aumentar el área de la casa (después del inicio del trabajo y la emisión de un permiso de construcción).
En la cima de las puntocom, tales gastos "adicionales" alcanzaron los "mil millones" adicionales por año.
Si mira esta tabla ya en cambio porcentual, el aumento máximo en las estimaciones (100% o 2 veces el costo estimado inicial) se produjo el año anterior al terremoto de 1989 cerca de la ciudad. Supongo que después del terremoto, los proyectos de construcción que se iniciaron en 1988 exigieron después del terremoto de 1989: más tiempo y dinero para implementar.
Por el contrario, una revisión a la baja del costo estimado (que ocurrió solo una vez de 1980 a 2019) unos años antes del terremoto, presumiblemente debido al hecho de que algunos objetos que comenzaron en 1986-1987 se congelaron o las inversiones en estos objetos han sido reducidos En la fecha previstaen promedio, para cada objeto iniciado en 1987, la reducción en el costo estimado fue de -20% del plan original .
data_spred_percent = data_cost_y.assign(spred = ((data_cost_y.revised_cost-data_cost_y.estimated_cost)/data_cost_y.estimated_cost*100))
El aumento en el costo inicial estimado en más del 40% indicó o posiblemente fue el resultado de una burbuja inminente en el mercado financiero y, posteriormente, en el mercado de la construcción.
¿Cuál es la razón de la disminución en el diferencial (diferencia) entre los valores estimados y revisados después de 2007?
Tal vez los inversores comenzaron a mirar cuidadosamente los números (el monto promedio durante 20 años aumentó de $ 100 mil a $ 2 millones), o tal vez el departamento de construcción, advirtiendo y desacelerando las burbujas emergentes en el mercado inmobiliario, introdujo nuevas reglas y restricciones para reducir posibles manipulaciones y posibles riesgos que surgirán durante los años de crisis.
Actividad de construcción según la estación del año.
Después de agrupar los datos por semanas calendario por año (54 semanas), puede observar la actividad de construcción de la ciudad de San Francisco, según la estacionalidad y la época del año.
En Navidad, todas las organizaciones de construcción están tratando de tener tiempo para obtener permiso para nuevos objetos "grandes" (¡mientras! ¡El número! De permisos en los mismos meses está al mismo nivel durante todo el año). Los inversores, que planean recibir su objeto durante el próximo año, concluyen contratos en los meses de invierno, contando con grandes descuentos (ya que los contratos de verano, en su mayor parte, finalizan a fin de año y las empresas de construcción están interesadas en recibir nuevas solicitudes).
Antes de Navidad, las cantidades más grandes se presentan en las solicitudes (un aumento de un promedio de 1-1.5 mil millones por mes. A 5 mil millones solo en diciembre).Al mismo tiempo, el número total de solicitudes por mes permanece en el mismo nivel (vea la sección a continuación: estadísticas sobre el número total de solicitudes por mes y días)
Después de las vacaciones de invierno, la industria de la construcción está activamente (casi sin un aumento en el número de permisos) planeando e implementando pedidos de "Navidad" para que para mediados de año (antes del feriado del "Día de la Independencia"): tener tiempo para liberar recursos antes de la nueva ola de contratos de verano, que comienza inmediatamente después de los feriados de junio.
data_month_year = data_month_year.assign(week_year = data_month_year.permit_creation_date.dt.week)
data_month_year = data_month_year.groupby(['week_year'])['estimated_cost'].sum()
El mismo porcentaje de datos (línea naranja) también muestra que la industria trabaja "exactamente" durante todo el año, pero antes y después de las vacaciones, la actividad del permiso aumenta al 150% entre la semana 20-24 (antes del Día de la Independencia), y disminuye inmediatamente después de las vacaciones hasta -70%.
Antes de Halloween y Navidad, la actividad en la industria de la construcción en San Francisco durante la semana 43-44 aumenta en un 150% (de abajo hacia arriba) y luego disminuye a cero durante las vacaciones.
Por lo tanto, la industria se encuentra en un ciclo semestral, que está separado por las vacaciones "Día de la Independencia de los Estados Unidos" (semana 20) y "Navidad" (semana 52).
Inversiones inmobiliarias totales en San Francisco
Según los datos sobre permisos de construcción en la ciudad:
La inversión total en proyectos de construcción en San Francisco entre 1980 y 2019 es de $ 91.5 mil millones.
sf_worth = data_location_lang_long.cost.sum()
El valor total de mercado de todas las propiedades residenciales en San Francisco, evaluado por el impuesto a la propiedad (que es el valor tasado de todos los bienes inmuebles y todas las propiedades personales de San Francisco) alcanzó los $ 208 mil millones en 2016 .
En qué áreas de San Francisco han invertido en los últimos 40 años
Con la ayuda de la biblioteca Folium, veamos dónde se invirtieron estos $ 91.5 mil millones por distrito. Para hacer esto, agrupando los datos por código postal (código postal), imagine el valor obtenido usando círculos (función de círculo de la biblioteca Folium).
import folium
from folium import Circle
from folium import Marker
from folium.features import DivIcon
# map folium display
lat = data_location_lang_long.lat.mean()
long = data_location_lang_long.long.mean()
map1 = folium.Map(location = [lat, long], zoom_start = 12)
for i in range(0,len(data_location_lang_long)):
Circle(
location = [data_location_lang_long.iloc[i]['lat'], data_location_lang_long.iloc[i]['long']],
radius= [data_location_lang_long.iloc[i]['cost']/20000000],
fill = True, fill_color='#cc0000',color='#cc0000').add_to(map1)
Marker(
[data_location_mean.iloc[i]['lat'], data_location_mean.iloc[i]['long']],
icon=DivIcon(
icon_size=(6000,3336),
icon_anchor=(0,0),
html='<div style="font-size: 14pt; text-shadow: 0 0 10px #fff, 0 0 10px #fff;; color: #000";"">%s</div>'
%("$ "+ str((data_location_lang_long.iloc[i]['cost']/1000000000).round()) + ' mlrd.'))).add_to(map1)
map1
En los distritos, está claro que la mayoría del pastel se le dio lógicamente a DownTown. Agrupando de manera simple todos los objetos por la distancia al centro de la ciudad y el tiempo que lleva llegar al centro de la ciudad (por supuesto, también se construyen casas caras en la costa), todos los permisos se dividieron en 4 grupos: 'Centro', '<0.5H Centro', '< 1H Downtown ',' Fuera de SF '.
from geopy.distance import vincenty
def distance_calc (row):
start = (row['lat'], row['long'])
stop = (37.7945742, -122.3999445)
return vincenty(start, stop).meters/1000
df_pr['distance'] = df_pr.apply (lambda row: distance_calc (row),axis=1)
def downtown_proximity(dist):
'''
< 2 -> Near Downtown, >= 2, <4 -> <0.5H Downtown
>= 4, <6 -> <1H Downtown, >= 8 -> Outside SF
'''
if dist < 2:
return 'Downtown'
elif dist < 4:
return '<0.5H Downtown'
elif dist < 6:
return '<1H Downtown'
elif dist >= 6:
return 'Outside SF'
df_pr['downtown_proximity'] = df_pr.distance.apply(downtown_proximity)De los 91.5 billones invertidos en la ciudad, casi 70 billones (75% de todas las inversiones) invertidos en reparaciones y construcción están en el centro de la ciudad (zona verde) y en el área de la ciudad dentro de un radio de 2 km. desde el centro (zona azul).
Costo promedio estimado de una solicitud de construcción por distritos de la ciudad
Todos los datos, como en el caso del monto total de las inversiones, se agruparon por código postal. Solo en este caso, con el costo promedio estimado (.mean ()) de la aplicación por código postal.
data_location_mean = data_location.groupby(['zipcode'])['lat','long','estimated_cost'].mean()
En áreas comunes de la ciudad (a más de 2 km del centro de la ciudad), el costo promedio estimado de la solicitud de construcción es de $ 50 mil.
El costo promedio estimado en el área del centro de la ciudad es aproximadamente tres veces mayor ($ 150 mil a $ 400 mil) que otras áreas ($ 30-50 mil).
Además del costo de la tierra, tres factores determinan el costo total de la construcción de viviendas: mano de obra, materiales y tarifas gubernamentales. Estos tres componentes son más altos en California que en el resto del país. Los códigos de construcción de California se consideran entre los más completos y estrictos del país (debido a los terremotos y las normas ambientales), y a menudo requieren materiales y mano de obra más costosos.
Por ejemplo, el estado requiere que los constructores utilicen materiales de construcción de mayor calidad (ventanas, sistemas de aislamiento, calefacción y refrigeración) para lograr altos estándares en eficiencia energética.
De las estadísticas generales sobre el costo promedio de una solicitud de permiso, se eliminan dos ubicaciones:
- Treasure Island es una isla artificial en la bahía de San Francisco. El costo promedio estimado de un permiso de construcción es de $ 6.5 millones.
- Mission Bay - (2,926 residentes) Costo promedio estimado de un permiso de construcción - $ 1.5 millones.
De hecho, la oferta promedio alta en estas dos regiones está asociada con el menor número de ofertas para estas ubicaciones postales (145 y 3064, respectivamente, la construcción en la isla es muy limitada), mientras que para el resto de los códigos postales, para el período 1980-2019, se recibieron alrededor de 1300 solicitudes por año (en total, un promedio de 30-50 mil solicitudes para todo el período).
De acuerdo con el parámetro "número de aplicaciones", una distribución idealmente uniforme del número de aplicaciones por un código postal es notable en toda la ciudad.
Estadísticas sobre el número total de solicitudes por mes y día
Las estadísticas generales sobre el número total de solicitudes por mes y día de la semana desde 1980 hasta 2019 muestran que los meses "más tranquilos" para el departamento de construcción son los meses de primavera e invierno. Al mismo tiempo, la cantidad de inversiones indicadas en las aplicaciones varía mucho y difiere de mes a mes en ocasiones (ver también “Actividad de construcción dependiendo de la estación del año”). Entre los días de la semana del lunes, la carga de trabajo del departamento es aproximadamente un 20% menor que el resto de la semana.
months = [ 'January', 'February', 'March', 'April', 'May','June', 'July', 'August', 'September', 'October', 'November', 'December' ]
data_month_count = data_month.groupby(['permit_creation_date']).count().reindex(months)
Mientras que en términos de número de solicitudes, junio y julio son prácticamente iguales, en términos del costo total estimado, la diferencia alcanza el 100% (4.300 millones en mayo y julio y 8.200 millones en junio).
data_month_sum = data_month.groupby(['permit_creation_date']).sum().reindex(months)
El futuro de la industria de la construcción en San Francisco, prediciendo la actividad por patrones.
En conclusión, comparamos el gráfico de la actividad de construcción en San Francisco con el gráfico de los precios de Bitcoin (2015-2018) y el gráfico de los precios del oro (1940 - 1980). El
patrón (del patrón inglés - modelo, muestra) - en el análisis técnico se llama combinaciones repetitivas persistentes de precios, volumen o datos de indicadores. El análisis de patrones se basa en uno de los axiomas del análisis técnico: "la historia se repite": se cree que las combinaciones repetidas de datos conducen a un resultado similar.
El patrón principal que se puede adivinar en el cuadro de actividad anual es "Cabeza y hombros", un patrón de inversión de tendencia.Se llama así porque el gráfico parece una cabeza humana (pico) y hombros a los lados (picos más pequeños). Cuando el precio rompe la línea que conecta los canales, el patrón se considera completo y es probable que el movimiento sea hacia abajo.
El movimiento de la actividad en la industria de la construcción de San Francisco coincide casi por completo con el gráfico del crecimiento del precio del oro y el bitcoin. Los indicadores históricos de estos tres gráficos de movimiento de precios y actividades muestran similitudes significativas.
Para predecir el comportamiento futuro del mercado de la construcción, es necesario calcular el coeficiente de correlación con cada una de estas dos tendencias.
Dos variables aleatorias se denominan correlacionadas si su momento de correlación (o coeficiente de correlación) no es cero; y llamó cantidades no correlacionadas si su momento de correlación es igual a cero.
Si el valor obtenido está más cerca de 0 que de 1, entonces no tiene sentido hablar de un patrón claro. Este es un problema matemático difícil, que los camaradas superiores pueden asumir, que pueden estar interesados en este tema.
Si a! ¡no científico! mire el tema del desarrollo posterior de la industria de la construcción en San Francisco: si el patrón coincide con el precio de bitcoin, entoncesDe acuerdo con esta opción pesimista , salir de la crisis en la industria de la construcción en San Francisco no será fácil para el momento cercano a la crisis.
Con una opción de desarrollo más "optimista" , es posible un crecimiento exponencial repetido de la industria de la construcción si la actividad aquí va de acuerdo con el escenario del "precio del oro". En esta opción, en 20-30 años (quizás en 10), el sector de la construcción espera un nuevo aumento en el empleo y el desarrollo.
En la siguiente parte, examinaré más de cerca las industrias de construcción individuales (reparación de techos, cocinas, construcción de escaleras, baños, si tiene alguna sugerencia para industrias u otros datos, escriba en los comentarios) y compare la inflación para ciertos tipos de trabajo con una tasa fija en préstamos hipotecarios y el rendimiento de los bonos del gobierno de los Estados Unidos (Tasas hipotecarias fijas y rendimiento del Tesoro de los Estados Unidos).
Enlace al cuaderno Jupyter: San Francisco. Sector de la construcción 1980-2019.
Por favor, para aquellos con Kaggle - pon más cuaderno (¡Gracias!).
(Los comentarios y las explicaciones del código se agregarán al Cuaderno más adelante)
Enlace a la versión en inglés: Los altibajos de la industria de la construcción de San Francisco. Tendencias e historia de la construcción.
Si le gusta mi contenido, considere comprarme un café.
¡gracias por su apoyo!
Comprar café para el autor.