Clever Geek Handbook

Herramientas de Big Data EAP 10: túneles SSH, filtrado de aplicaciones, módulos personalizados y más

Se acaba de lanzar una nueva versión del complemento Big Data Tools: un complemento para IntelliJ IDEA Ultimate, DataGrip y PyCharm que proporciona integración con Hadoop y Spark, le permite editar y ejecutar cuadernos interactivos en Zeppelin.



El objetivo principal de esta versión es solucionar tantos problemas como sea posible y mejorar el complemento desde adentro, pero dos mejoras importantes son visibles a simple vista:



  • Hadoop Spark SSH-, ;
  • Hadoop , .




SSH-



, . , - VPN. , , — SSH.



- :



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


~/.ssh/config, :



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


ssh -f -N spark — , IP-. .



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.





More articles:


All Articles