Spark异常：org/codehaus/janino/InternalCompilerException_org.codehaus.janino_我在北国不背锅的博客

link之家
链接快照平台
输入网页链接，自动生成快照
标签化管理网页链接
相关文章推荐
腼腆的伏特加 · RectMask2DFast Class ...· 6 月前 ·
坚强的柿子 · pandas ...· 7 月前 ·
腼腆的柳树 · Flex布局导致子项高度一致，怎么办-腾讯云 ...· 10 月前 ·
被表白的书签 · adb 连接提示Connection ...· 10 月前 ·
独立的椰子 · Java字符流的使用：字符输入/输出流、字符 ...· 1 年前 ·
执行SparkSQL时出现异常：
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
    at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:197)
    at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.scala:36)
    at org.apache.spark.sql.catalyst.expressions.codegen.CodeGenerator.generate(CodeGenerator.scala:1321)
    at org.apache.spark.sql.Dataset.org$apache$spark$sql$Dataset$$collectFromPlan(Dataset.scala:3272)
    at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2484)
    at org.apache.spark.sql.Dataset$$anonfun$head$1.apply(Dataset.scala:2484)
    at org.apache.spark.sql.Dataset$$anonfun$52.apply(Dataset.scala:3254)
    at org.apache.spark.sql.execution.SQLExecution$.withNewExecutionId(SQLExecution.scala:77)
    at org.apache.spark.sql.Dataset.withAction(Dataset.scala:3253)
    at org.apache.spark.sql.Dataset.head(Dataset.scala:2484)
    at org.apache.spark.sql.Dataset.take(Dataset.scala:2698)
    at org.apache.spark.sql.Dataset.showString(Dataset.scala:254)
    at org.apache.spark.sql.Dataset.show(Dataset.scala:723)
    at org.apache.spark.sql.Dataset.show(Dataset.scala:682)
    at org.apache.spark.sql.Dataset.show(Dataset.scala:691)
Caused by: java.lang.ClassNotFoundException: org.codehaus.janino.InternalCompilerException
    at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
    ... 17 more
解决方法：
 1、缺少包，在项目pom.xml文件添加依赖： 
<dependency>
	<groupId>org.codehaus.janino</groupId>
	<artifactId>janino</artifactId>
	<version>3.0.8</version>
</dependency>
2、添加依赖后如果仍报错则需考虑是jar包出现了冲突:
 如下图中，我引入的spark-core包中也存在janino，版本之间的差异导致出现了冲突。
 
 因此需要将spark-core中的janino剔除掉，再添加janino依赖(或者直接添加相同版本的依赖包应该也可以，总之不产生冲突就可以了): 
 注意:spark-core中剔除的janino为3.0.0版本，因此单独引入的janino也应该是3.0.0版本，不然依旧存在版本冲突问题。 
<dependency>
   <groupId>org.apache.spark</groupId>
   <artifactId>spark-sql_2.11.8</artifactId>
   <version>2.2.0</version>
   <exclusions>
   		<exclusion>
       		<groupId>org.codehaus.janino</groupId>
       		<artifactId>janino</artifactId>
   		</exclusion>
   		<exclusion>
       		<groupId>org.codehaus.janino</groupId>
       		<artifactId>commons-compiler</artifactId>
   		</exclusion>
   </exclusions>
</dependency>
<dependency>
	<groupId>org.codehaus.janino</groupId>
	<artifactId>janino</artifactId>
	<version>3.0.0</version>
</dependency>
转载：https://blog.csdn.net/inrgihc/article/details/104399439/
一、 Janino简介
Janino 是一个极小、极快的 开源Java 编译器（Janino is a super-small, super-fast Java™ compiler.）。Janino 不仅可以像 JAVAC 一样将 Java 源码文件编译为字节码文件，还可以编译内存中的 Java 表达式、块、类和源码文件，加载字节码并在 JVM 中直接执行。Janino 同样可.
                                    今天在使用IDEA创建Maven的webapp时遇见这样一个不叫问题的问题：
Downloading from central: https://repo1.maven.org/maven2/org/apache/maven/plugins/maven-archetype-plugin/maven-metadata.xml
很奇怪，我的maven仓库配置了私有库，，并且在maven setting.xml中配置了mirror(阿里云的镜像)，但是，经常会遇到执行mvn命令的时候，会提醒，下载不下来。
解决方式：在项目的pom.xml中添加如下一段代码：
            centra
                                    Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerExcep
Exception in thread "main" java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
    at org.apache.spark.sql.catalyst.expressions.codegen.GenerateSafeProjection$.create(GenerateSafeProjection.s
                                    一、 Janino简介
Janino 是一个极小、极快的 开源Java 编译器（Janino is a super-small, super-fast Java™ compiler.）。Janino 不仅可以像 JAVAC 一样将 Java 源码文件编译为字节码文件，还可以编译内存中的 Java 表达式、块、类和源码文件，加载字节码并在 JVM 中直接执行。Janino 同样可以用于静态代码分...
呵呵 最近因为有一次 包版本的升级, 因此 项目在一些场景下面会出现一个异常
主要的改动是 原来的 janino 的版本是 3.0.9, 然后使用了 spring-boot-starter-parent 里面的 janino 的配置的版本 3.1.2, 呵呵 出现问题之后 把他版本改回去 之后就没问题了
然后当时测试的时候 测试环境 和我这里 都会出现问题, 但是 在我们同事的机器上面却"没有问题", 这个也是 当时让我有些疑惑的地方, 呵呵 这里一起来看看
所以 这里 来看一下这个问题...
异常信息
Driver stacktrace:
	at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGScheduler$$failJobAndIndependentStages(DAGScheduler.scala:1661)
	at org.apache.spar...
                                    一、问题描述
使用flink on yarn方式提交Flink sql，抛出如下异常
org.apache.flink.client.program.ProgramInvocationException: The main method caused an error: Unable to instantiate java compiler
	at org.apache.flink.client.program.PackagedProgram.callMainMethod(PackagedProgram.j
                                    昨天集成logback的filter的时候报了几个异常，这里记录下。最开始遇到的好像是：Exception in thread "main" java.lang.NoClassDefFoundError: ch/qos/logback/classic/Level我用的是springboot，使用spring-boot-starter-web的时候本身就引入了一些jar，但是这里显示的是这个异常。在网
                                    【JANINO-动态编译脚本】新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
你好！ 这是你第一次使用 Ma...
                                    解决Exception in thread “main” java.lang.NoClassDefFoundError: org/codehaus/janino/InternalCompilerException
spark读取hdfs文件时候报错
 <dependency>
      <groupId>org.codehaus.janino</groupId>
      <artifactId>janino</artifactI