- 浏览: 2569452 次
- 性别:
- 来自: 广州
文章分类
- 全部博客 (880)
- 每日总结 (26)
- java (37)
- lucene 2.4源码学习 (11)
- 庖丁分词的源码分析 (5)
- cindy源码阅读 (10)
- jetty (3)
- java基础 (49)
- hadoop (37)
- python (7)
- 那些蛋疼的事 (15)
- 测试 (5)
- spring (3)
- redis (4)
- git (4)
- 我的开源项目 (2)
- linux (15)
- mysql (8)
- bootsharp (1)
- idea (1)
- Disruptor源码分析 (11)
- 高并发 (22)
- jdk (4)
- 领域驱动 (1)
- 坑 (6)
- 表达式框架 (7)
- 游戏 (3)
- Guava (1)
- 缓存 (1)
- 数据库 (1)
- 游戏项目 (3)
- java8 (1)
最新评论
-
hsluoyz:
PyCasbin是一个用Python语言打造的轻量级开源访问控 ...
权限管理的一个简单后台 -
liuyachao111:
谢谢 问题解决了
对实体 "characterEncoding" 的引用必须以 ';' 分隔符结尾 -
jnjeC:
多谢博主分享,在配置文件里的&也要改成& ...
对实体 "characterEncoding" 的引用必须以 ';' 分隔符结尾 -
大维啊:
同志,你这不行啊!
java 的 AccessController.doPrivileged使用 -
lisha2009:
解决了我的问题,多谢博主分享!
对实体 "characterEncoding" 的引用必须以 ';' 分隔符结尾
可以看到淘宝的一个说明:http://www.tbdata.org/archives/801
Java 2 SE 6 doc :
Given a direct byte buffer, the Java virtual machine will make a best effort to perform native I/O operations directly upon it. That is, it will attempt to avoid copying the buffer’s content to (or from) an intermediate buffer before (or after) each invocation of one of the underlying operating system’s native I/O operations.
DirectBuffer通过免去中间交换的内存拷贝, 提升IO处理速度;
Java 2 SE 6 doc :
The contents of direct buffers may reside outside of the normal garbage-collected heap, and so their impact upon the memory footprint of an application might not be obvious.
DirectBuffer在-XX:MaxDirectMemorySize=xxM大小限制下[1], 使用Heap之外的内存, GC对此”无能为力”[2] ,也就意味着规避了在高负载下频繁的GC过程对应用线程的中断影响.
因此, 当系统应用场景满足:
大量原生类型数据使用
频繁IO操作
系统处理响应速度要求快且稳定
典型场景是网络数据传输, 可考虑合理应用DirectBuffer.
那么,DirectBuffer是怎么实现这些的呢:
allocateMemory 是一个本地方法,功能就是做一些参数检查和字节对齐,然后使用系统调用 malloc 申请一块内存。
从上面的分析也可以看出,创建一个 DirectByteBuffer 对象代价还是很大的,因为 malloc 系统调用代价就很大,需要 60 ~ 100 条 CPU 指令(一个 new Object() 只需要不足 10 条机器指令)。
注意,这个是操作系统直接分配的内存,java的垃圾回收是管不了的。
那是如何实现资源回收的呢。
cleaner 的类型是Cleaner,Cleaner是PhantomReference(俗称的幽灵引用)的子类。当整个对象被回收的时候,幽灵引用会被java的虚拟机加到一个队列里去,ReferenceQueue。Reference有一个静态内部类ReferenceHandler。
然后还有个静态代码块:
也就是说虚拟机已启动,ReferenceHandler 这个线程就启动了,那ReferenceHandler 会做什么呢
可以看到其中有:
就是会执行幽灵引用的clean方法。
在clean方法执行的其实是:
thunk是在构造方法传进去的。对于DirectByteBuffer来说,他的thunk是Deallocator:
Deallocator的run方法会做什么事情呢:
可以看到这个也是个native方法。这里就会把资源回收。
有些人问为什么不用finalize去做资源回收,搞个幽灵索引,搞怎么麻烦。主要是因为java的
finalize不是很安全。如果finalize再搞一个对象本身的强引用,那么这个对象就永远不会回收掉了。但是幽灵引用不一样,幽灵引用起作用在对象的finalize之后,也就是说这个对象这个时候已经回收了。这样会更安全。
我想请问一下,这是否意味这directBuffer可以不受HEAP大小控制?例如JVM最大2G,堆分了1.5G,那么MaxDirectMemorySize最大可以是多少呢?
我的观点是:directBuffer的使用内存已经和jvm没有关系了,他的限制是操作系统或者硬件的限制了。
我们在32位机器的前提上讨论吧。一个进程4G空间,2G内核,2G用户。你的意思好像是,DIRECT BYTE BUFFER 用的是2G内核空间里面的空间。我的理解对吗?
我想请问一下,这是否意味这directBuffer可以不受HEAP大小控制?例如JVM最大2G,堆分了1.5G,那么MaxDirectMemorySize最大可以是多少呢?
我的观点是:directBuffer的使用内存已经和jvm没有关系了,他的限制是操作系统或者硬件的限制了。
我想请问一下,这是否意味这directBuffer可以不受HEAP大小控制?例如JVM最大2G,堆分了1.5G,那么MaxDirectMemorySize最大可以是多少呢?
Java 2 SE 6 doc :
Given a direct byte buffer, the Java virtual machine will make a best effort to perform native I/O operations directly upon it. That is, it will attempt to avoid copying the buffer’s content to (or from) an intermediate buffer before (or after) each invocation of one of the underlying operating system’s native I/O operations.
DirectBuffer通过免去中间交换的内存拷贝, 提升IO处理速度;
Java 2 SE 6 doc :
The contents of direct buffers may reside outside of the normal garbage-collected heap, and so their impact upon the memory footprint of an application might not be obvious.
DirectBuffer在-XX:MaxDirectMemorySize=xxM大小限制下[1], 使用Heap之外的内存, GC对此”无能为力”[2] ,也就意味着规避了在高负载下频繁的GC过程对应用线程的中断影响.
因此, 当系统应用场景满足:
大量原生类型数据使用
频繁IO操作
系统处理响应速度要求快且稳定
典型场景是网络数据传输, 可考虑合理应用DirectBuffer.
那么,DirectBuffer是怎么实现这些的呢:
DirectByteBuffer(int paramInt) { super(-1, 0, paramInt, paramInt, false); Bits.reserveMemory(paramInt); int i = Bits.pageSize(); long l = 0L; try { l = unsafe.allocateMemory(paramInt + i); //这个是分配内存 } catch (OutOfMemoryError localOutOfMemoryError) { Bits.unreserveMemory(paramInt); throw localOutOfMemoryError; } unsafe.setMemory(l, paramInt + i, 0); if (l % i != 0L) this.address = (l + i - (l & i - 1)); else this.address = l; this.cleaner = Cleaner.create(this, new Deallocator(l, paramInt, null));//这个是负责回收资源。 this.viewedBuffer = null; }
public native long allocateMemory(long paramLong);
allocateMemory 是一个本地方法,功能就是做一些参数检查和字节对齐,然后使用系统调用 malloc 申请一块内存。
从上面的分析也可以看出,创建一个 DirectByteBuffer 对象代价还是很大的,因为 malloc 系统调用代价就很大,需要 60 ~ 100 条 CPU 指令(一个 new Object() 只需要不足 10 条机器指令)。
注意,这个是操作系统直接分配的内存,java的垃圾回收是管不了的。
那是如何实现资源回收的呢。
this.cleaner = Cleaner.create(this, new Deallocator(l, paramInt, null));
cleaner 的类型是Cleaner,Cleaner是PhantomReference(俗称的幽灵引用)的子类。当整个对象被回收的时候,幽灵引用会被java的虚拟机加到一个队列里去,ReferenceQueue。Reference有一个静态内部类ReferenceHandler。
private static class ReferenceHandler extends Thread
然后还有个静态代码块:
static { Object localObject1 = Thread.currentThread().getThreadGroup(); for (Object localObject2 = localObject1; localObject2 != null; localObject2 = ((ThreadGroup)localObject1).getParent()) localObject1 = localObject2; localObject2 = new ReferenceHandler((ThreadGroup)localObject1, "Reference Handler"); ((Thread)localObject2).setPriority(10); ((Thread)localObject2).setDaemon(true); ((Thread)localObject2).start(); }
也就是说虚拟机已启动,ReferenceHandler 这个线程就启动了,那ReferenceHandler 会做什么呢
public void run() { for (;;) { Reference r; synchronized (lock) { if (pending != null) { r = pending; Reference rn = r.next; pending = (rn == r) ? null : rn; r.next = r; } else { try { lock.wait(); } catch (InterruptedException x) { } continue; } } // Fast path for cleaners if (r instanceof Cleaner) { ((Cleaner)r).clean(); continue; } ReferenceQueue q = r.queue; if (q != ReferenceQueue.NULL) q.enqueue(r); } } }
可以看到其中有:
if (r instanceof Cleaner) { ((Cleaner)r).clean(); continue; }
就是会执行幽灵引用的clean方法。
在clean方法执行的其实是:
this.thunk.run();
thunk是在构造方法传进去的。对于DirectByteBuffer来说,他的thunk是Deallocator:
this.cleaner = Cleaner.create(this, new Deallocator(l, paramInt, null))
Deallocator的run方法会做什么事情呢:
public void run() { if (address == 0) { // Paranoia return; } unsafe.freeMemory(address); address = 0; Bits.unreserveMemory(capacity); }
public native void freeMemory(long paramLong);
可以看到这个也是个native方法。这里就会把资源回收。
有些人问为什么不用finalize去做资源回收,搞个幽灵索引,搞怎么麻烦。主要是因为java的
finalize不是很安全。如果finalize再搞一个对象本身的强引用,那么这个对象就永远不会回收掉了。但是幽灵引用不一样,幽灵引用起作用在对象的finalize之后,也就是说这个对象这个时候已经回收了。这样会更安全。
评论
5 楼
shuizhaosi888
2015-03-19
解决我一个大问题
4 楼
lazy_
2013-04-17
huangyunbin 写道
我想请问一下,这是否意味这directBuffer可以不受HEAP大小控制?例如JVM最大2G,堆分了1.5G,那么MaxDirectMemorySize最大可以是多少呢?
我的观点是:directBuffer的使用内存已经和jvm没有关系了,他的限制是操作系统或者硬件的限制了。
我们在32位机器的前提上讨论吧。一个进程4G空间,2G内核,2G用户。你的意思好像是,DIRECT BYTE BUFFER 用的是2G内核空间里面的空间。我的理解对吗?
3 楼
huangyunbin
2013-04-17
我想请问一下,这是否意味这directBuffer可以不受HEAP大小控制?例如JVM最大2G,堆分了1.5G,那么MaxDirectMemorySize最大可以是多少呢?
我的观点是:directBuffer的使用内存已经和jvm没有关系了,他的限制是操作系统或者硬件的限制了。
2 楼
lazy_
2013-04-17
引用
DirectBuffer在-XX:MaxDirectMemorySize=xxM大小限制下[1], 使用Heap之外的内存, GC对此”无能为力”[2] ,也就意味着规避了在高负载下频繁的GC过程对应用线程的中断影响.
我想请问一下,这是否意味这directBuffer可以不受HEAP大小控制?例如JVM最大2G,堆分了1.5G,那么MaxDirectMemorySize最大可以是多少呢?
1 楼
mtsw2011
2013-04-17
发表评论
-
超级简单的获取url内容的代码
2016-09-09 16:33 1500只是需要一行代码: String result = new S ... -
java的int和byte数组的相互转换
2015-01-15 16:31 2863byte数组转为int 有两种原理, 一种是先左移动24位,在 ... -
@RequestBody注解时 HttpClient 发送post的例子
2015-01-12 10:33 6677主要是这句: post.setRequestEntity(ne ... -
mvel表达式遇到的坑2 这个更坑
2015-01-09 17:53 6571之前写的一篇文章说的mvel遇到的坑 解决办法是*1.0,这次 ... -
利用javassist获取java的方法参数名
2014-03-22 20:53 6269import java.lang.reflect.Meth ... -
java利用linq4j实现linq
2014-01-13 20:58 10405public class Person implement ... -
访问类本身的私有变量,很不理解的地方
2013-09-30 17:50 1591网上看到这个文章,表示没理解.http://my.oschin ... -
设置log4j的配置文件(里面有不少坑)
2013-04-12 15:59 1967log4j的默认配置文件是log4j.properties,加 ... -
庖丁分词的源码分析
2013-04-08 17:50 3077在网上也看到了不少庖 ... -
eclipse代码行数统计插件
2013-04-08 16:14 5916觉得不错的一个插件,把附件里的压缩文件,解压,放在eclips ... -
关于eclipse 找不到pom文件中的jar包的问题
2013-04-08 15:59 2200我从网上下载呢一个maven的项目,install也成功了,却 ... -
java的volatile与多线程
2013-02-21 16:37 2161Java语言规范中指出:为了获得最佳速度,允许线程保存共享成员 ... -
分享视频网站的内容时 缩略图的生成
2013-02-03 09:32 1841分享视频网站的内容时 ,一般都有缩略图的生成,之前没怎么关心, ... -
Runtime.getRuntime().exec 杀人放火利器啊
2013-01-05 16:49 2205public static void main(String[ ... -
split的正则表达式
2012-12-24 14:44 1457我们很经常做得一个事情,一句话,按空格来切分 String s ... -
解决eclipse控制台中文乱码的问题
2012-12-20 14:48 3086二、配置java应用程序的控制台输出。 1.Run ... -
eclipse 重新关联源代码
2012-12-17 09:16 1623eclipse 重新关联源代码 可以右键工程属性 -- pr ... -
maven私服的400和401错误
2012-12-03 17:33 2587400错误是因为没有打开访问,改为下图这样 401错误是没 ... -
SQL_NO_CACHE不起作用,郁闷
2012-12-03 14:53 1626mysql设置了查询缓存,但是第二次的时候就是0秒了,用SQL ... -
ie下onblur和focus自身引起的浏览器卡死,求解释
2012-12-01 17:12 2955代码 <!DOCTYPE HTML PUBLIC &q ...
相关推荐
主要介绍了java 中Buffer源码的分析的相关资料,需要的朋友可以参考下
基于java的开发源码-DataBuffer在Java中使用ADO.NET.zip 基于java的开发源码-DataBuffer在Java中使用ADO.NET.zip 基于java的开发源码-DataBuffer在Java中使用ADO.NET.zip 基于java的开发源码-DataBuffer在Java中使用...
Java 3DMenu 界面源码,有人说用到游戏中不错,其实平时我信编写Java应用程序时候也能用到吧,不一定非要局限于游戏吧,RES、SRC资源都有,都在压缩包内。 Java zip压缩包查看程序源码 1个目标文件 摘要:Java源码...
Java 3DMenu 界面源码,有人说用到游戏中不错,其实平时我信编写Java应用程序时候也能用到吧,不一定非要局限于游戏吧,RES、SRC资源都有,都在压缩包内。 Java zip压缩包查看程序源码 1个目标文件 摘要:Java源码...
Java 3DMenu 界面源码,有人说用到游戏中不错,其实平时我信编写Java应用程序时候也能用到吧,不一定非要局限于游戏吧,RES、SRC资源都有,都在压缩包内。 Java zip压缩包查看程序源码 1个目标文件 摘要:Java...
这个是java词法分析器,包含全部的源码,我以前提交的只有一些源代码,不好意思。和其他的词法分析器不同,这个包含了图形模拟功能。就是能够把整个字符匹配过程显示出来。 <br> 我希望大家使用了后,能够提出...
Java 3DMenu 界面源码,有人说用到游戏中不错,其实平时我信编写Java应用程序时候也能用到吧,不一定非要局限于游戏吧,RES、SRC资源都有,都在压缩包内。 Java zip压缩包查看程序源码 1个目标文件 摘要:Java...
Java 3DMenu 界面源码,有人说用到游戏中不错,其实平时我信编写Java应用程序时候也能用到吧,不一定非要局限于游戏吧,RES、SRC资源都有,都在压缩包内。 Java zip压缩包查看程序源码 1个目标文件 摘要:Java...
Java 常用类 源码
java实现简单的远程控制,附源码。 主要应用socket robot image swing
java管理系统源码,网上收集的,有:高校毕业就业分析系统、进销存管理系统、图书管理系统、学生信息管理系统和图书管理系统
Netty好资料,Buffer介绍
java源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码源码...
一个pc下的java炸弹人实现及源码
基于Java的实例源码-DataBuffer在Java中使用ADO.NET.zip
《Java十大经典案例》源码 java spring struts jdbc等例子
这是用java编写的中国象棋,可运行,里面有详细的代码注释,里面对算法进行了详细完整的分析,可读性很强,很适合学习用。
java电子商务网站源码+数据库,由于文件比较大缺少struts的jar包
Java搜索引擎里面的代码要用到很精确的算法和数据结构,此资料很适合编程的朋友去看,尤其是对开发搜索引擎的朋友有极大的帮助....
人力资源管理系统 java web 完整项目 包含源码和数据库 人力资源管理系统 java web 完整项目 包含源码和数据库