DLL/OCX文件的注册与数据执行保护DEP

DLL/OCX文件的注册与数据执行保护DEP

注册/反注册dll或ocx文件时，无论是用regsvr32还是DllRegisterServer/DllUnregisterServer，可能会遇到【内存位置访问无效】的问题：

此时把操作系统的数据执行保护（Data Execution Prevention，下称DEP）彻底关掉，重启，应该就能解决问题。操作：

NT6.x系统：运行  bcdedit /set nx alwaysoff

NT5.x系统：修改 %systemdrive%\boot.ini 文件，将当前操作系统条目的/noexecute参数的值改为AlwaysOff，若没有则添加。若是多系统，要注意修改到正确的条目

本文主要是讨论，作为开发者，当需要在自己的程序中注册dll时（反注册的情况一样，下文只拿注册说事，其实适用于所有受DEP影响的问题），如何避免改动系统DEP，避免重启地把问题解决掉。其实这个问题的关键是，执行注册的进程是否启用了DEP，启用就不能注册，关闭就能，跟系统DEP没有直接关系，但进程DEP受系统DEP的影响。

来自系统DEP的原因

系统DEP策略有4种，每种策略下对进程DEP的影响如下（注意，64位程序总是启用DEP，且不可禁用，不论系统DEP如何设置。所以下表和接下来说的都是32位程序的情况）：

系统DEP策略

进程默认DEP

能否更改进程DEP

OptIn （仅为基本的Windows程序和服务启用DEP；默认策略）

关闭

允许更改

OptOut （除指定的程序外，全部启用DEP）

开启

允许更改

AlwaysOn （全部启用DEP）

开启

不允许更改

AlwaysOff （全部禁用DEP）

关闭

不允许更改

我们的目的是关闭进程DEP。可以看到，系统DEP为OptIn和AlwaysOff时，进程DEP已经是默认关闭的。其余两种情况中，OptOut虽然是默认开启DEP，但它允许被关闭，所以这是一种可以抢救的情况，唯独AlwaysOn不可抢救，必须修改系统DEP策略并重启。

插播一下，系统默认的策略是OptIn，这种策略下普通程序的DEP是关闭的，但是系统程序例外，所以在程序中调用regsvr32进行注册会失败，因为实际执行注册的进程是regsvr32而非自己的程序，而regsvr32是系统程序，它在OptIn下是会被开启DEP的。可以在任务管理器进程页面中添加【数据执行保护】列，以呈现进程DEP的开闭情况。

小结：

基本上，由于系统默认策略是OptIn，我们的32程序按说不太会遇到DEP的问题，但事情并没有这么简单，尤其作为.Neter，我们往往会遇到来自另一方面的原因。

来自PE标记的原因

如果系统DEP已经是OptIn或OptOut，程序也是32位，根据上面的表格，按说程序DEP应该是处于关闭或可以关闭的状态，但它偏偏处于开启状态，并且不可更改。这是因为，程序DEP除了会受系统DEP影响外，还会受程序文件PE头中的一个标记影响。

这个标记叫IMAGE_DLLCHARACTERISTICS_NX_COMPAT，有些地方叫NX Compatible。

标记的意思大概是标识该PE文件是否是DEP兼容，这里不必深究该标记的明确意义及其所在位置，只要知道拥有该标记的exe程序，会在除AlwaysOff外的情况下开启DEP且不可关闭，而据称在- framework 2.0 SP1后，-的编译器就会为生成的PE文件打上该标记，导致今天的-程序，相信大多都是携带该标记的。

VC构建工具中有个叫editbin.exe的命令行工具，可以简单移除该标记：

editbin.exe /NXCOMPAT:NO xxx.exe

如果安装VS时没装c++相关的东西，那你的电脑可能没有这个工具，可以选择把c++组件装上，或搜单独的vc build tools装上。

说回DLL注册

上面说过如果是调用regsvr32来注册的，那就算搞掂程序的DEP也无济于事，需要考虑用regsvr32以外的办法进行注册，比如直接调用dll的DllRegisterServer函数，事实上regsvr32也应该是这么搞。下面是c#版的实现：

如果不关DEP，LoadLibrary就会遇到问

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。