Question

前言我正在开发一个用java编写的平台依赖媒体数据库，其中媒体文件由文件哈希标识。用户应该能够移动文件，所以我不想依赖任何文件路径。导入后，我将路径和哈希存储在我的数据库中。我基于准确性和性能之间的权衡开发了fast file-hash-id algorithm，但速度并不总是足够快。：）

为了更新和导入媒体文件，我需要（重新）创建我库中所有文件的文件哈希值。我的想法是现在只计算一次哈希并将其存储在文件元数据（扩展属性）中，以提高支持扩展文件属性的文件系统的性能。（NTFS，HFS +，ext3 ......）我已经实现了它，你可以在这里找到当前的来源：archimedesJ.io.metadata

尝试乍一看，Java 1.7提供了UserDefinedFileAttributeView处理元数据的好方法。对于大多数平台，这都有效遗憾的是， UserDefinedFileAttributeView 不适用于HFS +。虽然，我不明白为什么不支持HFS +文件系统 - 它是元数据的主要格式之一？（参见相关的Question - ，它不提供任何解决方案）

如何使用Java在OS X上存储扩展文件属性？ 为了得到这个java限制，我决定使用OSX上的 xattr 命令行工具，并将其与Javas Process处理一起使用来读取它的输出。 My implementation有效，但速度很慢。（重新计算文件哈希更快，有多讽刺！我正在使用固态硬盘在Mac BookPro Retina上进行测试。）

事实证明，xattr工具工作得很慢。（写作速度很慢，但更重要的是读取属性也很慢）为了证明它不是Java问题而是工具本身，我创建了一个简单的bash脚本，以便在具有我的自定义属性的几个文件上使用xattr工具：

FILES=/Users/IsNull/Pictures/
for f in $FILES
do
  xattr -p vidada.hash $f
done

如果我运行它，线条会相互“快速”出现，但我希望能在几毫秒内立即显示输出。有点延迟是清晰可见的，因此我猜这个工具并不那么快。在java中使用它会给我一个额外的开销，即创建一个进程，解析输出会使它更慢一点。

有没有更好的方法来使用Java访问HFS +上的扩展属性？什么是使用Java在OS X上使用扩展属性的快速方法？

Answer 1

OS X的/usr/bin/xattr可能相当慢，因为它是作为Python脚本实现的。用于设置扩展属性的C API为setxattr(2)。这是一个例子：

if(setxattr("/path/to/file",
            attribute_name,
            (void *)attribute_data,
            attribute_size,
            0,
            XATTR_NOFOLLOW) != 0)
{
  /* an error occurred, see errno */
}

您可以创建一个JNI包装器来从Java访问此函数;您可能还需要getxattr（2），listxattr（2）和removexattr（2），具体取决于您的应用程序还需要做什么。

Answer 2

我已经创建了一个JNI包装器，用于直接通过C-API访问扩展属性。它是一个开源Java Maven项目，可在GitHub/xattrj

上使用

作为参考，我在这里发布有趣的源文章。有关最新资料，请参阅上述项目页面。

<强> Xattrj.java

public class Xattrj {

    /**
     * Write the extended attribute to the given file
     * @param file
     * @param attrKey
     * @param attrValue
     */
    public void writeAttribute(File file, String attrKey, String attrValue){
        writeAttribute(file.getAbsolutePath(), attrKey, attrValue);
    }

    /**
     * Read the extended attribute from the given file
     * @param file
     * @param attrKey
     * @return
     */
    public String readAttribute(File file, String attrKey){
        return readAttribute(file.getAbsolutePath(), attrKey);
    }

    /**
     * Write the extended attribute to the given file
     * @param file
     * @param attrKey
     * @param attrValue
     */
    private native void writeAttribute(String file, String attrKey, String attrValue);

    /**
     * Read the extended attribute from the given file
     * @param file
     * @param attrKey
     * @return
     */
    private native String readAttribute(String file, String attrKey);


    static {
        try {
            System.out.println("loading xattrj...");
            LibraryLoader.loadLibrary("xattrj");
            System.out.println("loaded!");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}

<强> org_securityvision_xattrj_Xattrj.cpp

#include <jni.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "org_securityvision_xattrj_Xattrj.h"
#include <sys/xattr.h>


/**
 * writeAttribute
 * writes the extended attribute
 *
 */
JNIEXPORT void JNICALL Java_org_securityvision_xattrj_Xattrj_writeAttribute
    (JNIEnv *env, jobject jobj, jstring jfilePath, jstring jattrName, jstring jattrValue){

    const char *filePath= env->GetStringUTFChars(jfilePath, 0);
    const char *attrName= env->GetStringUTFChars(jattrName, 0);
    const char *attrValue=env->GetStringUTFChars(jattrValue,0);

    int res = setxattr(filePath,
                attrName,
                (void *)attrValue,
                strlen(attrValue), 0,  0); //XATTR_NOFOLLOW != 0
    if(res){
      // an error occurred, see errno
        printf("native:writeAttribute: error on write...");
        perror("");
    }
}


/**
 * readAttribute
 * Reads the extended attribute as string
 *
 * If the attribute does not exist (or any other error occurs)
 * a null string is returned.
 *
 *
 */
JNIEXPORT jstring JNICALL Java_org_securityvision_xattrj_Xattrj_readAttribute
    (JNIEnv *env, jobject jobj, jstring jfilePath, jstring jattrName){

    jstring jvalue = NULL;

    const char *filePath= env->GetStringUTFChars(jfilePath, 0);
    const char *attrName= env->GetStringUTFChars(jattrName, 0);

    // get size of needed buffer
    int bufferLength = getxattr(filePath, attrName, NULL, 0, 0, 0);

    if(bufferLength > 0){
        // make a buffer of sufficient length
        char *buffer = (char*)malloc(bufferLength);

        // now actually get the attribute string
        int s = getxattr(filePath, attrName, buffer, bufferLength, 0, 0);

        if(s > 0){
            // convert the buffer to a null terminated string
            char *value = (char*)malloc(s+1);
            *(char*)value = 0;
            strncat(value, buffer, s);
            free(buffer);

            // convert the c-String to a java string
            jvalue = env->NewStringUTF(value);
        }
    }
    return jvalue;
}

现在makefile让我感到很困扰，以便让事情顺利进行：

CC=gcc
LDFLAGS= -fPIC -bundle
CFLAGS= -c -shared -I/System/Library/Frameworks/JavaVM.framework/Versions/Current/Headers -m64


SOURCES_DIR=src/main/c++
OBJECTS_DIR=target/c++
EXECUTABLE=target/classes/libxattrj.dylib

SOURCES=$(shell find '$(SOURCES_DIR)' -type f -name '*.cpp')
OBJECTS=$(SOURCES:$(SOURCES_DIR)/%.cpp=$(OBJECTS_DIR)/%.o)

all: $(EXECUTABLE)

$(EXECUTABLE): $(OBJECTS)
    $(CC) $(LDFLAGS) $(OBJECTS) -o $@

$(OBJECTS): $(SOURCES)
    mkdir -p $(OBJECTS_DIR)
    $(CC) $(CFLAGS) $< -o $@



clean:
    rm -rf $(OBJECTS_DIR) $(EXECUTABLE)

Answer 3

我刚刚将我的<sys/xattr.h> JNA包装器贡献给了JNA平台项目。因为它是JNA，所以您不需要编译任何本机库。 :)

@see https://github.com/twall/jna/pull/338

应该是JNA发布的下一个版本的一部分。

如何使用Java在OS X上的扩展文件属性中存储哈希？

3 个答案: