コード例 #1
0
ファイル: hdfs.py プロジェクト: nihil0/hops-util-py 
def get_plain_path(abs_path):
    """
    Convert absolute HDFS path to plain path (dropping hdfs:// and ip)

    Example use-case:

    >>> hdfs.get_plain_path("hdfs://10.0.2.15:8020/Projects/demo_deep_learning_admin000/Models/")
    >>> # returns: "/Projects/demo_deep_learning_admin000/Models/"

     Args:
         :abs_path: the absolute HDFS path containing hdfs:// and/or ip

    Returns:
          the plain path without hdfs:// and ip
    """
    return path.split(path.abspath(abs_path))[2]
コード例 #2
0
 def _hdfs_ls(self, hdfs_path):
     return [
         split(d['name'])[2] for d in self.hdfs.list_directory(hdfs_path)
     ]
コード例 #3
0
def split_hdfs_path(hdfs_path, user=None):  # backwards compatibility
    from pydoop.hdfs.path import split
    return split(hdfs_path, user)
コード例 #4
0
ファイル: misc.py プロジェクト: CynthiaYiqingHuang/pydoop 
def split_hdfs_path(hdfs_path, user=None):  # backwards compatibility
    from pydoop.hdfs.path import split
    return split(hdfs_path, user)