🔧 ETL & Tabele Zewnętrzne

LOAD DATA
INFILE 'pracownicy.csv'           -- plik z danymi
APPEND                            -- dołącz do istniejących wierszy
INTO TABLE hr.employees_staging
FIELDS TERMINATED BY ','          -- separator pól
OPTIONALLY ENCLOSED BY '"'        -- opcjonalne cudzysłowy
TRAILING NULLCOLS                 -- brakujące kolumny na końcu = NULL
(
    employee_id  INTEGER EXTERNAL,
    first_name   CHAR(50),
    last_name    CHAR(50),
    email        CHAR(100),
    salary       DECIMAL EXTERNAL
)

LOAD DATA
INFILE 'employees_fixed.dat'
BADFILE 'bad_rows.bad'          -- wiersze odrzucone → ten plik
APPEND
INTO TABLE hr.employees_staging
(
    employee_id  POSITION(1:6)   INTEGER EXTERNAL,
    first_name   POSITION(7:26)  CHAR,
    last_name    POSITION(27:46) CHAR,
    salary       POSITION(47:54) DECIMAL EXTERNAL
)

LOAD DATA
INFILE 'dane.csv'
INTO TABLE high_salary_emp WHEN (salary > '10000')
FIELDS TERMINATED BY ','
(employee_id, first_name, salary)

INTO TABLE low_salary_emp WHEN (salary <= '10000')
FIELDS TERMINATED BY ','
(employee_id, first_name, salary)

sqlldr userid=hr/password@orcl control=load.ctl log=load.log bad=bad.txt

-- Najważniejsze parametry:
-- control=  plik kontrolny
-- log=      plik z logiem operacji
-- bad=      wiersze odrzucone (błędy) → zapisane do pliku .bad
-- discard=  wiersze nie pasujące do żadnej klauzuli WHEN → plik .dsc
-- rows=     liczba wierszy na jeden COMMIT (domyślnie 64)
-- direct=   TRUE = Direct Path Load (szybszy, omija redo log)

-- Eksport całego schematu HR:
expdp hr/password@orcl     DIRECTORY=DATA_PUMP_DIR     DUMPFILE=hr_backup.dmp     LOGFILE=expdp_hr.log     SCHEMAS=HR

-- Eksport konkretnych tabel:
expdp hr/password@orcl     DIRECTORY=DATA_PUMP_DIR     DUMPFILE=tables.dmp     TABLES=HR.EMPLOYEES,HR.DEPARTMENTS

-- Eksport całej bazy (wymaga DBA):
expdp system/password FULL=Y DUMPFILE=full_backup.dmp DIRECTORY=DATA_PUMP_DIR

-- Import schematu:
impdp hr/password@orcl     DIRECTORY=DATA_PUMP_DIR     DUMPFILE=hr_backup.dmp     SCHEMAS=HR

-- Import z remapowaniem schematu (HR → HR_TEST):
impdp system/password     DIRECTORY=DATA_PUMP_DIR     DUMPFILE=hr_backup.dmp     REMAP_SCHEMA=HR:HR_TEST

-- Import tylko wybranych tabel:
impdp hr/password     DIRECTORY=DATA_PUMP_DIR     DUMPFILE=hr_backup.dmp     TABLES=HR.EMPLOYEES

-- Data Pump wymaga obiektu DIRECTORY (nie bezpośredniej ścieżki):
CREATE DIRECTORY data_pump_dir AS '/oracle/backup/';
GRANT READ, WRITE ON DIRECTORY data_pump_dir TO hr;

-- Sprawdzenie istniejących direktorios:
SELECT directory_name, directory_path FROM dba_directories;

CREATE TABLE ext_employees (
    employee_id  NUMBER,
    first_name   VARCHAR2(50),
    last_name    VARCHAR2(50),
    salary       NUMBER
)
ORGANIZATION EXTERNAL (
    TYPE ORACLE_LOADER                   -- sterownik: czytanie pliku tekstowego
    DEFAULT DIRECTORY ext_data_dir       -- katalog z plikiem
    ACCESS PARAMETERS (
        RECORDS DELIMITED BY NEWLINE
        FIELDS TERMINATED BY ','
        OPTIONALLY ENCLOSED BY '"'
        MISSING FIELD VALUES ARE NULL
        (employee_id, first_name, last_name, salary)
    )
    LOCATION ('employees.csv')           -- nazwa pliku (w katalogu DIRECTORY)
)
REJECT LIMIT UNLIMITED;                 -- nie przerywaj przy błędach w wierszach

CREATE TABLE ext_employees_parallel (
    employee_id  NUMBER,
    first_name   VARCHAR2(50),
    last_name    VARCHAR2(50),
    salary       NUMBER
)
ORGANIZATION EXTERNAL (
    TYPE ORACLE_LOADER
    DEFAULT DIRECTORY ext_data_dir
    ACCESS PARAMETERS (
        RECORDS DELIMITED BY NEWLINE
        NOBADFILE                         -- nie twórz pliku .bad (domyślnie tworzony)
        NOLOGFILE                         -- nie twórz pliku logu (domyślnie tworzony)
        FIELDS TERMINATED BY ','
        OPTIONALLY ENCLOSED BY '"'
        MISSING FIELD VALUES ARE NULL
        (employee_id, first_name, last_name, salary)
    )
    LOCATION ('employees.csv')
)
PARALLEL 4                               -- czytaj plik równolegle (4 procesy)
REJECT LIMIT UNLIMITED;

-- Zmiana ACCESS PARAMETERS (nowy separator):
ALTER TABLE ext_employees ACCESS PARAMETERS (
    RECORDS DELIMITED BY NEWLINE
    FIELDS TERMINATED BY ';'
    MISSING FIELD VALUES ARE NULL
    (employee_id, first_name, last_name, salary)
);

-- Zmiana domyślnego katalogu:
ALTER TABLE ext_employees DEFAULT DIRECTORY new_data_dir;

-- Zmiana pliku źródłowego:
ALTER TABLE ext_employees LOCATION ('employees_2024.csv');

-- Zmiana katalogu i pliku razem:
ALTER TABLE ext_employees DEFAULT DIRECTORY new_dir
    LOCATION ('new_file.csv');

-- Dodanie kolumny (jak zwykła ALTER TABLE):
ALTER TABLE ext_employees ADD (department_id NUMBER);

-- Modyfikacja kolumny:
ALTER TABLE ext_employees MODIFY (first_name VARCHAR2(100));

-- Usunięcie kolumny:
ALTER TABLE ext_employees DROP COLUMN department_id;

-- Zapis do pliku binarnego:
CREATE TABLE ext_emp_dump
ORGANIZATION EXTERNAL (
    TYPE ORACLE_DATAPUMP
    DEFAULT DIRECTORY ext_data_dir
    LOCATION ('emp_dump.dmp')
)
AS SELECT employee_id, first_name, last_name, salary
   FROM hr.employees;

-- Odczyt z pliku:
SELECT * FROM ext_emp_dump WHERE salary > 5000;